触控魔方 / 使用文档 / 基础

如何使用本应用

基础 · 使用文档

触控魔方使用指南

这篇是完整的使用说明:从授权到跑起第一个任务,再到用节点图搭出复杂流程。

阅读顺序不必照搬。只想先看到东西动起来,读第二、三、四章就够;要做复杂的东西,跳到第九章。


一、它是什么,不是什么

触控魔方的做法只有一句话:把屏幕上的一串动作记下来,下次按同样的顺序再演一遍。

记下来的东西叫任务。一个任务就是有序的几步:打开某个应用、等一会儿、点某个位置、上滑、写一段文字、返回。运行任务时,这些步骤按顺序打到屏幕上,跟手动操作没有区别 —— 系统看到的是真实的点击事件,不是模拟接口。

能做和不能做,先划清:

能做 做不到
按顺序点击、滑动、输入、返回、打开应用 读取别的应用内部的数据(聊天记录、密码、余额)
在屏幕上找文字、找图标,按找到的位置点 绕过登录、验证码、人脸识别
循环执行、失败重试、条件判断 在锁屏状态下继续跑(锁屏会停止正在运行的任务)
用节点图拼出带分支的流程 云端代跑(一切都在本机执行)

一句话:它操作的是屏幕,不是别的应用的数据。所以只要这件事手动能做,就能自动做;手动做不了的,它也做不了。


二、界面地图:四个页面

底栏四个标签,中间是加号。

运行页:任务列表在上,自动化状态在下

运行页。每个任务卡片上直接写着「循环次数」和「尝试次数」,右边是「执行」和「更多操作」。

任务列表:卡片上的参数就是运行时用的参数

任务多了以后,靠卡片上的这两行数字区分谁在跑几次、失败几次才放弃。

仓库的三个标签:工具 / 自定义操作 / 结构

仓库把「能做一步的工具」和「给步骤填参数用的素材」分开了。做任务时经常要来这里取素材。

中间那个加号是主要入口,点开有四项:

加号展开:创建任务、创建工具、导入、更多

「创建任务」从模板或内置工具搭;「创建工具」是节点图,要精细控制时用;「导入」接别人给的任务、工具或结构化数据。


三、第一次授权:约 30 秒

运行页顶部有一条「自动化还没开启 · 30 秒完成设置,之后任务可一键运行」,点「开始设置」。

自动化准备面板:三项权限,各自的用途写在下面

三项权限,标「必需」的只有一项。

权限 性质 没有它会怎样
无障碍服务 必需 点击、滑动、输入全部失效 —— 任务点了没反应
悬浮窗 按需 运行时看不到悬浮控制条与日志;也无法用遮罩取点
屏幕截图 按需 找文字、找图标、图像比对这类任务用不了

开关打不开、显示「受限」的情况,通常是 Android 13 起对侧载安装的应用加了限制,路径是:设置 → 应用 → 触控魔方 → 右上角 ⋮ → 允许受限设置。


四、第一个任务:五分钟

做一个「早上打开备忘录,直接看到今天的清单」的任务。全程只碰自己的数据,不涉及任何账号权限。

4.1 先想清楚流程,再动手

任务的目标决定步骤顺序。这个目标的流程是三段:

打开备忘录 → 点「新建」或点开今天那一条 → 回到主界面

中间要垫等一等:应用启动、页面切换都需要时间,动作发得太快会打空。

4.2 建任务

底栏中间的加号 → 「创建任务」。

新建的任务:顶部是「记一步」,下面是预设工具

编辑器分两块:上面「记一步」是录制入口,下面「我的预设」是直接添加现成步骤。

4.3 两种加步骤的方式

方式一:记一步(最快)。 点「记一步」,去目标应用里点一下或划一下,回来这一步就自动补上了坐标。第一次做建议用这个 —— 不用记坐标,也不会点偏。

方式二:从预设里选。 点某个预设,直接加一步,参数再改。首屏只放最常用的四个:上滑、下滑、回主页、延迟。点右上角「展开」看全部:

展开后的全部预设步骤

十个预设:上滑、下滑、回主页、延迟、打开应用、文字、点击、返回、新自定义工具、自然语言编程。

以这个任务为例,按上面想好的流程依次加:

  1. 打开应用 → 参数里选择备忘录
  2. 延迟 → 1500 毫秒(等应用起来)
  3. 点击 → 目标那个按钮的位置(用「记一步」最省事)
  4. 延迟 → 800 毫秒(等页面切换完)
  5. 返回 → 默认参数即可

步骤加错了,右侧「删除」直接删;长按左侧可以拖动改变上下顺序。顺序就是执行顺序,这一点没有例外。

4.4 保存并跑一次

右上角「保存」,回到运行页,点卡片右边的「执行」。

跑的时候屏幕会自己动起来。第一次看会觉得有点怪 —— 那就是它唯一的工作方式。执行中可以随时停。


五、让它跑得住:延迟、重试、循环

第一次跑很容易遇到两种失败:点空了(太早,页面还没出来),跑一半停了(某一步没成功)。这两种都能靠参数解决。

5.1 延迟垫在哪

判断标准只有一条:这一步之后屏幕会发生一次变化吗? 会,就在后面垫一个延迟。应用启动、页面切换、弹窗出现、键盘弹出 —— 都属于会变的。

延迟不是越长越好。长到两秒以上,能让任务看起来像卡住了;一般 800–1500 毫秒够用,个别慢的页面再往上加。

5.2 三个参数

点编辑器右上角「编辑任务参数」:

任务参数:最大尝试次数、最大连续失败次数、循环次数

三个数字,从左到右:失败了几次放弃、连续失败几次放弃、整条任务跑几遍。

任务卡片上那两行「循环次数: 1 / 尝试次数: 3」显示的就是这里的值,改完会同步。

5.3 什么时候该用循环

同一套动作要对不同的目标重复时 —— 比如列表里逐条点开、逐条返回。循环次数设成 N,整条任务就跑 N 遍。

注意循环是「整条任务重复」,不是「某一步重复」。只要一步重复很多次,把它做成一个自定义工具(第九章),再在任务里调用。


六、素材库:坐标、滑动路径、文字

有些步骤需要「事先存好的东西」:一个点不准的坐标、一条固定的滑动路径、一段要输入的文本。这些存在仓库的「自定义操作」里。

自定义操作:点击 / 滑动 / 文字三段

原来分三个一级页,现在合到一页里分段。找「那个按钮存哪了」时不用再猜它在哪一类。

6.1 取一个点(坐标)

新建「点击」素材时,不是让你手填坐标,而是去屏幕上点一次:

  1. 进到目标应用的界面
  2. 点悬浮的「开启遮罩」按钮,屏幕变半透明
  3. 点要记录的那个位置 —— 这一下被遮罩拦下,不会真的点进去,只记录坐标
  4. 关闭遮罩,回到触控魔方,给它起个名字,保存

遮罩取点是唯一可靠的做法。手填坐标在换机型、改字号、改分辨率之后全都会偏。

6.2 文本:一段要反复用的字

「文字」段里存的是文本内容。任务里的「设置剪贴板」步骤引用它,运行时这段字就被放进剪贴板。

粘到哪儿取决于目标应用和输入法:长按输入框选「粘贴」,或者点输入法自带的剪贴板条目。

输入法这块有实测经验:Google 的 Gboard 比较稳;部分国产输入法对「短时间内反复设置剪贴板」有频率限制,连续设置几次之后就贴不出内容了。任务里要连续写多段文字时,先换成 Gboard 试一次。

6.3 滑动

滑动素材记录的是起点、终点和时长。上下滑各存一条,比每次重新取点省事。


七、交给别人:分享、分享为图片、导入

任务卡片右侧「更多操作」里有五个入口:

更多操作:移动、分享、分享为图片、重命名、删除

这两个「分享」是两件不同的事,别混。

入口 实际行为 给谁
分享 导出 JSON 备份文件 给自己 —— 换手机、留底、扔进网盘
分享为图片 生成一张带二维码的卡片,走系统分享 给别人 —— 对方扫码就能拿到这条任务
导入分享码 接上面那张卡片 收到的人用这个入口

运行页右上角「更多选项」里也能进导入:

更多选项:导入分享码、悬浮控制、悬浮日志

「悬浮控制」和「悬浮日志」控制运行时屏幕上那两个小窗。

导入分享码:码、链接、预览页地址都能粘

三种都认:纯分享码(形如 k7m2xp9q3r)、分享链接、预览页地址。

发之前最好知道一件事:分享不是原样复制。里面有些东西会被拦下来,让你决定发不发 —— 比如手输的文本内容、涉及本机数据的参数;还有一类步骤是收方一定跑不起来的,会被整步去掉。所以数着五步发出去、对方只看到四步,是正常的,不是你少了什么。


八、发现:任务可以发出去

「发现」页是使用者互相拿任务的地方。推荐 / 关注 / 分类三种看法,右上角「发布」。

发帖时可以挂上自己做好的任务,别人看到卡片就能一键导入 —— 比截图讲一遍「你要先点这里再点那里」有用得多。

搜索框认帖子和话题。关注、收藏、点赞都在这里和「我的」里。


九、自定义工具:节点图

任务是一列有序的步骤,从头到尾一条线。要做「如果找到就点,找不到就滑一下再找」这类带判断的流程,就得换编辑器:自定义工具。

加号 →「创建工具」。

自定义工具编辑器:左边项目树,中间画布,右边节点面板

建工具时会自动带一个「开始」节点 —— 程序从这里起步。

9.1 三个概念

节点图到执行流程是线性的,像单线程:一根线串到底,中间可以分岔(条件判断、多分支),也可以绕回去(循环)。

9.2 八种插槽

类型 传什么
执行 只表示先后顺序,不带值
布尔值 真 / 假
数值 整数、小数
文本 字符串
坐标 屏幕上的一个点
任意类型 通吃,能接任何类型
对象 结构化数据
数组 一组值

同类型才能连,唯一的例外是「任意类型」。想让「查到的文字位置」直接喂给「点击」,「中心坐标」这个插槽接的就是坐标类型。

9.3 连线怎么连

点节点边缘的插槽区域,弹出插槽窗口,选目标插槽,勾上,先点保存连接再切换—— 不保存就切走,刚才的勾选会丢。

双指缩放画布和节点,单指拖动画布平移,范围没有上限。节点可以拖到任意位置,图乱了自己整理,执行顺序只由连线决定。

9.4 项目面板

展开项目面板:程序树、文件夹、接口

一个工具里可以有多个程序,靠文件夹分组。

接口默认是自动推导的:一串节点连起来之后,中间没被连上的空插槽自然成了这个程序的输入和输出。推导不合意,可以在程序参数里关掉自动推导手动加,但「执行」类型的插槽会被过滤掉 —— 它只表示顺序,不适合当接口。

手动加接口时插槽类型显示英文,对照:EXECUTION 执行、BOOLEAN 布尔值、NUMBER 数值、STRING 文本、VECTOR2 坐标、ANY 任意类型、OBJECT 对象、ARRAY 数组。

改过接口之后,所有调用这个程序的地方都要重新打开「程序调用」节点选一次这个程序 —— 旧连接会因为类型对不上被断开,重连即可。

9.5 做好的工具怎么用

回到任务编辑器,加一步「新自定义工具」,选刚做的那个,运行时就会从它的入口程序跑。

工具也能单独导出、导入、分享,和任务一样。


十、高级节点与会员

免费的部分已经够做大多数重复劳动:点击、滑动、返回、延迟、打开应用、文字、条件判断、循环、变量、四则运算、常量。

另外四类节点要会员解锁,它们解决的是「屏幕上的东西位置会变」这件事 —— 坐标一旦不准,免费节点就全废,而这四类不靠坐标:

类别 代表节点 解决什么
AI 智能操作 智能点击、智能滚动、智能等待、智能输入 说清要做什么,它自己在屏幕上找
界面识别 查询UI结构、页面断言 判断「现在是不是我以为的那个页面」
文本处理 文字识别、查文本坐标、查找文本、文本拼接 按钮文案认识、位置不认识时
图像处理 图像匹配、图片源、目标检测、四边形检测/裁剪 按图标或图案定位,不看文字

一个典型用法:页面上的「下一步」按钮位置每次都不一样,但文案一直是「下一步」。用文字识别把整屏文字抓下来,查「下一步」的坐标,再把这个坐标喂给点击 —— 从此不怕改版挪位置。

三个入口:

模板页:试一试 + 内置弹窗模板

先「试一试」看认不认得出,再决定要不要写进任务里。

设置页:弹窗模板、语言、AI API 配置、使用教程、反馈入口

「使用教程」在任何页面都能回来;「反馈建议」提交后客服的回复也在这里看。


十一、常见问题

点了执行,屏幕没反应。 先看运行页顶部的自动化状态。无障碍没开,一切动作都发不出去;这一项是必需的,其余两项按需。

跑到一半停了。 看悬浮日志最后停在哪一步。九成是延迟不够 —— 那一步之后的页面还没出来。把前面那个延迟加到 1500 毫秒再跑。

昨天还能用,今天点空了。 目标应用改版了,坐标变了。重新用遮罩取一次点,或者换成按文字找(第十章)以免下次再变。

锁屏之后任务不动了。 这是设计如此:锁屏会停止正在运行的任务。任务要在屏幕亮着的时候跑。

换手机怎么把任务搬过去。 任务卡片「更多操作」→「分享」导出文件,新手机用「导入」。

这一版有定时吗。 没有独立的定时入口,任务由「执行」触发。要用的时候手动点一下,或者把任务挂成快捷方式的磁贴。


十二、哪些事不建议做

工具只提供操作屏幕的能力,做什么由使用者决定。但有三类事,写在教程里就是误导,所以直接说清:

剩下的场景很多:自己的备忘录、自己的表格、系统设置、看一眼就走的信息。这些没有争议,也足够省下每天那几分钟。