BHznJNs 在 看到家里的智能电视,我有点子了! 中发帖
国庆回家,看到家里的智能电视,我想到这或许是 Jev 这类决策模型做 Computer Use 的绝佳载体。
智能电视的操作逻辑是这样的,界面上每个可交互元素都可以被通过遥控器的方向键导航到,在聚焦到可交互元素上时会有显眼的标识(比如一个手形元素放在目标元素右下角),通过确定键来点击该可交互元素,通过点击返回键来返回上一层级。
那我们完全就可以仿照这种操作逻辑,现代 GUI 操作系统也提供了 tab 导航机制,如果能够提供 上、下、左、右 四个 action 用于移动焦点,外加 确定(鼠标左键)、菜单(鼠标右键)、返回、win键 以及 调用 LLM 来文本输入 或许就能覆盖多数电脑操作时需要的逻辑。