这玩意有点猛：我试了个能“看屏幕自己点”的桌面 Agent，叫 SightFlow

昨晚刷 GitHub，看到一个项目叫 SightFlow。 第一眼我以为又是“自动化套壳工具”。 结果看完 README，发现它是来真的： 不是写死脚本，而是让模型看截图、找控件、回坐标，然后去点。 这场景你肯定熟：流程在电脑上，接口没有，手工又烦。

这个项目是干嘛的（一句话）

SightFlow 是一个基于大模型 + 视觉模型驱动的桌面端 RPA Agent，用“看屏幕+点坐标”的方式完成自动化流程。

它解决了什么问题

README 讲得很直白：

• 需要处理聊天界面（例如微信类场景）时，系统可以分析截图并生成回复；
• 需要自动操作 UI 时，系统可以基于截图定位控件并返回点击坐标。

翻成人话： 以前你得自己当“人肉鼠标”，现在是给它一双眼睛和一套规则，让它当你的“桌面代打管家”。

==原生支持微信/企业微信/WhatsApp 等==

用途

1. 微信消息自动回复
2. 企微客服-群回复
3. UI 自动化测试等-二次开发
4. 想做 Agent Computer Use / 桌面自动化探索的开发者
5. 需要在聊天 UI 上做自动处理实验的团队
6. 业务系统接口薄弱、但又想提效的运营/工具团队
7. 做 AI + RPA 融合方案验证的技术负责人
8. 需要跨 Win/macOS 发包验证的桌面应用开发者

核心功能亮点

• 智能对话回复（含防止自我循环对话机制）
  现实价值：做消息类自动处理时，不容易陷入“机器人自己跟自己聊到天荒地老”的离谱场景。

• VLM 视觉定位引导（截图 + Prompt → UI 控件坐标）
  现实价值：很多系统没 API，或者页面结构乱，这种纯视觉 RPA 能硬上。

• 内置火山引擎模型服务接入（默认）
  现实价值：开箱就有默认路线，不需要先拼一堆中间层。

• 提供开发运行与打包命令（Win/macOS）
  现实价值：从本地调试到发包都有路径，不是“只给概念不给落地”。

快速开始

npm install

npm run dev

提示：启动后，应用将打开主界面。请记得先去设置填入 skkey 再进行后续测试。

关键用法 / 示例

先在设置里填入 API Key（默认 Base URL 可直接用 README 给的地址），再测试 AI 功能和自动回复。

README 的关键配置说明：

• 火山引擎控制台开通服务并获取 API Key（示例模型：doubao-seed-2-0-lite）
• 默认 Base URL：https://ark.cn-beijing.volces.com/api/v3

打包构建：

# 构建 Windows 版本
npm run build:win

# 构建 macOS 版本
npm run build:mac

一句话总结：这项目像给电脑请了个“会看屏幕的实习生”，挺能干，但你得先把钥匙权限和操作边界管住。

推荐标签

#SightFlow #AIAgent #ComputerUse #RPA #VLM #桌面自动化 #火山引擎 #工程效率 #AI应用 #GitHub开源