c.skeleton (@cskeleton) 在 用OCR和LLM来帮助你梳理剧情思路和初测 中发帖
在B站找了几个干净的游戏录像把流程跑通了,然后刚才在实际也测试通了,把初步思路和方案分享出来
TL;DR
核心思路
Windows 按照 1FPS 的频率截图,
macOS 用 系统自带的 Apple Vision OCR 做识别,
再接一个 LLM 对识别和整理之后的内容进行分析,
构建一个可视化的交互界面帮助玩家分析剧情。
Demo
基于测试数据构建的样品
Screenshot
[image]
[image]
[image]
[image]
用来调通流程的LLM是直接用的开发过程中的 Astra/Argon/Opus/Carbon,甚至从“自称蕾娜的魔女临别问褪色者会服从双指到什么时候”质疑了它的身份和动机,有点东西。
后续还能继续做的
目前只是跑通了基本流程,后续可以给双端做一个方便的GUI,然后再不断的优化信息提取的效率。目前的截图和提取差不多有接近一半的信...