openff 在 minimax-h3 本地部署提示词经验 中发帖
通过阅读h3官方论文,我总结了面向使用者提示词编写经验和避坑h3缺陷。
简单描述就是h3全模态模型,音频主动理解和被动理解能力拉跨,论文测试成绩得分大约是27%.
图像主动理解和被动理解较高,论文测试成绩得分大约是56%.而图像强理解能力带动了视频运动状态预测的准确度。
其中介绍一下h3全模态输入职责:
图像描述可见实体与空间布局。
视频提供运动和状态变化。
音频给出事件线索或口头约束。
文本指定所请求的操作。
在使用过程中遵循:
绝不让声音自己找主体,必须用提示词文本点名。
精细动作必须切大特写,用 fl2va 首尾帧强行锁死结果。提示词定义宏观行为,微观细节交给h3模型思考扩散定义。
避开行为缠绕、精密机械咬合或多物体连续碰撞,多用流体微动与慢动作提示词。( 扩散模型只有“视觉像不像”,没有硬刚体碰撞体积)
单镜头严控在 3~5 秒单步状态,多步动作靠上层应用批量剪辑接...