@josenlou 在 利用Html锚点标记让Token用量减少一半 中发帖
利用Html锚点标记让Token用量减少一半
原文如下
作者Warner Bell在使用大模型处理超长指令(1000行以上)时发现LLM会容易因为「注意力涣散」而遗漏细节的缺陷。
了修复这个问题,作者开发了「目录动态载入」技术,利用 HTML 锚点标记让模型只读取与当前问题相关的指令区块。
这项优化成功将 Token 使用量降低了约 50%,并且提升了30-40% 的处理速度。
作者也把提示词公开分享出来了
有兴趣的朋友可以看看
以下是提示词内容
▶
总结
还有锚点标记方式
▶
总结