先放开源地址


Q4量化


背景
大概今年一月份的时候，想用比如claude或者gpt尝试写小说，当时也经常和AI聊脑洞和大纲。但是实际用AI写过小说的佬友应该知道，AI写小说没法解决前后文一致性的问题。最开始的想法是尝试用多agent+数据库的方式，但是很快就放弃了，因为运作起来太复杂。 
于是又决定返璞归真，放弃数据库和多agent，通过记录和更新md文件让AI记住前文。但是我自己尝试感觉效果一般，写个几章就开始在细节上出问题了。 
再之后就是尝试用LightRAG检索，这个其实效果不错。当时寒假在番茄纯用AI写小说，也不赚钱，验证期的时候每天就几毛。之后写到大概18W字，一方面是要回学校了比较忙，另一方面是这个“流水线”很粗糙，纯AI写的代码，中间为了加入LightRAG还改造过几次。更重要的是一直在用的公益claude没了，其他模型写的内容自己完全看不下去，遂太监。 
但其实就...