金融消费者(韭菜) (@tian_lch) 在 今天装了Gemma3:27b, 还没有发现特别惊艳的地方 中发帖
唯一就是小,因为才17G。所以应该相同聪明程度的大模型,它应该耗费的算力应该可以比较小吧。也就成本可以比较低。但是我个人感觉还是比不上deepseek v3的671b满血版的。
原因,我设定了prompt,如果使用deepseek,看到能完全按照指令输出。但是Gemma3,就有一些差别,并不能完全按照指令执行。当然我的prompt使用的中文,不知使用英文是否就能解决这个问题(没有测试)。
另外,我还搭建了RAG,通过nomic-embed-text的向量方式搭建的。发现准确性还是差距太大,返回的内容大部分都是不准确的。特别与年份相关的。比如让找2025年的信息,他只给你返回2020年,2022年的。真让人头痛。其他有大佬一起探讨,如何才能提升准确率。我使用了embeding和bm25两种方式。但是返回的内容,可能仅仅10%是可用的。