@MonkeyChen 在 如何更好的测试llm coding能力呢? 中发帖

最近llm更新迭代比较快,个人还是认为只有针对不同的任务设计不同的测试case,才能验证出符合自己业务场景的大模型,但我对这方面经验不是很足,很多时候模型的选择都是参考论坛里面其他佬的经验,日常就是做一些编程工作,各位佬们在这方面有什么经验和建议吗?怎么设计好用的测试case,或者有哪些被广泛验证的case,可以比较好的验证模型的能力,欢迎佬们踊跃讨论!!!