欣 郁 (@user1164) 在 【评测】Gemini4的生物医学学术材料的理解和运用能力评测 中发帖

评估对象:Gemini 4 argon contributor(来自opencode go) vs deepseek-v4 flash+pro(来自opencode go) 
评估方法来自本人自建的一套学术综述撰写流程:

检索指定主题(原发性膜性肾病的发病机制)的文献,构建文献材料库(共85篇,包括66篇pdf原文及19篇摘要);
将文献材料进行文本分块并向量化;
3.1 基于所有文献的摘要,写一个分点式的综述框架,题目为原发性膜性肾病的发病机制;
3.2 以综述框架的终末子标题为检索对象,利用RAG的方式检索文本块及图片;
3.3 每个“终末子标题+相关文本块”构成一个综述片段,组装综述片段即为成品综述。

比较维度:

生成综述大纲能力的评估:该任务为基于85篇文献摘要生成综述大纲,考察复杂长文本(约131k字符数,非token数)下模型的注意力和输出意愿;
综述整体的评估...