clark1028探讨文献搜索器开发方案 中发帖

佬友们,我最近想做一个 AI 文献搜索器,想先来问问大家的相关技术经验。 
我的想法是:输入一个研究主题,比如“机制砂石粉在砂浆/混凝土中的应用”,ai搜索器自动帮我做几件事:

中英文关键词扩展
多个公开文献源检索
文献去重和相关性排序
摘要/结论提取
按研究方向分类
导出 Excel、Markdown 或参考文献列表
后续可能支持 PDF 上传后总结

目前考虑的数据源有 OpenAlex、Semantic Scholar、Web of Science、arXiv 等。中文文献源就是知网和万方,可能先做手动导入或题录匹配,这里是否一定需要相关账号才可以执行?之前尝试了一下,发现知网的反爬还是挺严重的。
另外在做之前想请教大家几个问题:

做文献检索工具,最值得优先解决的痛点是什么?
有哪些公开 API 或开源项目值得参考?
中文文献有没有推荐的处理方案?
AI 判断文献相关性、总...