Jlovec (@jlovec1024) 在 微信聊天记录做个人知识库:增量同步、清洗、RAG 有什么成熟项目? 中发帖
最近在折腾一个个人知识库的小项目,想请教下大家有没有合适的开源项目或实现思路。
背景:
我通过 adb 从本人 Android 手机导出并解密了微信聊天记录,目前已经能按天自动导出每日新增的微信聊天记录
现在手里有比较连续的微信聊天数据,想看看除了备份之外,还能做哪些有意思、实用的事情
目前想到的方向:
全文检索:按联系人、群聊、时间、关键词检索历史消息
个人知识库/RAG 问答:把聊天记录清洗后做向量化,支持自然语言提问,比如“某件事当时是怎么讨论的”“某人提到过哪些书/项目/地址”
每日/每周摘要:自动总结重要群聊、待办、约定、链接和文件
时间线与人物关系:按联系人和时间整理事件线
信息抽取:提取链接、地址、日程、账单、文件、图片/语音转文字等
增量处理:每天只处理新增消息,去重、更新索引,避免全量重跑
想请教的问题:
有没有比较成熟的开源项目可以参考?比如个人知识库...