最近使用Repomix对项目进行打包,拿到的文件寻思喂给大模型来着. 
我看了一下打包的文件,根据我的小项目来说,打包后的文件大概是在300k的tokens 🙃. 
这个token的长度大概只有谷歌家那个1M的模型才能吃得下了. 如果我换个时间长一点的项目,甚至会有2M-3M左右的token量, 感觉还是得长文本分割, 但是分割之后又会丢信息 , 让整个项目的信息都碎片化了 😭 
大家有没有什么想法