ただヤンシャオに過ぎない (@yanshao)RAG这么实现可以吗? 中发帖

之前翻MSA(Minimax稀疏注意力)的时候注意到了它的模型内和主模型一起训练的选择器,它取一定数量的块给主模型做注意力,来达成稀疏注意力的实现,而性能几乎没有损失,甚至还有提高 
然后注意到这玩意跟rag很像啊
于是就想到,如果拿这个选择器,跟主模型一起训练的选择器这种,来想办法做RAG的选择模型,可以如何呢?