Marisa (@marisa4219)有关Gemini那个2M上下文,我有一点想法 中发帖

如果我接一个豆包,把用户最后200K的上下文留下来,然后把前面所有的上下文用一个低价快速的模型压成10K,是不是可以超高上下文,对外就说注意力机制还需要优化 🤪