Marisa (@marisa4219) 在 有关Gemini那个2M上下文,我有一点想法 中发帖
如果我接一个豆包,把用户最后200K的上下文留下来,然后把前面所有的上下文用一个低价快速的模型压成10K,是不是可以超高上下文,对外就说注意力机制还需要优化 🤪
如果我接一个豆包,把用户最后200K的上下文留下来,然后把前面所有的上下文用一个低价快速的模型压成10K,是不是可以超高上下文,对外就说注意力机制还需要优化 🤪