Ḿ̃͆́͢͏͖͔͠҈̵͚̖͈͈̎͐ͨ̕ŗ̨̗̺̖̻͖̻̒ͨ̌̀҈͈̺̤̠̮̪̗͆͑̉ͦ̏J̦͖̱̓̅ͫ̅ͯͦ҈̴̷̵̷̴̨̲̤ͪ̃̅͢o͟҉̸̹͖͞͞͞҈̵̫̺̲̪͇̱͛ͮ́͟͠͠h̉҈̶̡̨̢̰͜ǹ̸̘̠ͤ̚̕͢҈̸̧̜̠̄̚̕͞n̈̐͂҉̭̩͘҈̸̯͖̯̭ͬͫ͒̏ỳ̂ͭͤͬ̇ͫ̕̕͘͜͏҈̹̜̦ͫ͂Vͫ̎͏̛̱̣̕͞҈̷̰͆͘͞͠a̢̖̲͈ͨ̋͊̄̓̕͘͟͠҈̵̭̝̼ͣͬ̆̋͢͢͡͞n̜͕̯̖̝ͦ̾̋ͨ̑͠҈̗ͥͦ͂͝ (@MrJohnnyVan) 在 通义千问 1000 万超长上下文窗口什么水平? 中发帖
使用 ChatGPT 和 Claude 网页版的佬友应该深有体会,聊着聊着 AI 就把最前面的内容给忘干净了,不得已要新开聊天。上下文窗口的长度限制也限制了模型的发挥。
谷歌 Gemini 的 200 万 token 超长上下文窗口绝对称得上目前长文本模型的标杆,得益于此,NotebookLM 火爆出圈。月之暗面 Kimi 也算是国产长文本的先行者了,模型能力不行就要想法子非对称作战,早早的宣布其 200 万上下文的内测,就是不知道测到啥时候是个头。
而国产翘楚通义千问,对此也早有布局,qwen-long 的推出就是专门用于对付超长文档。
几个月前刚接触通义千问,试过他家的几个模型,qwen-long 给我的印象特别的差,除了上下文长以外一无是处。现在借着 Qwen Chat 的推出又回去阿里云百炼看了看,发现这玩意上下文竟然给干到了 1000 万,这简直太残暴了???全球独一份?记...