八嘎小天皇 (@ves) 在 来测一下大模型对谐音梗的理解程度 中发帖
下面这个语句是逛知乎的时候偶然发现的,然后想试一试大模型能不能理解
浙戟把旧事各大厦避
上述这句话是什么意思?
大部分模型基本都无法在第一次准确的给出答案
[image]
随后再给出这可能是一个谐音梗的提示之后
gemini-1206每次勉强说出来了一点点,
gpt-40-lates倒是给出了答案,但是复现结果不稳定
其余模型偏差都比较大的,特别是gemini-2.0-flash-thinking
由此看来gemini的flash模型终究是赶不上exp数字系列的
Gemini-exp-1206
[image]
gpt-4o-latest
[image]
再加上生僻字那么多,考虑到文本切割的问题,这种还是有可能创造出模型也无法识别的语句的