@josenlou 在 究竟是哪种编程语言的 token 效率最高? 中发帖
根据这篇文章,作者指出LLM最大的限制之一是上下文长度,在现在的transformer架构下,较长的上下文窗口会显著增加内存使用。不过当前世界正陷入内存短缺的情况下。
因此在这种状况下,编程语言的“Token效率”到底有多高可能就会产生巨大的差异。
作者利用Claude Code环境以及Hugging Face 的 Xenova/gpt-4 分词器(OpenAI GPT4 同款),来进行RosettaCode的编译任务。RosettaCode算是编程百科,里面有很多编程任务可以选择!
最后的结果如下:
[IMG_5062]
前五名分别是Clojure、Julia、Ruby、Perl以及Python!
而最后三名是C、C++以及C#!
不知道这样的结果是不是在大家的预期之内呢?欢迎一起讨论一下!