BHznJNs刷视频看到一个项目,可以通过转换模型输入的 JSON 为更节省 Token 的格式 中发帖

项目地址: 

比如对于 JSON:
{
"users": [
{ "id": 1, "name": "Alice", "role": "admin" },
{ "id": 2, "name": "Bob", "role": "user" }
]
}

会被转换为:
users[2]{id,name,role}:
1,Alice,admin
2,Bob,user

相比于其它常见的数据格式,能够显著减少同样数据的 token 数量:
GitHub Repositories ██████████████░░░░░░░░░░░ 8,745 tokens
vs JSON (-42.3%) 15,145
...