Galaxy Hs 在 Galaxy PAI公开测试 ,2LDC = 1M Tokens 中发帖
几天前我在https://linux.do/t/topic/1427060 使用GPTLOAD搭建了一个OpenAI免费模型和Nvidia NIM的负载站,承蒙佬们厚爱,当时每天有效请求冲到20k了。
上述帖子的末尾我提到我
RIIR了一下Gpt-Load,采用无锁、无栈协程,我挺好奇这么干的性能怎么样。
我本人热衷于比较编程语言和底层栈的性能,所以如果佬们不吝使用,流量足够达到这个小鸡的瓶颈,我就换成我riir的版本跑跑看。
昨天我用了一下午和一晚上的时间,完善了一下我的后端,感觉 效果还是挺不错的。
今天邀请各位佬公开测试。
我搓了全套的东西,包括一个结算系统和对应的后端。
因为上次发现有人滥用,我干脆改成LDC驱动的了。不过价格还是比较低的
请在此购买Token,你可以选择使用LDC新购Token或者续费已有Token。为了防止太碎片化影响性能,低消 10LDC...