MGS浪疯 (@MGS_Crazy) 在 求测试LLM模型的脚本 中发帖
大佬们,今天突发奇想想在2c2g的服务器上部署一个ollama然后跑一个小模型,然后试了一下gemma3:270m模型速度还行(不考虑质量的情况下)
但是想找个脚本测一下并发和token速度什么的,求大佬推荐!