guoguojin (@guoguo1)佬们,资源调度平台有什么好的建议嘛 中发帖

是这样,想搞一套资源的调度平台,就是最底下依赖k8s,平台支持模型的微调训练,把kube-flow的能力支撑进来,然后支持训练结果的部署,也支持开源模型的一键部署,通过nv的dynamo进行模型的部署调优,最后上层支持部署模型的token分发,就像sub2api这种一样。当然整个东西还涉及到用户体系,存储挂载等乱七八糟的东西,我还想在这个上面加上ai助手,辅助帮助配置训练部署等功能,佬们,感觉这个东西是否还有搞头?有没有啥技术和插件等等的建议?