Alixy 在 【分组轮询-Turnsapi+强制工具调用-canctool】分享两个闲时自搓自用的小项目 中发帖
起因: 论坛有很多公益站,有时单独请求一个公益站不稳定,遂萌生直接按分组轮询相同模型的想法,最大程度减小响应失败的概率。找了一圈好像没有很好支持的项目,于是急头白脸搞了这么个东西出来 😂
支持模型重命名,日志记录,token统计等等。
更多特性佬友自行探索
项目地址:
▶
截图
可能会有不少bug,欢迎反馈,佛系修复 🤣
另:对于原生不支持函数调用的api(例如一些逆向渠道的),搓了个通过提示词工程让不支持工具调用的LLM能够模拟标准OpenAI工具调用的服务,自测在cc和roocode可用,
地址: