cnm 在 groq 负载均衡问题 中发帖
[image]
[image]
如题,众所周知,groq推理巨快,其中有90b模型的模型,性能还可以,便想加入pro-api(来自 @duolabmeng6 )做负载均衡,结果给我整麻了。。。
红温
初始化的Balance名称: sk-vMn1xxxxxxxxxxx
初始化的提供者: ['groq1', 'groq2']
初始化的权重: {'groq1': 1, 'groq2': 1}
provider: {'name': 'groq1', 'provider': 'openai', 'mapped_model': 'gemma2-9b-it', 'original_model': 'gemma2-9b-it', 'base_url': 'https://api.groq.com/openai/v1', 'api_key': 'gsk_ixxxxxxxxxxxxxxxxxxxxx...