Haobo LYU (@may3rr) 在 求助Gemini 负载均衡问题 中发帖
因为最近有一个大模型相关的比赛,要高强度调用。我就自己买了20个Gemini的key
按照官网的Free Tier Rate Limit做了轮询,但是依然会出现很高频的报错。
'Connection aborted.', RemoteDisconnected('Remote end closed connection without response'
我把报错中失效的key直接去curl是可以用的,不知道佬们有没有解决方法。
目前怀疑可能是同一个ip发的请求太多,被封了?
下面我把我的代码call llm部分发出来:
import os
import time
import requests
import json
from typing import List, Optional, Tuple
from dotenv import load_dotenv
# --- ...