把 gemini balancer 迁移到 x96 上了,没做外网映射,然后再 owu 上面配了内网地址,结果内外网都能用。看来是 owu 后端发的模型请求。

这就太妙了,部署在本地的响应速度直接缩短了至少 50%。

#tech #ai
 
 
Back to Top