当您在一段时间内第一次使用经过微调的模型时,加载它可能需要一些时间。这有时会导致前几个请求失败并显示 429 代码和一条错误消息“模型仍在加载”。
加载模型所需的时间取决于共享流量和模型的大小。例如,像 davinci 这样的较大模型可能需要几分钟才能加载,而较小的模型加载速度可能会快得多。
加载模型后,完成请求应该更快,并且您不太可能遇到超时。
我们强烈建议在您的请求代码中实施具有指数退避的重试逻辑,以解决您在加载模型时可能遇到的任何问题(有关示例,请参阅本笔记本的“使用指数退避重试”部分)
正文完