OpenAI 的嵌入 API太慢了吗 探寻其他嵌入模型和服务的优势

在研究机器学习效率的过程中，通常指的是模型在特定任务上的表现。对于数据科学家和机器学习工程师来说，这包括准确率、损失等度量。然而，随着聊天机器人和智能代理等基于文本生成的 AI 应用成为我们日常生活的一部分，模型延迟成为另一个显著影响用户体验的性能指标，即模型生成结果所需的时间。如果生成过程较慢，将会影响聊天用户的体验。

最常见的提示生成任务之一是使用向量数据库从文档集合中检索相关信息。向量数据库存储了一个被称为嵌入的文档的数学表示，并使用近似最近邻等技术比较文档之间，或者与搜索词的相似度。在机器学习中，这个人工智能分析模块的任务被后来人形象概括地称为深度学习机器人的语义搜索。

我们测试了两个嵌入 API 服务和几个由 sentence-transformers包支持的开源嵌入模型。我们选取的开源模型代表了在 MTEB 基准测试中得分高，且在 CPU 上表现良好的模型族。还有许多其他模型，你应该根据你的使用场景进行实验，以基准作为指导，而非铁律。

OpenAI 的 text-embedding-ada-002模型是许多开发者的首选。由于应用程序常常使用 OpenAI 的模型，因此开发者使用同样的 API 来嵌入文档是合理的。OpenAI 最近也大幅降低了这个 API 的价格。

在测试开源模型时，我们专注于 CPU 的性能，而非 GPU。CPU 的部署成本低，易于扩展。虽然嵌入模型，像许多深度学习模型一样，在处理大数据集时在 GPU 上表现最好，但我们这里的主要关注点是模型对单个短句子的表现。在这种情况下，使用 GPU 通常比使用 CPU 更慢，因为将数据传输到 GPU 的代价比将同样的数据从内存移动到 CPU 的代价更高。这些问题可能导致性能下降，并且可能需要额外的处理器来支持更多的应用程序。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!