使用 Embeddings 将自建知识库接入 OpenAI( 二 ) _Embeddings

[ 构建] 对知识库（您在页面文件夹中的 .mdx 文件）进行预处理，生成嵌入。
[ 构建] 使用 pgvector 将嵌入存储在 Postgres 中。
[ 运行] 执行向量相似性搜索以找到与问题相关的内容。
[ 运行] 将内容注入到 OpenAI GPT-3 文本完成提示中，并将响应流式传输给客户端。
步骤 1 和 2 在构建时发生，例如当 Vercel 构建您的 Next.js 应用程序时。在此期间，将执行 generate-embeddings 脚本，该脚本执行以下任务：

文章插图

步骤 3 和 4 在运行时发生，即用户提交问题时。当发生这种情况时，将执行以下任务：

文章插图

上面的这个项目是在每次部署的时候将文档处理成嵌入，另外一个项目
deno-fresh-openai-doc-search 在 CI/CD 过程中将文档处理成嵌入。
总结在自建知识库中应用，通过将文本转化为嵌入向量的形式，利用嵌入 OpenAI 可以对自建知识库中的文本进行自动分类和标签生成，从而更好地组织文件和资源；搭配 OpenAI 的问答系统可以根据用户的提问，从自建知识库中智能查找相关信息并给出回答。帮助我们更好地管理和发挥自建知识库的价值，提高知识的可用性和利用效率。
相关文档