解读向量数据库( 三 ) _向量数据库

Pinecone 在性能方面表现非常出色，它能够支持高达 1 百万次的QPS ，且具有低延迟和高吞吐量的特点，还具有分布式部署、实时索引构建和高效的向量相似度搜索等优点，可以帮助用户快速处理大规模的向量数据。
此外，Pinecone 还支持多种编程语言和框架，如 Python、JAVA、TensorFlow 等，使得用户可以轻松地将其集成到自己的应用程序中。
MilvusMilvus是一个开源的分布式向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。
Milvus 基于 Faiss、Annoy、HNSW 等向量搜索库构建，可以轻松管理数百万个实体，可以根据不同的数据特点选择最合适的索引算法，核心是解决稠密向量相似度检索的问题。在向量检索的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。

文章插图
图片
Milvus 还具有分布式部署、高可用性和高扩展性等优点，可以帮助用户快速处理海量的向量数据。它也提供了多种安全措施来保护用户的数据安全和隐私，支持 SSL/TLS 加密和访问控制等技术，可以防止数据被非法访问和窃取，还提供了数据备份和恢复等功能，可以保护数据的完整性和可用性。
此外，Milvus 还提供了多种客户端 SDK，如 Python、Java、C++ 等，使得用户可以方便地使用不同的编程语言来访问和操作 Milvus 。
3.2 支持向量的全文检索数据库这类数据库包括Elastic/Lucene、OpenSearch和Solr 。它们都具有丰富的文本检索功能，如可定制的标记器，分词器，停用词列表和N-grams等，大部分都基于开源库，且有大型集成的生态系统，包括了向量库。
例如，Elasticsearch，是一个支持各种类型数据的分布式搜索和分析引擎。Elasticsearch在7.3 版本中，添加了对向量数据索引的支持，支持混合查询，但是向量检索采用的仍然是暴力计算，性能损耗较大。在8.0版本引入了knn search其实就是一种近似最近邻搜索算法，相似度支持欧式距离，点积和余弦相似性，knn search底层其实使用的是HNSW 。遗憾的是，这种方式无法进行混合检索。
3.3 支持向量的NoSQL 数据库几乎所有这些NoSQL数据库都是最近才通过添加向量搜索扩展而具备向量能力的，所以如果要是使用的话一定要做好测试。Cassandra，Rockset，Azure Cosmos DB和MongoDB等都纷纷宣布了增加向量搜索的计划。NoSQL数据库的向量搜索性能可能差别很大，这取决于所支持的向量函数、索引方法和硬件加速。
例如，redisVector是一个向量数据库，专注于向量数据的有效处理。它擅长存储和分析大量向量数据，包括张量、矩阵和数值数组。通过利用内存数据存储Redis，RedisVector可提供高性能的查询响应时间。它提供内置的索引和搜索功能，可以快速搜索和查找相似的载体， RedisVector还支持各种距离测量，用于比较向量和执行复杂的分析操作。通过对向量数据的操作，包括元素级算术和聚合，RedisVector 为处理向量提供了一个多功能环境，适用于处理和分析高维向量数据的机器学习应用，从而能够创建定制的推荐系统和基于相似性的准确搜索。
对于支持向量的NoSQL 数据库，探索尝试未尝不可，但在生产环境中使用要慎之又慎。
3.4 支持向量的SQL 数据库这些大都是关系型数据库并且支持sql查询，例如SingleStoreDB, PostgreSQL, Clickhouse和K.NETica的pgvector/Supabase Vector等。它们都宣布包含了向量搜索功能，如点积，余弦相似度，欧几里得距离和曼哈顿距离，并且使用相似度分数找到n个最近邻。由于提供了混合查询，可以将向量与其他数据结合起来以获得更有意义的结果。另外，大多数SQL数据库都可以作为服务部署，可以在云上进行完全的管理。

文章插图
图片
例如，Postgres 通过 pg_vector 和 pg_embdding 两个插件来实现向量数据库，让PG数据库支持向量索引检索的能力。其索引算法使用的是基于Faiss的IVF Flat索引，提供了优异的召回率。
4. 向量数据库的一些对比4.1 编程语言支持Chroma是一个Python/TypeScript包装器，基于C++编程语言的有OLAP数据库Clickhouse以及开源向量索引HNSWLib 。但如今，快速响应且可扩展的数据库通常使用现代语言如Golang或Rust编写。在专为向量数据库而构建的供应商中，唯一使用Java构建的是Vespa 。