LangChain RAG

目录

1. 一、什么是向量数据库
   1. 1.核心定义
   2. 2.通俗理解语义向量
2. 二、为什么不用传统数据库
   1. 1.MySQL：仅支持字符级匹配，无语义能力
   2. 2.Elasticsearch：关键词模糊匹配
   3. 3.向量数据库：语义相似度匹配
   4. 三、向量数据库核心原理与关键指标
   5. 1.完整工作流程
   6. 2.三大相似度计算方式
   7. 3.核心性能指标
   8. 4.主流索引算法选型
3. 四、主流向量数据库选型对比
   1. 1.ChromaDB
   2. 2.FAISS
   3. 3.Milvus
   4. 4.Qdrant
4. 五、向量数据库最佳实践与避坑指南
   1. 1.入库优化
   2. 2.检索优化
   3. 3.常见问题避坑
5. 六、向量数据库核心应用场景
6. 七、向量模型选择
   1. 1.BGE系列（智源研究院，国内 RAG 最热门）
   2. 2.GTE系列（阿里）
   3. 3.BCEmbedding（网易有道）
   4. 4.Qwen3‑Embedding（阿里通义）
   5. 5.国际通用免费开源模型
   6. 6.选型速查表
7. 八、参考文档

一、什么是向量数据库

1.核心定义

向量数据库（Vector Database）是一种专门用于存储、索引和检索高维向量数据的数据库系统。

日常的文本、图片、音频、视频都属于非结构化数据，机器无法直接理解。我们需要通过Embedding嵌入模型，将其转化为固定维度的浮点型向量，例如 768维、1024维数字数组。
向量数据库的核心能力：通过计算向量空间距离，实现语义相似度检索，而非传统的关键词精确匹配。

2.通俗理解语义向量

在向量空间中，语义越相近的内容，向量距离越近；语义无关的内容，向量距离越远。

举个直观例子：
  - 句子A：今天天气晴朗，适合出门散步
  - 句子B：阳光明媚，外出游玩很合适
  - 句子C：电脑硬盘损坏如何修复
A和B关键词不同，但语义高度一致，向量距离极小；A和C毫无关联，向量距离极大。向量数据库就是依靠这个特性，实现模糊语义匹配，完美适配人类自然语言检索习惯。

二、为什么不用传统数据库

1.MySQL：仅支持字符级匹配，无语义能力

MySQL 是经典的关系型数据库，支持字段精准匹配、模糊匹配（LIKE）和普通全文检索，但所有匹配逻辑都只基于文本字符本身，不具备任何语义理解能力。例如搜索“大模型微调”，MySQL 只能命中包含对应字符的内容，无法识别“大模型参数调优”“LLM权重微调”这类字面不同、语义一致的同义表述，无法满足AI场景下的智能检索需求。

2.Elasticsearch：关键词模糊匹配

ES 支持全文检索、分词模糊匹配，但依然停留在词汇层面，无法理解深层语义。无法解决同义词、近义词、句式改写的检索问题，很容易出现漏检、错检。

3.向量数据库：语义相似度匹配

不依赖关键词，只关注语义含义。无论用户如何改写提问、替换近义词，只要语义一致，就能精准检索到对应内容，完美适配RAG知识库问答、智能搜索场景。

三、向量数据库核心原理与关键指标

1.完整工作流程

所有RAG知识库项目，都离不开这套核心流程：
  1.文档处理：PDF/Markdown/网页等非结构化文档，加载后切片分块
  2.向量化嵌入：通过Embedding模型，将文本块转为高维向量
  3.向量入库：向量+原始文本元数据，存入向量数据库
  4.检索匹配：用户提问→问题向量化→向量库相似度检索
  5.结果生成：将检索到的相似上下文交给大模型，生成精准答案

2.三大相似度计算方式

向量数据库通过距离公式判断语义相似度，项目中最常用两种：
  •余弦相似度（Cosine）：RAG项目首选，只关注向量方向，不受文本长度影响，适配文本语义检索
  •欧氏距离（Euclidean）：关注向量空间直线距离，适合图像、数值特征检索
  •点积（Dot Product）：计算速度快，需向量归一化，常用于高性能检索场景

3.核心性能指标

•召回率：检索结果中有效相关内容的比例，RAG核心指标，越高越不容易漏信息
•检索延迟：单次检索耗时，决定问答响应速度
•吞吐量：单位时间可处理的向量读写、检索请求数
•内存占用：海量向量存储时的资源消耗

4.主流索引算法选型

向量检索本质是以速度换精度，不同索引算法适配不同数据量级场景，新手直接按场景选型即可：、

索引算法	核心特点	构建速度	查询速度	召回率
FLAT（精准全量检索/暴力检索）	全量遍历，无索引损耗	极快	慢	100%（满分）
IVF（倒排聚类索引）	聚类分桶检索，缩小检索范围	中	中快	较高
HNSW（层次化近邻图索引）	多层图索引，业界主流算法	较慢	极快	极高
DISKANN（磁盘近邻图索引）	磁盘存储索引，节省内存	慢	中	高

四、主流向量数据库选型对比

目前AI开发最常用的4款向量库，覆盖本地开发到线上生产全场景：

1.ChromaDB

定位：轻量级本地向量数据库，新手首选
优点：零部署、开箱即用、无需单独启动服务、完美适配LangChain
缺点：不支持分布式、海量数据性能一般
适用：个人开发、本地RAG测试、小型知识库项目

2.FAISS

定位：Meta开源高性能向量检索库
优点：检索速度极快、支持GPU加速、轻量化
缺点：无原生持久化、不支持复杂管理、仅适合检索
适用：算法验证、离线检索、小型AI应用

3.Milvus

定位：工业级生产向量数据库
优点：分布式集群、海量数据支撑、高并发、高可用、支持多种索引
缺点：部署复杂、资源占用高
适用：企业级RAG、线上生产环境、百万/亿级知识库

4.Qdrant

定位：高性能轻量生产级向量库
优点：部署简单、检索速度快、支持丰富过滤条件
适用：中小型线上项目、追求性价比的生产场景

选型总结：本地开发/学习用 Chroma/FAISS；线上生产/企业项目用 Milvus/Qdrant

五、向量数据库最佳实践与避坑指南

1.入库优化

•文本分块不宜过大（500字符左右最佳），避免语义混杂；不宜过小，避免上下文缺失
•统一嵌入模型：入库和检索必须使用同一个Embedding模型，否则向量维度、语义空间不匹配，检索失效
•开启数据去重，避免重复向量占用资源、干扰检索结果

2.检索优化

•小规模数据（10万内）用FLAT精准检索，生产环境优先HNSW索引
•基础向量检索+Rerank重排序，大幅提升检索精准度，减少无关内容
•合理设置检索数量k=3~5，平衡信息完整性与干扰性

3.常见问题避坑

•检索结果不准：大概率是分块不合理、嵌入模型不匹配、未做重排序
•问答幻觉：向量库检索无关内容，需优化分块策略、调整检索参数
•重复入库：上线增量更新逻辑，避免每次启动重复向量化

六、向量数据库核心应用场景

1.RAG知识库问答：PDF/文档私有知识库、企业智能客服、离线问答机器人（最主流场景）
2.语义搜索：替代传统关键词搜索，实现自然语言全站智能检索
3.多模态检索：图片、音频、视频相似度匹配、内容查重
4.推荐系统：基于用户行为向量，实现个性化内容推荐
5.内容风控：相似违规内容检索、文本查重、舆情分析

七、向量模型选择

国内首选・开源免费中文向量模型（全部支持商用）

1.BGE系列（智源研究院，国内 RAG 最热门）

- BAAI/bge‑small‑zh‑v1.5
    轻量，~130M，768 维；CPU 就能跑，适合测试、小型知识库
- BAAI/bge‑base‑zh‑v1.5
    均衡版本，279M，768 维；性价比之王
- BAAI/bge‑large‑zh‑v1.5
    高精度，~335M，1024 维；中文语义最强之一，适合生产知识库
- BAAI/bge‑m3🔥全能旗舰
    567M，支持稠密向量 + 稀疏向量 + 多向量检索、最大上下文 8192 token、支持上百种语言，目前中文项目首选。

2.GTE系列（阿里）

- thenlper/gte‑base‑zh / gte‑large‑zh
    中文优化，性能优秀，Apache‑2.0 免费商用

3.BCEmbedding（网易有道）

- BAAI/bce‑embedding‑base_v1
    中英日韩，附带配套免费重排序模型，适合 RAG 召回 + 精排全套方案

4.Qwen3‑Embedding（阿里通义）

长上下文版本，最高支持 32K 文本，适合超长文档切片，开源免费可商用

5.国际通用免费开源模型

1. all‑MiniLM‑L6‑v2（Sentence‑Transformers 默认）
    768 维、超轻量、MIT 协议免费商用。缺点：中文效果一般，适合英文原型。

2. E5 系列（微软） multilingual‑e5‑base / large
    多语言效果优秀；使用时文本前缀带上 query:、passage:，检索效果大幅提升。

6.选型速查表

模型	适合场景	硬件要求	中文效果	商用免费
bge‑small‑zh‑v1.5	快速原型、测试	CPU	良好	✅
bge‑base‑zh‑v1.5	中小型知识库	CPU / 低配 GPU	优秀	✅
bge‑large‑zh‑v1.5	高精度 RAG 知识库	8G 内存以上	非常优秀	✅
bge‑m3	多语言、高性能生产环境	16G 内存	顶尖	✅
all‑MiniLM‑L6‑v2	英文项目、Demo	极低	一般	✅

八、参考文档

https://www.runoob.com/ai-agent/vector-database.html

---

转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。