RAG 与向量库工具

RAG 是 FDE 交付里最高频的需求——“让 AI 看懂我们公司自己的资料”几乎出现在每一份 JD 和每一个客户现场。这一类工具链长(Embedding → 向量库 → 检索 → Rerank → 生成 → 评估),每一环都有国产开源选项,中文场景表现已经反超海外,私有化部署也更顺。

工具对比表

向量库:

工具	链接	定位	国内可用	备注
Milvus	github.com/milvus-io/milvus	国产首选,中文资料全	✅	42k★,生产级
Chroma	github.com/chroma-core/chroma	本地最简,S2 第一课用	✅	单机原型首选
Qdrant	github.com/qdrant/qdrant	免费层 1GB	✅	Rust 实现,性能强
Pinecone	pinecone.io	全托管,闭源	需代理	海外 Demo 用

Embedding:

工具	定位	国内可用	备注
BGE(智源)	中文首选,开源可私有化	✅	bge-large-zh/m3
通义 Embedding	阿里系,百炼一键调	✅	中文场景表现稳
text-embedding-3	OpenAI 出品	需代理	海外客户指定

Rerank:

工具	定位	国内可用	备注
BGE-Reranker	开源,配合 BGE 闭环	✅	私有化首选
Cohere Rerank	闭源标杆	需代理	效果稳但走代理

RAG 平台:

工具	链接	定位	国内可用	备注
Dify	github.com/langgenius/dify	全栈 LLMOps,RAG 一键	✅	111k★
RAGFlow	github.com/infiniflow/ragflow	深度文档解析	✅	国产,infiniflow,48k★
FastGPT	github.com/labring/FastGPT	知识库+工作流	✅	20k★,可私有化

评估:

工具	链接	定位	国内可用	备注
RAGAS	github.com/explodinggradients/ragas	RAG 评估事实标杆	✅	上下文召回/忠实度
DeepEval	github.com/confident-ai/deepeval	端到端 LLM 评估	✅	pytest 风格

选型建议

学习阶段从 Chroma 起步,生产环境直接上 Milvus。 Chroma 单文件、零依赖,本课程 Stage 2 第一课就靠它讲清楚“向量检索”的直觉;一旦数据量上百万、需要分布式、要给客户部署在内网,Milvus 是国产唯一稳的选择,中文文档和社区案例最全。

Embedding + Rerank 用 BGE 一套打包。 BGE 系列是智源开源的中文 Embedding/Reranker,在 C-MTEB 榜单上长期领先,关键是能整套私有化部署,合规无忧。先用 bge-large-zh 做 Embedding,再接 bge-reranker 做二次精排,这一组合是中文 RAG 的黄金搭档。

RAG 平台按“客户要不要私有化”分。 政企/金融/医疗,客户数据不能出内网,优先 RAGFlow(深度文档解析,PDF/扫描件强)+ FastGPT,二者都能 Docker 一键私有化;互联网客户或快速 Demo,直接用 Dify 云版,半天就能搭一个能演示的知识库问答。交付时务必带上 RAGAS 评估报告,这是 FDE 区别于“PPT 销售最有力的武器”——拿出忠实度、上下文召回的具体分数,客户才会为效果买单。

RAG 与向量库工具

工具对比表

选型建议

🔗 延伸阅读