MetaSearch - 深度迭代检索增强系统

MetaSearch 是什么？

MetaSearch 是一个基于深度迭代检索原理构建的先进检索增强生成 (RAG) 系统。它通过逐步精炼搜索、融合多种检索技术，并利用大语言模型 (LLM) 来提供全面且上下文丰富的答案。

核心特性

模块化 RAG 框架

遵循社区标准，学习使用清晰、模块化的架构构建 LLM 项目的最佳实践。

深度迭代检索

实现前沿的 RAG 算法，通过多轮搜索迭代深入探索信息。

混合检索融合

结合向量搜索、关键词搜索 (TF-IDF) 和知识图谱检索，实现更广泛的覆盖。

智能查询扩展

利用 LLM 动态生成子查询，实现知识探索的广度和深度。

自适应搜索控制

基于新发现信息的比例决定是否继续搜索，优化效率。

多样性重排序

利用最大边际相关性 (MMR) 平衡相关性和多样性，提供更全面的结果。

系统架构

核心组件

文档处理

将原始文档分割成带有上下文和摘要的可管理文本块。

索引构建

构建向量、TF-IDF 和知识图谱索引以实现高效检索。

检索模块

结合多种检索方法（向量、关键词、图谱）查找相关文档。

查询扩展

使用 LLM 基于检索到的信息生成新的子查询。

深度 RAG 编排器

协调迭代检索过程并综合生成最终答案。

工作流程

用户查询输入

初始检索 (混合)

生成子查询 (LLM)

迭代检索与扩展

重排序与综合

生成最终答案 (LLM)

项目目录结构

MetaSearch/
├── config/           # 配置文件 (YAML)
├── data/             # 数据目录 (原始, 处理后, 索引)
│   ├── raw/          # 原始数据
│   ├── processed/    # 处理后的数据
│   └── indexes/      # 索引文件
├── deepsearch/       # 核心库代码
│   ├── indexing/     # 索引逻辑 (向量, tfidf, 图谱)
│   ├── llm/          # LLM 接口封装
│   ├── preprocessing/# 文档解析与分块
│   ├── rag/          # RAG 流水线实现 (标准, 深度)
│   ├── retrieval/    # 检索策略与重排序
│   └── utils/        # 工具函数
├── scripts/          # 辅助脚本 (下载, 处理)
├── app.py            # 主应用入口点
├── requirements.txt  # 项目依赖
└── README.md         # 项目文档

快速开始指南

# 创建并激活 conda 环境
conda create -n metasearch python=3.10 -y
conda activate metasearch

# 安装依赖 (推荐 CUDA 11.8)
pip install -r requirements.txt
# 若需 CUDA 11.8 支持:
pip install torch==2.0.1+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

编辑 config/config.yaml 设置模型路径、API 密钥等。

# 推荐: 下载 Embedding 和 Reranker 模型 (约 2.3GB)
python scripts/download_models.py --embedding --reranker

# 可选: 下载生成模型 (例如 Qwen, 需要更多资源)
# python scripts/download_models.py --llm qwen

# 或者, 下载所有配置的模型
# python scripts/download_models.py --all

确保 config.yaml 中的模型路径与下载位置匹配。

将您的文档 (例如 .txt, .md, .pdf) 放入 data/raw/ 目录。

# 处理单个文件
python scripts/process_documents.py --file data/raw/your_document.pdf

# 处理 raw 目录中的所有文件
python scripts/process_documents.py --dir data/raw/

处理后的块将保存在 data/processed/。

# 使用默认处理后的块文件构建所有配置的索引
python scripts/build_indexes.py --chunks data/processed/index_chunk.pkl

索引 (FAISS, TF-IDF 等) 将保存在 data/indexes/。

交互模式:

python app.py --interactive

在您的终端中启动一个类似聊天的界面。

单个查询:

python app.py --query "明朝内阁制度的作用是什么？"

运行单个查询并打印结果。

技术深潜

文档处理与分块

原始文档被解析并分割成重叠的块。每个块存储：

content: 块的主要文本。
chunk_id: 唯一标识符。
parent_content: 可选的更大上下文块。
abstract: LLM 生成的摘要 (可选)。
元数据: 源文档、页码等。

# 示例配置 (config/config.yaml)
processing:
  chunk_size: 512      # 每个块的目标大小
  overlap_size: 64     # 连续块之间的重叠大小
  generate_abstract: true # 是否生成摘要

混合索引

多个索引捕获数据的不同方面：

向量索引 (FAISS): 使用嵌入 (例如 BCE-Embedding) 进行语义相似性搜索。
TF-IDF 索引: 经典的基于关键词的检索，适用于特定术语。
知识图谱 (可选): 提取实体和关系以进行结构化查询。

检索模块融合来自已启用索引的结果。

查询扩展机制

迭代地扩展搜索范围：

LLM 从检索到的结果中提取关键搜索词/子问题。
计算潜在子查询与原始查询的相关性分数。
汇集所有迭代中的候选子查询。
根据相关性和发现新信息的潜力选择得分最高的 k 个子查询。
这些成为下一次检索迭代的输入。

深度迭代检索循环

核心引擎在一个循环中运行：

从初始用户查询开始。
执行标准 RAG (检索、重排序、生成响应片段)。
计算信息增长率 (IGR): `len(new_chunk_ids) / len(existing_chunk_ids)`。
如果 IGR < 阈值或达到最大迭代次数，则停止。
否则，使用查询扩展为下一个循环生成新的子查询。
最后，将所有收集到的知识综合成一个最终的、全面的答案。

# 示例配置 (config/config.yaml)
deepsearch:
  max_iterations: 3          # 最大检索循环次数
  growth_rate_threshold: 0.1 # 如果发现的新信息少于 10%，则停止
  extend_query_num: 3        # 每次迭代的子查询数量

工作流程示例: "明朝内阁制度"

迭代 1

输入查询: "明朝内阁制度"
- 初始知识库: 空
- 现有块 ID: 空集合
标准 RAG 执行:
- 检索相关块 (例如 ID: {101, 102, 103, 104, 105})。
- 生成初始响应片段: "明朝内阁起源于永乐年间..."
- 将片段添加到知识库。
- 更新现有 ID: {101, 102, 103, 104, 105}
计算 IGR: 5 (新) / 1 (总计，概念上) = 5.0。由于 5.0 > 0.1 (阈值)，继续。
扩展查询:
- LLM 分析片段，建议子查询: ["大学士", "内阁权力", "张居正改革", ...]。
- 为下次迭代选择前 3 个相关子查询: 例如 ["明朝大学士", "明朝内阁的演变", "内阁与皇权"]。

迭代 2

输入查询: ["明朝大学士", "明朝内阁的演变", "内阁与皇权"]
标准 RAG 执行 (针对每个子查询):
- 为每个查询检索块 (例如发现的新 ID: {201, 202, 203, 204})。
- 为每个子查询生成响应片段。
- 将片段添加到知识库。
- 更新现有 ID: {101, 102, ..., 105, 201, ..., 204} (总共: 9)
计算 IGR: 4 (新) / 5 (现有) = 0.8。由于 0.8 > 0.1，可能继续 (取决于最大迭代次数)。
扩展查询 (如果继续): 生成并选择下一组子查询。