知识库

知识库允许您通过智能向量搜索和分块来上传、处理和搜索文档。各种类型的文档会自动处理、嵌入并变得可搜索。您的文档会被智能分块,您可以使用自然语言查询来查看、编辑和搜索它们。

上传与处理

只需上传您的文档即可开始。TradingGoose 会在后台自动处理它们,提取文本、创建嵌入并将其分解为可搜索的块。

系统会为您处理整个处理流程:

  1. 文本提取:使用针对每种文件类型的专用解析器从文档中提取内容
  2. 智能分块:将文档分解为具有可配置大小和重叠的有意义的块
  3. 嵌入生成:创建向量嵌入以实现语义搜索功能
  4. 处理状态:跟踪文档处理进度

支持的文件类型

TradingGoose 支持 PDF、Word (DOC/DOCX)、纯文本 (TXT)、Markdown (MD)、HTML、Excel (XLS/XLSX)、PowerPoint (PPT/PPTX) 和 CSV 文件。每个文件最大可达 100MB,50MB 以下的文件性能最佳。您可以同时上传多个文档,PDF 文件包含针对扫描文档的 OCR 处理。

查看和编辑块

文档处理完成后,您可以查看和编辑各个块。这让您可以完全控制内容的组织和搜索方式。块视图会显示每个块的文本内容、其在文档中的索引以及任何关联的标签。

块配置

  • 默认块大小:文本分块器使用 1,024 个估算 token,每个 token 约按四个字符计算
  • 可配置范围:分块大小设置为 100-4,000;这不是字符数上限
  • 重叠:文本分块器默认将上一块末尾最多 200 个按空白分隔的词添加到当前块开头,因此最终分块可能更大
  • 分层拆分:遵循文档结构(章节、段落、句子)

这些单位适用于文本分块器。结构化格式使用专用分块器,因此该设置并非最终文本长度的统一上限。

编辑功能

  • 编辑分块内容:修改单个分块的文本内容
  • 添加分块:按需创建额外分块;目前没有专门的合并或拆分控件
  • 文档标签:通过文档的标签字段组织内容
  • 批量操作:启用、禁用或删除选中的分块

高级 PDF 处理

对于 PDF 文档,TradingGoose 提供更强的处理能力:

OCR 支持

配置 Azure 或 Mistral OCR 后:

  • 扫描件处理:从基于图像的 PDF 中提取文本
  • 混合内容处理:处理同时包含文本和图像的 PDF
  • 高准确率:先进的 AI 模型确保文本提取准确

在工作流中使用知识块

文档处理完成后,添加 Knowledge 块、选择知识库并配置搜索查询。要使用检索增强生成(RAG),请在下游 Agent 提示词中显式引用检索结果,例如块名为 knowledge 时使用 <knowledge.results>。仅连接两个块不会自动注入检索内容。

Knowledge 块支持仅查询、仅标签以及组合搜索。在高级模式中配置文本相等筛选条件,块会将其转换为 API 的 filters 格式。同一标签的多个值使用 OR,不同标签使用 AND。未知标签和不支持的运算符会被拒绝。标签用于组织检索,不是访问控制边界。请参阅标签与筛选。

知识块功能

  • 语义搜索:用自然语言查询查找相关内容
  • 上下文集成:在智能体提示词中显式引用检索到的分块
  • 动态检索:搜索在工作流执行期间实时进行
  • 相关性评分:结果按语义相似度排序

集成方式

  • 系统提示词:为 AI 智能体提供上下文
  • 动态上下文:在对话过程中搜索并纳入相关信息
  • 多文档搜索:在整个知识库范围内查询
  • 筛选搜索 API:通过 API 的 filters 字段将文档标签与向量搜索结合;上述块实现限制仍然适用

向量搜索技术

TradingGoose 使用由 pgvector 驱动的向量搜索,来理解内容的含义与上下文:

语义理解

  • 上下文搜索:即使没有完全匹配的关键词,也能找到相关内容
  • 基于概念的检索:理解概念之间的关系
  • 多语言支持:支持不同语言
  • 同义词识别:查找相关术语和概念

搜索功能

  • 自然语言查询:用通俗英语提问
  • 相似性搜索:查找概念相似的内容
  • 标签筛选向量搜索:将语义搜索限制在带有指定标签的文档中;这不是关键词与向量的混合搜索
  • 可配置结果:通过 topK 请求 1-100 个分块(默认 10)。相似度阈值由系统内部选择,不提供用户设置

文档管理

整理功能

  • 批量上传:通过异步 API 一次上传多个文件
  • 处理状态:文档处理的实时更新
  • 搜索和筛选:在大型集合中快速查找文档
  • 元数据跟踪:自动捕获文件信息和处理详情

安全与隐私

  • 安全存储:文档以企业级安全性存储
  • 访问控制:基于工作区的权限
  • 处理隔离:每个工作区都有独立的文档处理
  • 文档删除:不再需要时主动删除文档;目前不提供可配置的文档自动保留策略

快速开始

  1. 导航到你的知识库:从工作区侧边栏访问
  2. 上传文档:拖放或选择文件上传
  3. 监控处理:观察文档被处理并分块的过程
  4. 探索分块:查看和编辑处理后的内容
  5. 添加到工作流:使用知识块与 AI 代理集成

知识库将你的静态文档转化为智能的、可搜索的资源,你的 AI 工作流可以利用它来提供更明智、更符合上下文的响应。