知识库
知识库允许您通过智能向量搜索和分块来上传、处理和搜索文档。各种类型的文档会自动处理、嵌入并变得可搜索。您的文档会被智能分块,您可以使用自然语言查询来查看、编辑和搜索它们。
上传与处理
只需上传您的文档即可开始。TradingGoose 会在后台自动处理它们,提取文本、创建嵌入并将其分解为可搜索的块。
系统会为您处理整个处理流程:
- 文本提取:使用针对每种文件类型的专用解析器从文档中提取内容
- 智能分块:将文档分解为具有可配置大小和重叠的有意义的块
- 嵌入生成:创建向量嵌入以实现语义搜索功能
- 处理状态:跟踪文档处理进度
支持的文件类型
TradingGoose 支持 PDF、Word (DOC/DOCX)、纯文本 (TXT)、Markdown (MD)、HTML、Excel (XLS/XLSX)、PowerPoint (PPT/PPTX) 和 CSV 文件。每个文件最大可达 100MB,50MB 以下的文件性能最佳。您可以同时上传多个文档,PDF 文件包含针对扫描文档的 OCR 处理。
查看和编辑块
文档处理完成后,您可以查看和编辑各个块。这让您可以完全控制内容的组织和搜索方式。块视图会显示每个块的文本内容、其在文档中的索引以及任何关联的标签。
块配置
- 默认块大小:文本分块器使用 1,024 个估算 token,每个 token 约按四个字符计算
- 可配置范围:分块大小设置为 100-4,000;这不是字符数上限
- 重叠:文本分块器默认将上一块末尾最多 200 个按空白分隔的词添加到当前块开头,因此最终分块可能更大
- 分层拆分:遵循文档结构(章节、段落、句子)
这些单位适用于文本分块器。结构化格式使用专用分块器,因此该设置并非最终文本长度的统一上限。
编辑功能
- 编辑分块内容:修改单个分块的文本内容
- 添加分块:按需创建额外分块;目前没有专门的合并或拆分控件
- 文档标签:通过文档的标签字段组织内容
- 批量操作:启用、禁用或删除选中的分块
高级 PDF 处理
对于 PDF 文档,TradingGoose 提供更强的处理能力:
OCR 支持
配置 Azure 或 Mistral OCR 后:
- 扫描件处理:从基于图像的 PDF 中提取文本
- 混合内容处理:处理同时包含文本和图像的 PDF
- 高准确率:先进的 AI 模型确保文本提取准确
在工作流中使用知识块
文档处理完成后,添加 Knowledge 块、选择知识库并配置搜索查询。要使用检索增强生成(RAG),请在下游 Agent 提示词中显式引用检索结果,例如块名为 knowledge 时使用 <knowledge.results>。仅连接两个块不会自动注入检索内容。
Knowledge 块支持仅查询、仅标签以及组合搜索。在高级模式中配置文本相等筛选条件,块会将其转换为 API 的 filters 格式。同一标签的多个值使用 OR,不同标签使用 AND。未知标签和不支持的运算符会被拒绝。标签用于组织检索,不是访问控制边界。请参阅标签与筛选。
知识块功能
- 语义搜索:用自然语言查询查找相关内容
- 上下文集成:在智能体提示词中显式引用检索到的分块
- 动态检索:搜索在工作流执行期间实时进行
- 相关性评分:结果按语义相似度排序
集成方式
- 系统提示词:为 AI 智能体提供上下文
- 动态上下文:在对话过程中搜索并纳入相关信息
- 多文档搜索:在整个知识库范围内查询
- 筛选搜索 API:通过 API 的
filters字段将文档标签与向量搜索结合;上述块实现限制仍然适用
向量搜索技术
TradingGoose 使用由 pgvector 驱动的向量搜索,来理解内容的含义与上下文:
语义理解
- 上下文搜索:即使没有完全匹配的关键词,也能找到相关内容
- 基于概念的检索:理解概念之间的关系
- 多语言支持:支持不同语言
- 同义词识别:查找相关术语和概念
搜索功能
- 自然语言查询:用通俗英语提问
- 相似性搜索:查找概念相似的内容
- 标签筛选向量搜索:将语义搜索限制在带有指定标签的文档中;这不是关键词与向量的混合搜索
- 可配置结果:通过
topK请求 1-100 个分块(默认 10)。相似度阈值由系统内部选择,不提供用户设置
文档管理
整理功能
- 批量上传:通过异步 API 一次上传多个文件
- 处理状态:文档处理的实时更新
- 搜索和筛选:在大型集合中快速查找文档
- 元数据跟踪:自动捕获文件信息和处理详情
安全与隐私
- 安全存储:文档以企业级安全性存储
- 访问控制:基于工作区的权限
- 处理隔离:每个工作区都有独立的文档处理
- 文档删除:不再需要时主动删除文档;目前不提供可配置的文档自动保留策略
快速开始
- 导航到你的知识库:从工作区侧边栏访问
- 上传文档:拖放或选择文件上传
- 监控处理:观察文档被处理并分块的过程
- 探索分块:查看和编辑处理后的内容
- 添加到工作流:使用知识块与 AI 代理集成
知识库将你的静态文档转化为智能的、可搜索的资源,你的 AI 工作流可以利用它来提供更明智、更符合上下文的响应。