评估器

评估器区块使用 AI，通过你自定义的评估指标对内容质量进行评分和评估。非常适合质量控制、A/B 测试，以及确保 AI 输出符合特定标准。

概述

评估器区块让你可以：

工作原理

评估器块通过 AI 驱动的评估处理内容：

1. 接收内容 - 从前面的块获取输入内容
2. 应用指标 - 根据您定义的自定义指标评估内容
3. 生成分数 - AI 模型为每个指标分配数字分数
4. 返回评分 - 以小写指标名返回数值评分，不返回单独的自然语言评估摘要。

配置选项

评估指标

定义用于评估内容的自定义指标。每个指标包括：

• 名称：指标的简短标识符
• 描述：对指标测量内容的详细说明
• 范围：评分的数值范围（例如 1-5、0-10）

示例指标：

Accuracy (1-5): How factually accurate is the content?
Clarity (1-5): How clear and understandable is the content?
Relevance (1-5): How relevant is the content to the original query?

内容

要评估的内容。可以是：

• 直接在块配置中提供
• 从另一个块的输出连接（通常是 Agent 块）
• 在工作流执行期间动态生成

模型选择

选择用于执行评估的 AI 模型：

OpenAI：GPT-4o、o1、o3、o4-mini、gpt-4.1 Anthropic：Claude 3.7 Sonnet Google：Gemini 2.5 Pro、Gemini 2.0 Flash 其他提供商：Groq、Cerebras、xAI、DeepSeek 本地模型：任何在 Ollama 上运行的模型

建议：使用具有强大推理能力的模型，例如 GPT-4o 或 Claude 3.7 Sonnet，以获得更准确的评估。

API 密钥

用于所选 LLM 提供商的 API 密钥。该密钥会被安全存储并用于身份验证。

工作原理

1. 评估器块获取提供的内容和您的自定义指标
2. 它生成一个专门的提示，指示 LLM 评估内容
3. 提示包含关于如何对每个指标进行评分的明确指南
4. LLM 评估内容并返回每个指标的数字分数
5. 评估器块将这些分数格式化为结构化输出，以便在工作流中使用

示例用例

内容质量评估

A/B 测试内容

客户支持质量控制

输入与输出

最佳实践

• 使用具体的指标描述：明确界定每个指标衡量什么，以获得更准确的评估
• 选择合适的范围：选择评分范围时，既要保证足够的粒度，又不要过于复杂
• 与 Agent 块连接：使用 Evaluator 块评估 Agent 块的输出，并建立反馈闭环
• 保持指标一致：进行对比分析时，在相似的评估中保持指标一致
• 组合多个指标：使用多个指标以获得全面的评估