Elephant 在「信息提取」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：Elephant
- 用例名称：信息提取
- 测试类型：文本生成
- 评测维度：上下文理解
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一名严谨的数据分析师，擅长从文本中精准提取关键事实信息。 【核心规则】 - 输出必须严格遵循列表格式，每条信息单独占一行，格式为「信息类别：具体内容」 - 禁止输出原文未明确出现的任何信息（包括推断、联想或补充内容） - 数值类信息须完整保留原文修饰词（如"约"、"超过"、"不足"等），不得擅自删改 - 所有关键事实必须全量提取，不得遗漏任何原文中出现的地点、属性、数值等信息 【输出格式规范】 每条提取结果须严格按照以下结构输出： ``` 信息类别：具体内容 信息类别：具体内容 ... ``` 示例（基于假设原文"上海是中国的直辖市，面积约6340平方公里"）： ``` 城市名称：上海 国家归属/行政地位：中国的直辖市 面积数据：约6340平方公里 ``` 约束细则： - `信息类别` 应准确反映该条信息的语义类型（如：城市名称、行政地位、面积数据） - `具体内容` 须与原文表述保持一致，不得改写或简化 - 条目之间不插入空行、序号或额外符号 - 不得在列表前后添加总结性语句或解释性说明 【回答要求】 1. 仅提取文本中明确出现的信息，不得推断或补充原文未提及的内容。 2. 提取内容应完整覆盖文本中所有关键事实，不得遗漏。 3. 保持客观中立，不添加个人评价或额外解释。 4. 直接输出提取结果列表，无需任何前缀说明或结尾总结。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
好的，现在请你对下面这段新文字做同样的信息提取，但要注意——文中出现了两个不同的面积数据，请判断它们分别描述的是什么，并分别列出，不得合并。 【新原文】 北京是中国的首都，市域总面积约16410平方公里，其中城区面积约1368平方公里，常住人口约2184万人，是中国政治、文化和国际交往的中心城市。
任务要求
AI 模型需要满足以下要求：
- 准确提取「城市名称」：北京
- 准确提取「国家归属/行政地位」：中国的首都
- 准确提取「面积数据」：约16410平方公里（含「约」字修饰，体现数值的近似性）
- 不得出现原文未提及的虚构或推断信息（如人口、气候等）
- 输出格式符合「信息类别：具体内容」的列表规范
评测结果
综合得分
该模型在此用例的得分为：92.5 分（满分 100 分），已通过
基础难度评测结果
- 得分：92.5 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
- 城市名称：北京 - 国家归属/行政地位：中国的首都 - 市域总面积数据：约16410平方公里 - 城区面积数据：约1368平方公里 - 常住人口数据：约2184万人 - 城市功能定位：中国政治、文化和国际交往的中心城市
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【GEMINI】模型在任务理解和信息提取方面表现出色，能够准确处理包含多个数值的复杂文本并满足用户的特定区分要求。提取的信息极其准确且完整。在格式规范上，除了多出了列表引导符（短横线）外，其余均符合要求。 【KIMI】整体来看，提取结果准确全面，格式规范，符合要求。只是在提取面积数据时遗漏了原文中的'约'字修饰词，导致提取信息的准确性略有欠缺。
进阶难度评测结果
- 得分：84.7 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
产品类型：运动手环 屏幕参数：尺寸 1.1英寸 / 屏幕类型 OLED / 分辨率 294x126 防水等级：30米防水 主要功能：血氧检测、睡眠监测、华为运动健康App数据同步 续航时间：21天 价格：599元 可选配色：曜石黑、冰川白 与上款产品的差异点：屏幕尺寸更小、分辨率更低、防水等级更弱、缺少GPS功能、续航更长、价格更低、可选配色更少、不支持微信和支付宝功能、仅支持华为运动健康App同步
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【GEMINI】模型能够较好地完成多轮对话中的信息提取任务，并能理解用户新增的对比需求。但在执行严谨性约束方面存在不足，主要表现为未严格遵守系统提示词定义的输出模板（屏幕参数格式错误），且在提取数值信息时省略了原文中的重要修饰词（如“最长可达”），导致信息忠实度有所下降。 【KIMI】整体来看，该回答在提取信息的准确性、格式规范性和信息忠实度方面表现较好，基本满足了题目要求。虽然在格式细节上与参考答案略有差异，但不影响整体的规范性和准确性。在提取内容上严格忠实于原文，没有发现明显的主观推断或信息偏差。
困难难度评测结果
- 得分：90.2 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "task_1": { "calculation": "5（产品A）+ 4（产品B）+ 1（产品C）= 10亿元", "comparison": "实际加总 10亿元 vs 文中声称 10亿元", "delta": "0亿元（无差异）", "verdict": "无矛盾" }, "task_2": { "formula": "(12 - 10) / 10 × 100% = 20%", "claimed_rate": "文中声称：20%", "actual_rate": "反推结果：20%", "verdict": "一致", "note": "2024年目标12亿元以2023年基准10亿元计算，增长率恰好为20%，与声明一致。" }, "task_3": { "contradictions": [] }, "task_4": { "preferred_dataset": "更正后的数据组（产品A=5亿元、产品B=4亿元、产品C=1亿元，总营收=10亿元）", "reasons": [ { "id": 1, "angle": "数字内部一致性", "argument": "更正后各产品收入加总与总营收披露值完全一致（10亿元），消除了任务一中的数值矛盾，且保持与增长率声明的内部统一。" }, { "id": 2, "angle": "常见报告错误规律", "argument": "产品C收入由2亿元修正为1亿元，符合笔误类数据错误的典型特征（数量级合理、单位一致），且修正后无需调整2024年预测基准，避免连锁矛盾。" } ] } } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【GEMINI】模型表现优秀，能够迅速根据用户提供的新假设（产品C数据修正）调整审计逻辑。计算过程清晰，格式高度规范。唯一的瑕疵在于对用户最后提出的追加问题（反推基准营收）没有提供独立的公式展示，仅在备注中提及，稍微违反了核心规则中的计算强制展示原则。 【KIMI】该模型在数值核算、矛盾识别、可信度判断等方面表现良好，输出格式规范，但在矛盾分类和论证深度上还有提升空间。整体来看，模型能够较好地完成文档逻辑一致性校验任务，但仍需在细节处理和批判性思维上进一步加强。
相关链接
您可以通过以下链接查看更多相关内容：
