qwen3.8-flash 在「信息提取」的评测结果

基本信息

• 模型名称：qwen3.8-flash
• 用例名称：信息提取
• 测试类型：文本生成
• 评测维度：上下文理解

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

你是一名严谨的数据分析师，擅长从文本中精准提取关键事实信息。 【核心规则】 - 输出必须严格遵循列表格式，每条信息单独占一行，格式为「信息类别：具体内容」 - 禁止输出原文未明确出现的任何信息（包括推断、联想或补充内容） - 数值类信息须完整保留原文修饰词（如"约"、"超过"、"不足"等），不得擅自删改 - 所有关键事实必须全量提取，不得遗漏任何原文中出现的地点、属性、数值等信息 【输出格式规范】 每条提取结果须严格按照以下结构输出： ``` 信息类别：具体内容 信息类别：具体内容 ... ``` 示例（基于假设原文"上海是中国的直辖市，面积约6340平方公里"）： ``` 城市名称：上海 国家归属/行政地位：中国的直辖市 面积数据：约6340平方公里 ``` 约束细则： - `信息类别` 应准确反映该条信息的语义类型（如：城市名称、行政地位、面积数据） - `具体内容` 须与原文表述保持一致，不得改写或简化 - 条目之间不插入空行、序号或额外符号 - 不得在列表前后添加总结性语句或解释性说明 【回答要求】 1. 仅提取文本中明确出现的信息，不得推断或补充原文未提及的内容。 2. 提取内容应完整覆盖文本中所有关键事实，不得遗漏。 3. 保持客观中立，不添加个人评价或额外解释。 4. 直接输出提取结果列表，无需任何前缀说明或结尾总结。

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

好的，现在请你对下面这段新文字做同样的信息提取，但要注意——文中出现了两个不同的面积数据，请判断它们分别描述的是什么，并分别列出，不得合并。 【新原文】 北京是中国的首都，市域总面积约16410平方公里，其中城区面积约1368平方公里，常住人口约2184万人，是中国政治、文化和国际交往的中心城市。

任务要求

AI 模型需要满足以下要求：

1. 准确提取「城市名称」：北京
2. 准确提取「国家归属/行政地位」：中国的首都
3. 准确提取「面积数据」：约16410平方公里（含「约」字修饰，体现数值的近似性）
4. 不得出现原文未提及的虚构或推断信息（如人口、气候等）
5. 输出格式符合「信息类别：具体内容」的列表规范

评测结果

综合得分

该模型在此用例的得分为：95.2 分（满分 100 分），已通过

基础难度评测结果

• 得分：95.2 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

城市名称：北京 国家归属/行政地位：中国的首都 市域总面积数据：约16410平方公里 城区面积数据：约1368平方公里 常住人口数据：约2184万人 城市功能/定位：中国政治、文化和国际交往的中心城市

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出整体表现优秀，准确识别并响应了多轮对话中的最新用户请求（新原文提取任务），完整、无遗漏地提取了新文本中全部关键事实，并按照用户特殊指令将两个面积数据正确拆分独立列出。格式规范，无幻觉信息，符合系统提示中对信息提取任务的核心要求。候选输出在完整性上超越了仅针对旧文本的参考答案，展示了较强的上下文理解与任务执行能力。 【GEMINI】候选输出表现极其优秀。它不仅准确、完整地提取了新原文中的所有关键事实，还完美遵循了用户关于区分两个面积数据的特殊指令。在格式上，严格执行了系统提示词中的所有约束，去除了示例中的“-”符号，直接输出纯净的列表，是一次完美的生成。 【KIMI】候选输出表现优秀，完整提取了原文所有关键信息，包括两个面积数据的分别列示，数值修饰词保留完整，无幻觉信息。格式基本规范，信息类别命名清晰。 minor issues在于类别命名稍显冗余，且与参考答案的列表符号使用存在差异。

进阶难度评测结果

• 得分：58.3 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

产品类型：运动手环Pro 屏幕参数：尺寸1.1英寸 + 屏幕类型OLED + 分辨率294x126 防水等级：30米防水 主要功能：血氧检测、睡眠监测、华为运动健康App数据同步 续航时间：最长可达21天 价格：599元 可选配色：曜石黑、冰川白 与上款产品的差异点：产品类型不同（智能手表→运动手环Pro）；屏幕尺寸更小（1.4英寸→1.1英寸）、屏幕类型不同（AMOLED→OLED）、分辨率不同（454x454→294x126）；防水等级更低（50米→30米）；功能差异（新增血氧检测、睡眠监测、华为运动健康App数据同步，缺少GPS、微信通知推送、支付宝离线支付）；续航更长（14天→最长可达21天）；价格更低（1299元起→599元）；配色不同（黑色、银色、金色→曜石黑、冰川白）

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出处理的是第二款产品（运动手环Pro），而参考答案要求的是第一款产品（智能手表）的提取结果。从任务角度看，用户要求对第二款产品进行提取，候选输出在这方面基本准确：7个核心字段均已提取，屏幕参数包含尺寸（1.1英寸）、屏幕类型（OLED）、分辨率（294x126）三项子信息；防水等级（30米防水）、续航时间（最长可达21天）、价格（599元）、可选配色（曜石黑、冰川白）均与原文一致。主要功能列举了血氧检测、睡眠监测、华为运动健康App数据同步，与原文吻合。但系统提示明确规定「必须提取且仅提取指定的7个字段，不得增减字段」，而候选输出额外增加了「与上款产品的差异点」字段，违反了核心规则。此外，参考答案对应的是第一款产品，候选输出与参考答案完全不匹配，但这是因为用户提问要求处理第二款产品，属于任务理解层面的差异。扣分主要来自：额外字段的添加（违反核心规则）以及与参考答案的不对应。 【GEMINI】模型在本次提取任务中表现非常出色。信息提取的准确度和忠实度达到了完美标准，对于用户临时追加的“对比差异点”要求也给出了极其详尽且准确的解答。唯一的美中不足是在格式选择上，未能完美统一是遵循系统Prompt的原始模板还是第一轮对话的实际输出格式，导致序号缺失及连接符混用，但整体不影响阅读和结构化解析。 【KIMI】该candidate_output存在根本性任务理解错误：EVAL_BLOB的评测对象是第一款智能手表产品的信息提取，但模型输出了第二款运动手环Pro的结果。此外，严重违反格式约束（擅自增加字段、编号缺失、模板不符）和信息忠实原则（主观推断、遗漏否定性信息、添加分析性内容）。核心规则'7个字段，不得增减'被完全打破。此输出在extraction_accuracy维度得分为0，因为提取对象错误且字段数量违规；format_compliance因基本键值对结构勉强得分；information_fidelity因配色提取准确获部分分数。整体判定为不及格输出。

困难难度评测结果

• 得分：84.2 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

{ "task_1": { "calculation": "5 + 4 + 1 = 10（亿元）", "comparison": "实际加总 10亿元 vs 文中声称 10亿元", "delta": "0亿元（加总与声称值一致）", "verdict": "无矛盾" }, "task_2": { "formula": "(12 - 10) / 10 × 100% = 20%", "claimed_rate": "文中声称：20%", "actual_rate": "反推结果：20%", "verdict": "一致", "note": "额外判断：若2024年目标营收12亿元对应增长率确实是20%，则正确2023年基准营收 = 12 / (1 + 20%) = 12 / 1.2 = 10亿元；与更正后的2023年总营收10亿元比较，差值 = 10 - 10 = 0亿元，因此不存在矛盾。另：第一部分称2023年营收同比增长20%，但文档未提供2022年营收，无法进行四则运算校验，不能据此认定矛盾。" }, "task_3": { "contradictions": [] }, "task_4": { "preferred_dataset": "保留更正后的数据组：2023年总营收10亿元，产品A收入5亿元、产品B收入4亿元、产品C收入1亿元；2024年目标营收12亿元、增长率20%。", "reasons": [ { "id": 1, "angle": "数据来源可靠性", "argument": "财务部门明确回复产品C原文为笔误并更正为1亿元；该更正直接消除第二部分加总与第一部分总营收之间的差异，属于对错误来源的修正，优先于未更正的原文数字。" }, { "id": 2, "angle": "数字内部一致性", "argument": "更正后计算 5 + 4 + 1 = 10亿元，与总营收10亿元一致；同时 (12 - 10) / 10 × 100% = 20%，与2024年预测增长率一致，且反推基准 12 / 1.2 = 10亿元，与更正后总营收一致，形成闭环。" }, { "id": 3, "angle": "常见报告错误规律", "argument": "仅产品C从2亿元更正为1亿元即可解释原1亿元差异；若保留产品C为2亿元，则需同时质疑总营收10亿元和2024年预测基准，错误面更大，因此保留更正后数据更符合最小修正原则。" } ] } }

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出整体表现优秀，正确理解了「基于更正后数据重新校验」的任务要求，计算准确，矛盾识别合理，可信度判断多角度论证，格式规范。额外判断（反推2023年基准营收）处理得当，逻辑闭环清晰。主要不足在于：任务四理由一对「财务部门更正」的可信性未作进一步论证，略显依赖外部权威；以及任务三未记录原矛盾已通过更正消除的过渡说明。总体而言，该输出符合专业审计报告的质量要求。 【GEMINI】这是一份堪称完美的评测答卷。模型不仅完全遵循了极其复杂的系统 Prompt 约束（包括计算公式展示、差值显式标注、JSON 格式规范等），而且完美地响应了用户的追问，对数据更正后的场景进行了精准、严谨的重算与逻辑推导，展现了极高的数据分析与逻辑校验能力。 【KIMI】候选输出的核心问题在于对题目要求的"基于更正后的数据重新完成全部校验"理解偏差：将其理解为"仅输出更正后的最终结果"，而非"展示从原文到更正的完整校验流程"。这导致任务一完全遗漏原文数值矛盾的计算（5+4+2=11 vs 10），任务三返回空矛盾数组，使得矛盾识别维度几乎失效。虽然更正后的计算本身准确，JSON格式基本合规，任务四论证尚可，但数值验证和矛盾识别两个核心维度（合计70%权重）均因过程缺失而严重失分。此外，task_2.note中引入无关的2022年营收论述，属于画蛇添足。建议：重新校验类任务应保留原文分析记录，明确标注更正节点，展示矛盾消除过程。

相关链接

您可以通过以下链接查看更多相关内容：

• 查看所有模型在此用例的表现：「信息提取」
• 查看该模型的所有评测结果：qwen3.8-flash
• 浏览同维度的其他用例：「上下文理解」
• 返回排行榜首页