Qwen: Qwen3.5-9B 在「信息提取」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：Qwen: Qwen3.5-9B
- 用例名称：信息提取
- 测试类型：文本生成
- 评测维度：上下文理解
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一名严谨的数据分析师，擅长从文本中精准提取关键事实信息。 【核心规则】 - 输出必须严格遵循列表格式，每条信息单独占一行，格式为「信息类别：具体内容」 - 禁止输出原文未明确出现的任何信息（包括推断、联想或补充内容） - 数值类信息须完整保留原文修饰词（如"约"、"超过"、"不足"等），不得擅自删改 - 所有关键事实必须全量提取，不得遗漏任何原文中出现的地点、属性、数值等信息 【输出格式规范】 每条提取结果须严格按照以下结构输出： ``` 信息类别：具体内容 信息类别：具体内容 ... ``` 示例（基于假设原文"上海是中国的直辖市，面积约6340平方公里"）： ``` 城市名称：上海 国家归属/行政地位：中国的直辖市 面积数据：约6340平方公里 ``` 约束细则： - `信息类别` 应准确反映该条信息的语义类型（如：城市名称、行政地位、面积数据） - `具体内容` 须与原文表述保持一致，不得改写或简化 - 条目之间不插入空行、序号或额外符号 - 不得在列表前后添加总结性语句或解释性说明 【回答要求】 1. 仅提取文本中明确出现的信息，不得推断或补充原文未提及的内容。 2. 提取内容应完整覆盖文本中所有关键事实，不得遗漏。 3. 保持客观中立，不添加个人评价或额外解释。 4. 直接输出提取结果列表，无需任何前缀说明或结尾总结。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
好的，现在请你对下面这段新文字做同样的信息提取，但要注意——文中出现了两个不同的面积数据，请判断它们分别描述的是什么，并分别列出，不得合并。 【新原文】 北京是中国的首都，市域总面积约16410平方公里，其中城区面积约1368平方公里，常住人口约2184万人，是中国政治、文化和国际交往的中心城市。
任务要求
AI 模型需要满足以下要求：
- 准确提取「城市名称」：北京
- 准确提取「国家归属/行政地位」：中国的首都
- 准确提取「面积数据」：约16410平方公里（含「约」字修饰，体现数值的近似性）
- 不得出现原文未提及的虚构或推断信息（如人口、气候等）
- 输出格式符合「信息类别：具体内容」的列表规范
评测结果
综合得分
该模型在此用例的得分为：87.8 分（满分 100 分），已通过
基础难度评测结果
- 得分：87.8 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
城市名称：北京 国家归属/行政地位：中国的首都 市域总面积数据：市域总面积约16410平方公里 城区面积数据：城区面积约1368平方公里 人口数据：常住人口约2184万人 城市职能：是中国政治、文化和国际交往的中心城市
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出整体质量良好，对新原文中所有关键事实进行了全量提取，特别是正确区分并分别列出了市域总面积与城区面积两个数值，满足了用户的特别要求。信息无幻觉、无推断，数值修饰词保留完整。主要不足在于格式细节：部分条目的信息类别与具体内容存在内容重叠（冗余），且与上下文示例的项目符号风格略有差异。综合来看，是一份较为规范、完整的信息提取作答。 【GEMINI】模型表现优秀，能够精准识别并区分原文中两个不同的面积数据，完整覆盖了所有关键事实，且严格遵守了格式约束，未引入额外解释或推断。 【KIMI】候选输出整体表现良好，能够准确识别并提取原文中的关键信息，特别是正确区分了两个不同的面积数据（市域总面积与城区面积），并完整保留了数值修饰词「约」。格式规范执行到位，信息类别命名清晰。主要改进空间在于：应更严格对照任务核心要求，避免提取非核心要求的扩展信息（如人口、城市职能），以使输出更加精练聚焦。
进阶难度评测结果
- 得分：78.5 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
1. 产品类型：运动手环 2. 屏幕参数：尺寸 1.1英寸 / 屏幕类型 OLED / 分辨率 294x126 3. 防水等级：30米防水 4. 主要功能：血氧检测、睡眠监测、华为运动健康App数据同步 5. 续航时间：21天 6. 价格：599元 7. 可选配色：曜石黑、冰川白 8. 与上款产品的差异点：产品类型不同（智能手表 vs 运动手环）、屏幕尺寸及类型不同（1.4英寸 AMOLED vs 1.1英寸 OLED）、防水等级不同（50米 vs 30米）、功能配置不同（GPS/心率/微信/支付宝 vs 血氧/睡眠/华为App）、续航时间不同（14天 vs 21天）、价格不同（1299元起 vs 599元）、可选配色数量不同（3种 vs 2种）
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出正确理解了用户对第二款产品的提取请求，并在预设上下文格式的基础上进行了一致的格式输出。7个核心字段提取基本完整准确，额外的差异点字段符合用户要求。主要不足在于：部分修饰词（「最长可达」、「全新」、「Pro」、「售价」）被省略，不符合「须保留原文精确表述」的严格要求。整体质量中等偏上，能够完成基本任务，但在信息保真度方面有提升空间。 【GEMINI】模型表现优秀，不仅准确提取了所有结构化信息，还完美执行了用户在对话中追加的对比任务。输出格式规范，内容忠实于原文，无冗余说明，符合严谨的数据分析师角色设定。 【KIMI】候选输出在理解任务要求方面存在明显不足。核心问题在于：1）严重违反格式规范，使用了带序号的列表形式而非纯键值对，且屏幕参数格式错误；2）擅自增加第8个字段，违反「仅提取7个字段」的硬性约束；3）多处信息省略（「Pro」后缀、「最长可达」、「支持」、「不含GPS模块」等），导致信息完整性和精确性受损；4）对否定性信息（不含GPS）的遗漏尤为严重。建议严格遵循输出格式模板，完整保留原文所有修饰词和单位，不得增减字段数量。
困难难度评测结果
- 得分：95.5 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
基于财务部门更正（产品 C 收入修正为 1 亿元），重新执行校验。结果显示各部分数据现已达成内部自洽，无发现数值或逻辑矛盾。反推 2023 年基准营收与更正后数据完全吻合，报告可信度显著提升。 ```json { "task_1": { "calculation": "5 + 4 + 1 = 10（亿元）", "comparison": "各产品加总 10 亿元 vs 文中总述 10 亿元", "delta": "0 亿元（完全匹配）", "verdict": "无矛盾" }, "task_2": { "formula": "(12 亿元 - 10 亿元) / 10 亿元 × 100% = 20%", "claimed_rate": "20%", "actual_rate": "20%", "verdict": "一致", "note": "额外验证：若 2024 目标 12 亿元对应 20% 增长，则 2023 基准营收应为 12 / 1.2 = 10 亿元，与第一部分及第二部分加总完全一致，无矛盾。" }, "task_3": { "contradictions": [] }, "task_4": { "preferred_dataset": "更正后数据组（产品 C=1 亿元，总营收=10 亿元）", "reasons": [ { "id": 1, "angle": "数字内部一致性", "argument": "第二部分加总（5+4+1=10）与第一部分总述（10）完全吻合，且第三部分反推基准（12/1.2=10）亦一致，数据链条形成闭环，无内部冲突。" }, { "id": 2, "angle": "数据来源可靠性", "argument": "财务部门对笔误的主动更正修复了潜在的数据录入错误，且 2 亿修正为 1 亿属于常见的数字位数识别错误，该解释符合财务报告常见错误规律，增强了数据的可信度。" } ] } } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【GEMINI】该模型表现极其出色，不仅完美完成了基础的结构化信息提取和逻辑校验任务，还敏锐地捕捉并准确回答了用户在追问中提出的额外计算要求。输出格式规范，逻辑严密，计算过程透明，完全符合专业审计分析师的输出标准。 【KIMI】该模型在数值核算、矛盾识别和格式规范性方面表现出色，能够准确执行计算、识别矛盾并给出清晰的输出。在可信度判断方面，模型虽然给出了两条独立理由，但论证深度和广度还有提升空间。总体而言，模型在执行财务报告审计任务时表现出较高的专业性和准确性。
相关链接
您可以通过以下链接查看更多相关内容：
