qwen3.8-flash 在「数字一致性」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：qwen3.8-flash
- 用例名称：数字一致性
- 测试类型：文本生成
- 评测维度：一致性
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一名严谨的数学与常识知识专家，擅长解答涉及基础单位换算和数值认知的问题。 【核心规则】 1. 数字答案必须精确，不得使用「大约」「通常」「一般」等模糊措辞。 2. 必须明确说明定义来源或约定（如英语「dozen」的通用定义），不得省略依据。 3. 回答聚焦题目本身，不引入无关延伸内容。 4. 所有回答必须严格遵循以下 JSON 输出格式，不得偏离。 【输出格式】 每次回答必须输出合法 JSON，结构如下： ```json { "answer": "<精确数字答案，例如：12个>", "definition": "<一句话说明该单位的定义依据，需注明来源约定>", "source": "<定义来源，例如：英语 dozen 的国际通用定义>" } ``` **格式示例：** ```json { "answer": "12个", "definition": "「一打」源自英语「dozen」，为国际通用计量约定，固定等于12。", "source": "英语 dozen 国际通用定义" } ``` **格式约束说明：** - `answer` 字段：必须为具体数值 + 单位，禁止出现范围或模糊表述。 - `definition` 字段：必须为完整一句话，包含定义来源或约定说明，字数不超过 40 字。 - `source` 字段：简短标注定义出处，不超过 15 字。 - 禁止在 JSON 之外输出额外正文内容。 【回答要求】 1. 直接给出明确的数字答案，不得含糊或给出范围。 2. 用一句话简要说明答案的依据或来源（约定俗成的定义）。 3. 回答简洁清晰，`definition` 字段总字数不超过 40 字。 4. 不展开延伸讨论，严格聚焦于题目本身。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
如果我买了 3 打鸡蛋，但其中有 1 打是"半打装"的，那我总共有多少个鸡蛋？请给出具体数字，并说明计算过程。
任务要求
AI 模型需要满足以下要求：
- 数字答案必须准确，即 12 个，不接受其他数值。
- 需明确说明「一打」等于 12 的定义来源或约定（如英语「dozen」的通用定义）。
- 回答应简洁，不引入与题目无关的额外信息或延伸内容。
- 表述清晰，无歧义，不使用「大约」「通常」等模糊措辞。
评测结果
综合得分
该模型在此用例的得分为：55.3 分（满分 100 分），未通过
基础难度评测结果
- 得分：55.3 分
- 通过状态：未通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "answer": "36个", "definition": "一打按dozen为12个，3打共36个；半打装指包装规格，不改变总数。", "source": "英语 dozen 国际通用定义" } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出在格式遵循方面表现良好，严格按照JSON格式输出。但核心计算答案存在问题：将「半打装」解释为包装规格不影响总数，导致给出36个的答案，而非更合理的30个（2×12+1×6）。此外，题目明确要求「说明计算过程」，候选输出仅在definition字段中简略提及，未能充分展示计算步骤。整体而言，格式合规但计算准确性不足。 【GEMINI】模型表现非常出色。面对具有一定歧义的常识计算问题，模型不仅给出了合理的数字答案（36个），还通过极具说服力的逻辑解释了‘半打装’作为包装规格不影响总数的合理性。同时，模型完美地遵守了极其严格的 JSON 输出格式和字数限制约束，是一次高质量的生成。 【KIMI】候选答案在核心计算上出现严重错误，将'半打装'误解为不影响总数，导致答案36个完全错误（应为30个或18个，需根据题意理解）。虽然JSON格式正确且source标注无误，但对题目关键条件'半打装'的忽略使得calculation_accuracy维度得分为0。factual_justification因对'半打装'的错误解释而大幅扣分。整体表现不及格，未能完成基本的数学计算任务。
进阶难度评测结果
- 得分：92.8 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "answers": [ { "question_id": 1, "known": "今年净利润 = [引用前文 question_id=4 的 result] = 220 万元，分红比例 = 60%", "formula": "分红总额 = 今年净利润 × 分红比例", "calculation": "220 × 60% = 132", "result": "132 万元" }, { "question_id": 2, "known": "分红总额 = [引用 question_id=1 的 result] = 132 万元，总股本 = 120 万股", "formula": "每股分红 = 分红总额 ÷ 总股本（注意单位：万元 ÷ 万股 = 元/股；也可先换算为元：132 万元 = 1,320,000 元，120 万股 = 1,200,000 股）", "calculation": "132 万元 ÷ 120 万股 = 1.10；或 1,320,000 ÷ 1,200,000 = 1.10", "result": "1.10 元/股" } ] } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出针对用户追问正确引用了前文计算出的今年净利润220万元，分红总额132万元和每股分红1.10元/股均计算正确，数值链条一致无矛盾。JSON格式规范，字段完整，计算式展示清晰，单位换算有显式说明。主要不足是question_id重新从1开始编号，与对话上下文的连续性略有脱节，但不影响实质计算正确性。整体表现良好，达到较高水准。 【GEMINI】模型表现非常出色。在面对用户的追问时，不仅能够完美继承并严格执行系统 Prompt 规定的复杂 JSON 结构，而且在计算准确性、逻辑一致性和指令遵循上都达到了满分标准，准确引用了前文的计算结果并完成了正确的推导。 【KIMI】候选输出在核心计算和逻辑引用方面表现优秀，准确基于前文得出的220万元净利润完成新推导，计算过程和结果均正确。主要不足在于题号编号未延续前文（应为5、6而非1、2），存在格式规范性瑕疵，但不影响实际计算和引用的正确性。
困难难度评测结果
- 得分：99.3 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
确认：**交易2完成后账户A为900.00元、账户B为600.00元，数值正确**。后续交易3、4、5均基于该余额继续计算。 --- 【交易3】A 账户收到利息（按交易2完成后A的当前余额的 5% 计算，结果保留两位小数，四舍五入） 计算过程： - 交易2完成后账户A余额：900.00 元 - 利息 = 当前余额 × 5% = 900.00 × 0.05 = 45.0000 → 四舍五入 = 45.00 元 - 账户A更新：900.00 + 45.00 = 945.00 元 - 账户B更新：600.00 元（无变动） 结果： 交易3完成后 → 账户A：945.00 元，账户B：600.00 元 --- 【交易4】两账户同时扣除手续费（A 和 B 各扣 2.00 元） 计算过程： - 账户A扣费前余额：945.00 元 - 账户B扣费前余额：600.00 元 - 账户A更新：945.00 - 2.00 = 943.00 元 - 账户B更新：600.00 - 2.00 = 598.00 元 结果： 交易4完成后 → 账户A：943.00 元，账户B：598.00 元 --- 【交易5】A 向 B 转账当前 A 余额的 30%（结果保留两位小数，四舍五入） 计算过程： - 交易4完成后账户A余额：943.00 元 - 转账金额 = 当前余额 × 30% = 943.00 × 0.30 = 282.9000 → 四舍五入 = 282.90 元 - 账户A更新：943.00 - 282.90 = 660.10 元 - 账户B更新：598.00 + 282.90 = 880.90 元 结果： 交易5完成后 → 账户A：660.10 元，账户B：880.90 元 --- 【最终余额汇总】 账户A最终余额：660.10 元 账户B最终余额：880.90 元
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出质量极高，所有计算数值完全正确，逻辑链路完整无误，格式规范，特殊计算（利息和比例转账）均明确展示了算式和四舍五入过程，最终汇总与交易5结果完全一致。对用户关于「交易2是否正确」的确认也给出了明确回应。整体表现接近满分水平。 【GEMINI】该候选输出表现完美。模型不仅在计算上精确无误，而且严格遵守了系统提示词中极其繁琐的格式和公式展示要求，逻辑清晰，链路完整，是一份高质量的财务审计式回答。 【KIMI】候选输出在数值计算和逻辑连贯性上表现完美，所有关键余额与参考答案完全一致。对用户确认交易2余额的请求给予了明确回应。格式上略有简化（如无校验段落），但核心审计功能完整，计算过程清晰可追溯，最终汇总准确无误。
相关链接
您可以通过以下链接查看更多相关内容：
