glm-5.3-flash 在「数字一致性」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：glm-5.3-flash
- 用例名称：数字一致性
- 测试类型：文本生成
- 评测维度：一致性
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一名严谨的数学与常识知识专家，擅长解答涉及基础单位换算和数值认知的问题。 【核心规则】 1. 数字答案必须精确，不得使用「大约」「通常」「一般」等模糊措辞。 2. 必须明确说明定义来源或约定（如英语「dozen」的通用定义），不得省略依据。 3. 回答聚焦题目本身，不引入无关延伸内容。 4. 所有回答必须严格遵循以下 JSON 输出格式，不得偏离。 【输出格式】 每次回答必须输出合法 JSON，结构如下： ```json { "answer": "<精确数字答案，例如：12个>", "definition": "<一句话说明该单位的定义依据，需注明来源约定>", "source": "<定义来源，例如：英语 dozen 的国际通用定义>" } ``` **格式示例：** ```json { "answer": "12个", "definition": "「一打」源自英语「dozen」，为国际通用计量约定，固定等于12。", "source": "英语 dozen 国际通用定义" } ``` **格式约束说明：** - `answer` 字段：必须为具体数值 + 单位，禁止出现范围或模糊表述。 - `definition` 字段：必须为完整一句话，包含定义来源或约定说明，字数不超过 40 字。 - `source` 字段：简短标注定义出处，不超过 15 字。 - 禁止在 JSON 之外输出额外正文内容。 【回答要求】 1. 直接给出明确的数字答案，不得含糊或给出范围。 2. 用一句话简要说明答案的依据或来源（约定俗成的定义）。 3. 回答简洁清晰，`definition` 字段总字数不超过 40 字。 4. 不展开延伸讨论，严格聚焦于题目本身。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
如果我买了 3 打鸡蛋，但其中有 1 打是"半打装"的，那我总共有多少个鸡蛋？请给出具体数字，并说明计算过程。
任务要求
AI 模型需要满足以下要求：
- 数字答案必须准确，即 12 个，不接受其他数值。
- 需明确说明「一打」等于 12 的定义来源或约定（如英语「dozen」的通用定义）。
- 回答应简洁，不引入与题目无关的额外信息或延伸内容。
- 表述清晰，无歧义，不使用「大约」「通常」等模糊措辞。
评测结果
综合得分
该模型在此用例的得分为：76.3 分（满分 100 分），已通过
基础难度评测结果
- 得分：76.3 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "answer": "30个", "definition": "「半打」为「一打」（12个）的一半即6个，故总数为2×12+6=30。", "source": "英语dozen国际通用定义" } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出在格式遵循和计算准确性方面表现良好，正确回答了「3打中1打为半打装」的计算题，总数30个计算无误。definition字段略偏向计算过程描述而非单纯定义说明，但整体质量较高，符合系统提示的输出规范要求。 【GEMINI】大模型在本轮对话中表现完美。它不仅准确理解了用户提出的新计算条件（3打鸡蛋中1打为半打装），得出了正确的数字答案 30，而且严格遵守了系统提示词中极其苛刻的 JSON 格式约束和字数限制，展现了极高的指令遵循能力和逻辑计算能力。 【KIMI】候选输出存在严重的答非所问问题。题目明确要求回答「一打鸡蛋包含多少个鸡蛋」，正确答案为12个，但候选输出却针对后续用户追问的「3打含半打装」场景计算出了30个。尽管JSON格式正确，但内容完全偏离了当前问题的核心，属于典型的上下文误用和题目理解错误。候选输出将对话历史中后续轮次的问题当作当前问题来回答，导致计算准确性和指令遵循性均严重失分。
进阶难度评测结果
- 得分：97.0 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "answers": [ { "question_id": 5, "known": "今年净利润 = [引用 question_id=4 的 result] 220 万元，新分红比例 = 60%", "formula": "今年分红总额 = 今年净利润 × 新分红比例", "calculation": "220 × 60% = 132", "result": "132 万元" }, { "question_id": 6, "known": "今年分红总额 = [引用 question_id=5 的 result] 132 万元，扩张后总股本 = 120 万股", "formula": "每股分红 = 分红总额 ÷ 总股本（注意单位：万元 ÷ 万股 = 元/股）", "calculation": "132 万元 ÷ 120 万股 = 1.10", "result": "1.10 元/股" } ] } ``` **数值一致性说明：** - 分红总额 132 万元直接由第 4 题结果（今年净利润 220 万元）乘以新比例 60% 推得； - 每股分红 1.10 元/股直接由本题第 5 问结果（132 万元）除以扩张后总股本 120 万股推得，单位换算已在公式中显式体现； - 与此前方案对比：分红总额由 100 万元增至 132 万元，每股分红由 1 元/股升至 1.10 元/股。
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出针对用户追问（第5、6题）表现优秀：严格遵循系统提示的JSON格式规范，正确引用前序计算结果（今年净利润220万元），计算准确（分红总额132万元，每股分红1.10元/股），逻辑链条清晰无矛盾，单位换算显式体现。额外的数值一致性说明增强了答案的完整性。整体质量高，基本无明显缺陷。 【GEMINI】模型表现非常优秀。在面对追问时，能够完美继承前序对话中的上下文数值（今年净利润 220 万元），并严格按照系统 Prompt 要求的复杂 JSON 格式进行输出。计算过程清晰、准确，逻辑链条完整，单位换算显式呈现，展现了极高的指令遵循能力和严谨的财务计算能力。 【KIMI】候选输出在第二轮追问中表现优秀：严格引用前序第4题的今年净利润220万元，正确计算新分红比例60%下的分红总额132万元，以及股本扩张至120万股后的每股分红1.10元/股。JSON格式规范，引用标注清晰，单位换算显式说明，数值链条完整无误。整体符合财务分析师的严谨要求。
困难难度评测结果
- 得分：99.5 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
确认：**交易2完成后的状态无误——账户A为 900.00 元，账户B为 600.00 元。** 以下所有计算均严格基于该链路余额继续推进。 --- ## 【交易3】A 账户收到利息（按当前余额的 5% 计算） 计算过程： - 步骤1：计息基数取交易2完成后A的余额 = 900.00 元 - 步骤2（特殊计算）： ``` 利息 = 当前余额 × 5% = 900.00 × 0.05 = 45.0000 → 四舍五入 = 45.00 元 ``` - 步骤3：账户A入账利息：900.00 + 45.00 = **945.00 元** - 步骤4：账户B无变动，维持 **600.00 元** 结果： **交易3完成后 → 账户A：945.00 元，账户B：600.00 元** --- ## 【交易4】两账户同时扣除手续费（各扣 2.00 元） 计算过程： - 步骤1：输入余额（承接交易3输出）：A = 945.00 元，B = 600.00 元 - 步骤2：账户A扣费：945.00 - 2.00 = **943.00 元** - 步骤3：账户B扣费：600.00 - 2.00 = **598.00 元** 结果： **交易4完成后 → 账户A：943.00 元，账户B：598.00 元** --- ## 【交易5】A 向 B 转账当前 A 余额的 30% 计算过程： - 步骤1：转账基数取交易4完成后A的余额 = 943.00 元 - 步骤2（特殊计算）： ``` 转账金额 = 当前余额 × 30% = 943.00 × 0.30 = 282.9000 → 四舍五入 = 282.90 元 ``` - 步骤3：账户A转出：943.00 - 282.90 = **660.10 元** - 步骤4：账户B转入：598.00 + 282.90 = **880.90 元** 结果： **交易5完成后 → 账户A：660.10 元，账户B：880.90 元** --- 【最终余额汇总】 账户A最终余额：660.10 元 账户B最终余额：880.90 元 --- > **审计校验（数值链路完整性）：** > - 最终合计：660.10 + 880.90 = **1541.00 元** > - 独立推演：初始合计 1500.00 + 利息注入 45.00 − 手续费 4.00 = **1541.00 元** ✓ 两项结果一致，账目平衡。 > - 链路核验：1000.00→800.00→900.00→945.00→943.00→660.10；500.00→700.00→600.00→600.00→598.00→880.90，无跳步、无过期余额引用。
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】候选输出表现优秀，在数值计算准确性、逻辑一致性和格式规范性三个维度上均达到近满分水平。所有计算结果与参考答案完全一致，交易链路清晰可追溯，特殊计算（利息、比例转账）均按规定展示算式及四舍五入过程，最终汇总数值与最后一笔交易结果严格一致，并附有独立审计校验，整体质量极高。 【GEMINI】该候选输出表现极其优秀。它不仅准确无误地完成了所有数学计算，还严格遵守了系统设定的复杂格式规范（包括特殊计算公式的展示、每步状态的输出格式以及最终汇总格式）。在逻辑一致性上无懈可击，完美地回应了用户的追问，展现了极高的专业度和指令遵循能力。 【KIMI】该候选输出是一份高质量的财务审计处理结果。数值计算完全准确，逻辑链路严密无断裂，严格遵循逐笔处理规则。利息和比例转账均按要求展示了算式及四舍五入过程，最终汇总与交易5后状态完全一致。对用户关于交易2余额的确认要求也给予了明确回应。仅存在极轻微的格式冗余（四舍五入标注对无需舍入的情况），不影响整体质量。
相关链接
您可以通过以下链接查看更多相关内容：
