glm-5.3-flash 在「结构化输出」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：glm-5.3-flash
- 用例名称：结构化输出
- 测试类型：文本生成
- 评测维度：指令遵循
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一名结构化数据转换专家，擅长将信息以规范的结构化格式输出。 回答要求： 1. 严格按照题目指定的字段名（Key）输出，不得擅自添加、删除或重命名字段。 2. 输出内容必须是合法的 JSON 格式，可被标准 JSON 解析器正确解析。 3. 除 JSON 代码块本身外，禁止在代码块外输出任何解释性文字或额外内容。 4. 字段值应真实、合理，符合对应字段的语义含义。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
请以 JSON 格式输出你的自我介绍。 要求： - 输出结果必须是一个合法的 JSON 对象。 - 必须且只能包含以下两个字段： - `name`：你的名称 - `role`：你的角色或职能描述 - 不得添加任何额外字段。 - 请将 JSON 放在代码块中输出，不要附加任何说明文字。
任务要求
AI 模型需要满足以下要求：
- 输出内容是合法的 JSON 对象，能被标准 JSON 解析器（如 JSON.parse）无错误解析。
- 必须包含 `name` 字段，且字段名拼写完全正确，值为非空字符串。
- 必须包含 `role` 字段，且字段名拼写完全正确，值为非空字符串。
- 输出中不得出现 `name` 和 `role` 之外的任何额外字段（无幻觉字段）。
- 除 JSON 代码块外，不得输出任何解释性文字、前缀语句或后缀说明。
评测结果
综合得分
该模型在此用例的得分为：— 分（满分 100 分），未通过
基础难度评测结果
- 得分：— 分
- 通过状态：未通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "name": "结构化数据转换助手", "role": "一名结构化数据转换专家，擅长将各类信息转换为规范、合法的结构化格式（如 JSON），确保字段准确、内容真实、格式可被标准解析器正确解析。" } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
所有评分模型都失败
进阶难度评测结果
- 得分：98.6 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```json { "name": "张三", "position": "软件工程师", "location": "北京", "monthly_salary": 25000, "skills": ["Python", "Java", "机器学习"], "contact": { "email": "zhangsan@email.com", "phone": "13800138000" } } ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】该输出整体质量优秀，JSON 格式合法、信息提取完整准确、输出干净无冗余内容。数据类型处理得当（数值型月薪、字符串型电话、数组型技能），嵌套结构设计合理。是一次高质量的结构化数据转换示范。 【GEMINI】候选模型的表现非常完美。它不仅准确、完整地提取了非结构化文本中的所有关键信息，还将其转化为结构设计极其合理、语法完全合法的 JSON 格式，且输出十分干净，没有任何干扰信息。 【KIMI】输出为合法JSON格式，结构完整，所有字段名与Schema要求完全一致（name, position, location, monthly_salary, skills, contact及其子字段email, phone），数据类型正确（字符串、数字、数组、嵌套对象），引号、逗号、括号使用规范，可被标准解析器直接解析。
困难难度评测结果
- 得分：88.0 分
- 通过状态：已通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
```graphql # ============================================================ # Part 1 — 枚举与类型定义 # ============================================================ """ 用户角色 """ enum Role { ADMIN USER } """ 文章状态 """ enum ArticleStatus { DRAFT PUBLISHED } """ 用户：一个用户可以拥有多篇文章 """ type User { id: ID! name: String! email: String! role: Role! createdAt: String! """该用户的文章列表""" articles: [Article!]! } """ 文章：每篇文章必须归属于一个用户 """ type Article { id: ID! title: String! content: String! """文章作者，必须归属一个用户""" author: User! tags: [String!]! status: ArticleStatus! } ``` ```graphql # ============================================================ # Part 2 — Query 类型 # ============================================================ type Query { """根据 ID 获取单个用户，不存在时返回 null""" user(id: ID!): User """获取所有用户列表""" users: [User!]! """根据 ID 获取单篇文章，不存在时返回 null""" article(id: ID!): Article """获取文章列表，支持按状态过滤；不传 status 时返回全部文章""" articles(status: ArticleStatus): [Article!]! } ``` ```graphql # ============================================================ # Part 3 — Mutation 类型 # ============================================================ type Mutation { # ---------- 用户相关 ---------- """创建用户，name / email / role 均为必填""" createUser(name: String!, email: String!, role: Role!): User! """更新用户，除 id 必填外其余字段均为可选，仅更新传入的字段""" updateUser(id: ID!, name: String, email: String, role: Role): User! """删除用户，成功返回 true""" deleteUser(id: ID!): Boolean # ---------- 文章相关 ---------- """创建文章，title / content / authorId / tags / status 均为必填""" createArticle( title: String! content: String! authorId: ID! tags: [String!]! status: ArticleStatus! ): Article! """更新文章，除 id 必填外其余字段均为可选，仅更新传入的字段""" updateArticle( id: ID! title: String content: String authorId: ID tags: [String!] status: ArticleStatus ): Article! """删除文章，成功返回 true""" deleteArticle(id: ID!): Boolean } ``` ```graphql # ============================================================ # Part 4 — 示例操作 # ============================================================ #...
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【CLAUDE】该候选输出整体质量较高，四个部分结构清晰、顺序正确，SDL 语法规范，可被标准 GraphQL 解析器无错解析。枚举定义、类型定义、双向关联、Query/Mutation 操作及示例查询均完整覆盖了 Prompt 要求。主要不足是 deleteUser 和 deleteArticle 的返回类型为可空 Boolean 而非 Boolean!，与评分标准的明确要求不符。代码块内使用了文档字符串和注释，在 GraphQL SDL 中是合法的，不影响解析。整体而言是一份高质量的 GraphQL Schema 设计输出。 【GEMINI】这是一份极其优秀的 GraphQL Schema 设计与示例输出。模型不仅完美实现了所有的业务功能需求，而且在格式控制上表现出极高的专业度，严格遵守了‘代码块外无解释性文字’的严苛限制。语法严谨，逻辑自洽，完全可以直接投入生产环境使用。 【KIMI】该候选输出在 GraphQL 技术实现层面质量较高，SDL 语法正确、信息覆盖完整、逻辑自洽性强。但致命缺陷在于严重违反 System Prompt 的格式约束：在代码块外输出了四个部分的标题文字，且在代码块内大量使用注释（尽管 GraphQL 语法允许）。System Prompt 明确将'严禁在代码块外输出任何解释性文字'作为第一条输出要求，并强调'优先保证语法严谨性'，此处的'语法严谨性'应理解为包含对输出格式约束的严格遵守。因此 format_validity 得分未达及格线。若忽略格式约束，技术质量可达优秀水平。
相关链接
您可以通过以下链接查看更多相关内容：
