Claude Opus 4 7 在「格式指令」的评测结果

这是该 AI 模型在此测试用例上的详细评测结果。

基本信息

  • 模型名称:Claude Opus 4 7
  • 用例名称:格式指令
  • 测试类型:文本生成
  • 评测维度:指令遵循

系统提示词(System Prompt)

这是给 AI 模型的背景设定和角色指令:

你是一名严格的格式化输出引擎,专注于按照指令精确生成结构化文本。 输出要求: 1. 严格遵循 Prompt 中指定的格式模板,不得擅自更改格式结构。 2. 除非 Prompt 明确要求,不输出任何开场白、结语或额外解释性文字。 3. 编号格式须完整、一致,符号与内容之间保持规范间距。 4. 内容须真实、准确,符合常识认知。 5. 优先保证格式正确性,其次保证内容的准确性与完整性。

用户提示词(User Prompt)

这是用户给 AI 模型的具体任务要求:

请列出三种常见的水果,严格使用以下数字编号格式输出,不要添加任何额外的说明、开场白或结语: 1. [水果名称] 2. [水果名称] 3. [水果名称]

任务要求

AI 模型需要满足以下要求:

  1. 输出恰好包含 3 项,不多不少,每项占独立一行。
  2. 每项严格以「数字+英文句点+空格」(如「1. 」)开头,编号从 1 到 3 连续递增。
  3. 每项内容为真实存在的常见水果名称,不得填写蔬菜、坚果等非水果类食物。
  4. 输出中不包含任何开场白(如「好的,以下是……」)、结语(如「希望对你有帮助」)或额外注释。
  5. 三种水果互不重复。

评测结果

综合得分

该模型在此用例的得分为:100.0 分(满分 100 分),已通过

基础难度评测结果

  • 得分:100.0 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

1. 苹果 2. 香蕉 3. 橙子

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【CLAUDE】候选输出与参考答案完全一致,格式严格遵循指令要求,内容准确且无冗余文字,表现完美。 【GEMINI】模型表现完美,严格遵守了系统提示词和用户指令中的格式限制,内容选取准确,没有产生任何冗余输出。 【KIMI】输出格式和内容都完全符合要求,没有扣分点。

进阶难度评测结果

  • 得分:97.5 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

## Python **发明时间**:1991年 **创始人**:Guido van Rossum **主要用途**: - Web开发与后端服务 - 数据科学与机器学习 - 自动化脚本与系统管理 **示例代码**: ```python def fibonacci(n): if n <= 1: return n return fibonacci(n-1) + fibonacci(n-2) print([fibonacci(i) for i in range(10)]) ```

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【CLAUDE】候选输出表现优秀,完美遵循了模板的格式要求,没有任何多余内容。填充的信息准确专业,涵盖了Python语言的关键背景信息,示例代码具有实用性且语法正确。整体完成度高,符合技术文档格式化引擎的标准输出要求。

困难难度评测结果

  • 得分:100.0 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

```yaml project: name: 智慧家居管家 App version: 1.0.0 type: 移动应用 platform: - iOS - Android start_date: 2025-05-15 expected_delivery: 2025-11-30 status: 规划中 stakeholders: product_owner: name: 张明华 email: zhang.minghua@smarthome.com department: 产品部 project_manager: name: 李晓芳 email: li.xiaofang@smarthome.com department: 项目管理办公室 tech_lead: name: 王建国 email: wang.jianguo@smarthome.com department: 技术研发部 stakeholder_list: - name: 陈雨欣 role: UI/UX 设计师 involvement: 高 - name: 刘德华 role: 后端架构师 involvement: 高 - name: 赵敏 role: 测试经理 involvement: 中 business_context: background: 随着物联网技术的快速发展和智能家居设备的普及,用户对统一管理多品牌智能设备的需求日益增长。当前市场上的智能家居应用多为单一品牌生态,用户需要安装多个 App 才能控制不同品牌的设备,体验割裂且操作繁琐。本项目旨在打造一款跨品牌、跨协议的智慧家居管家应用,为用户提供统一的设备管理、场景联动和智能化控制体验,提升家居生活的便捷性与舒适度。 business_goals: - 在上线后 6 个月内获取 50 万活跃用户 - 支持市场主流 15 个以上智能家居品牌的设备接入 - 实现用户日均使用时长达到 12 分钟 - 通过增值服务实现月度营收 200 万元 target_users: - segment: 年轻家庭用户 description: 25-40 岁,拥有多种智能家居设备,追求生活品质,对新技术接受度高 pain_points: - 多个 App 切换操作繁琐 - 不同品牌设备无法联动 - 缺乏个性化自动化场景 - segment: 科技爱好者 description: 18-35 岁,热衷于智能硬件,喜欢探索设备的高级功能和自定义配置 pain_points: - 现有应用功能单一,缺乏深度定制能力 - 设备状态监控不够实时和详细 - 缺少数据分析和能耗优化建议 - segment: 中老年用户 description: 50 岁以上,希望通过智能设备提升生活便利性,但对复杂操作有畏难情绪 pain_points: - 界面复杂,学习成本高 - 语音控制识别率低 - 缺少简化的一键操作模式 functional_requirements: - id: FR-001 title: 设备发现与添加 priority: 高 description: 系统应支持自动扫描局域网内的智能设备,并提供手动添加设备的功能。用户可通过扫描设备二维码、输入设备 ID 或选择设备型号等方式完成设备绑定。支持 Wi-Fi、蓝牙、Zigbee 等多种通信协议。 acceptance_criteria: - 自动扫描功能在 30 秒内发现局域网内 95% 的在线设备 - 手动添加流程不超过 3 个步骤 - 支持至少 15 个主流品牌的设备协议 user_stories: - 作为用户,我希望打开 App 后能自动发现家中的智能设备,这样我就不需要手动输入复杂的配置信息 - 作为用户,我希望能通过扫描设备上的二维码快速添加设备,这样可以节省配置时间 - id: FR-002 title: 设备控制面板 priority: 高 description: 为每类设备提供专属的控制界面,包括开关、亮度调节、色温调节、温度设定、模式切换等功能。界面应直观易用,支持快捷操作和高级设置两种模式。实时显示设备状态,响应时间不超过 500 毫秒。 acceptance_criteria: - 控制指令从发出到设备响应延迟小于 500ms - 设备状态更新实时同步,延迟不超过 1 秒 - 支持批量控制同类设备 user_stories: - 作为用户,我希望能在一个界面上控制所有灯光设备,这样我可以快速调整家中的照明氛围 - 作为用户,我希望控制指令能立即生效,这样我能获得流畅的操作体验 - id: FR-003 title: 智能场景编排 priority: 高 description:...

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【GEMINI】该候选结果是一份教科书级别的软件需求文档。它不仅在格式上完美执行了复杂的 YAML 约束和负向约束(无废话),而且在内容深度和专业度上远超一般 AI 生成的范式。文档结构严谨,数据前后一致,技术方案可行,充分展示了模型作为「专业格式化引擎」的高级能力。

相关链接

您可以通过以下链接查看更多相关内容:

加载中...