异常处理

这是一个 AI 大模型评测用例，下面将详细介绍测试内容和各模型的表现。

基本信息

  • 用例名称：异常处理
  • 测试类型：文本生成
  • 评测维度：Agent MCP
  • 参与评测的模型数：206 个

系统提示词（System Prompt）

你是一名资深客服专家，专注于帮助用户解决订单查询问题。 【核心规则】 1. 工具返回结果以 XML 格式呈现，你必须正确解析其中的 `<status>` 和 `<error><code>` 字段，并据此判断问题类型： - `ORDER_NOT_FOUND` = 系统中不存在该订单号（业务逻辑限制），**不得**将其解读为系统故障或网络异常 - 任何错误码均不得原样输出给用户，须转化为自然语言 2. 禁止凭空捏造工具调用结果、联系方式或任何未经工具返回的信息 【工具返回格式参考】 工具结果以如下 XML 结构返回，你需要读取并理解其含义： ```xml <tool_result> <status>error</status> <!-- success 或 error --> <error> <code>ORDER_NOT_FOUND</code> <!-- 错误类型标识，供你内部判断，禁止直接输出 --> <message>未找到指定的订单号</message> </error> </tool_result> ``` 当 `<status>` 为 `success` 时，读取订单信息字段并如实告知用户；当 `<status>` 为 `error` 时，根据 `<code>` 值进行分类处理。 【回答要求】 1. **先安抚情绪，再解释原因**：以理解和关怀的语气开场，避免生硬冷漠 2. **区分故障类型**：`ORDER_NOT_FOUND` 属于"订单号不存在"，应引导用户自查，而非暗示系统出错 3. **提供具体可操作建议**：至少给出以下 1-2 条中的具体建议： - 检查订单号拼写是否有误（字母大小写、数字是否混淆） - 前往"我的订单"列表核对实际订单号 - 确认是否使用了正确的账号登录 4. **回复简洁友好**：不超过 150 字，不在回复中输出任何 XML 标签或错误码 5. **不产生幻觉**：不提供任何工具未返回的信息，不虚构客服电话、链接或处理结果

用户提示词（User Prompt）

我刚刚去"我的订单"页面查了，确实有这笔订单，订单号就是 ORD-999999，是昨天下午付款的。是不是你们系统有问题查不到？我该怎么办？

各模型评测结果

  1. 第 1：qwen3.6-plus-preview，得分 96.0 分 — 查看该模型的详细评测结果
  2. 第 2：Elephant，得分 92.1 分 — 查看该模型的详细评测结果
  3. 第 3：Google: Gemini 3.1 Pro Preview，得分 90.26 分 — 查看该模型的详细评测结果
  4. 第 4：Qwen: Qwen3.5-9B，得分 84.7 分 — 查看该模型的详细评测结果
  5. 第 5：kimi-k2.5，得分 84.03 分 — 查看该模型的详细评测结果
  6. 第 6：GPT-5.2，得分 82.7 分 — 查看该模型的详细评测结果
  7. 第 7：doubao-seed-2-0-code，得分 82.0 分 — 查看该模型的详细评测结果
  8. 第 8：Grok 4，得分 81.8 分 — 查看该模型的详细评测结果
  9. 第 9：NVIDIA: Nemotron 3 Super (free)，得分 81.0 分 — 查看该模型的详细评测结果
  10. 第 10：Google: Gemma 4 26B A4B ，得分 79.7 分 — 查看该模型的详细评测结果
  11. 第 11：Google: Gemma 4 31B，得分 78.7 分 — 查看该模型的详细评测结果
  12. 第 12：OpenAI: GPT-5 Mini，得分 76.56 分 — 查看该模型的详细评测结果
  13. 第 13：mimo-v2-flash，得分 76.29 分 — 查看该模型的详细评测结果
  14. 第 14：glm-5，得分 75.62 分 — 查看该模型的详细评测结果
  15. 第 15：MiniMax-M2.1，得分 72.98 分 — 查看该模型的详细评测结果
  16. 第 16：hunyuan-turbo，得分 72.29 分 — 查看该模型的详细评测结果
  17. 第 17：xAI: Grok 4.1 Fast，得分 72.27 分 — 查看该模型的详细评测结果
  18. 第 18：kimi-k2.6，得分 71.5 分 — 查看该模型的详细评测结果
  19. 第 19：OpenAI: gpt-oss-20b，得分 71.22 分 — 查看该模型的详细评测结果
  20. 第 20：MiniMax-M2.7，得分 70.2 分 — 查看该模型的详细评测结果
  21. 第 21：GLM-5.1，得分 69.8 分 — 查看该模型的详细评测结果
  22. 第 22：OpenAI: GPT-5 Nano，得分 69.56 分 — 查看该模型的详细评测结果
  23. 第 23：qwen3.5-27b，得分 69.2 分 — 查看该模型的详细评测结果
  24. 第 24：qwen3-max，得分 69.12 分 — 查看该模型的详细评测结果
  25. 第 25：doubao-seed-2-0-mini，得分 68.96 分 — 查看该模型的详细评测结果
  26. 第 26：Anthropic: Claude Haiku 4.5，得分 68.83 分 — 查看该模型的详细评测结果
  27. 第 27：xAI: Grok 4.20 Beta，得分 68.7 分 — 查看该模型的详细评测结果
  28. 第 28：doubao-seed-2-0-lite，得分 68.33 分 — 查看该模型的详细评测结果
  29. 第 29：Google: Gemini 3 Flash Preview，得分 68.32 分 — 查看该模型的详细评测结果
  30. 第 30：Meituan: LongCat Flash Chat，得分 68.12 分 — 查看该模型的详细评测结果
  31. 第 31：GLM-5v-turbo，得分 67.5 分 — 查看该模型的详细评测结果
  32. 第 32：glm-4.5-air，得分 67.12 分 — 查看该模型的详细评测结果
  33. 第 33：doubao-seed-2-0-pro，得分 65.99 分 — 查看该模型的详细评测结果
  34. 第 34：qwen3.5-flash，得分 65.2 分 — 查看该模型的详细评测结果
  35. 第 35：OpenAI: gpt-oss-120b，得分 65.15 分 — 查看该模型的详细评测结果
  36. 第 36：glm-4.7，得分 64.22 分 — 查看该模型的详细评测结果
  37. 第 37：OpenAI: GPT-4o-mini，得分 63.94 分 — 查看该模型的详细评测结果
  38. 第 38：qwen3.5-35b-a3b，得分 63.3 分 — 查看该模型的详细评测结果
  39. 第 39：qwen3.5-plus-2026-02-15，得分 62.8 分 — 查看该模型的详细评测结果
  40. 第 40：mimo-v2-omni，得分 62.0 分 — 查看该模型的详细评测结果
  41. 第 41：kimi-k2-thinking-turbo，得分 61.98 分 — 查看该模型的详细评测结果
  42. 第 42：Meta: Llama 3.3 70B Instruct，得分 61.12 分 — 查看该模型的详细评测结果
  43. 第 43：OpenAI: GPT-5.4，得分 60.8 分 — 查看该模型的详细评测结果
  44. 第 44：hunyuan-large，得分 59.48 分 — 查看该模型的详细评测结果
  45. 第 45：doubao-seed-1-8，得分 59.3 分 — 查看该模型的详细评测结果
  46. 第 46：StepFun: Step 3.5 Flash，得分 56.7 分 — 查看该模型的详细评测结果
  47. 第 47：Google: Gemini 2.5 Flash Lite，得分 56.55 分 — 查看该模型的详细评测结果
  48. 第 48：Claude Opus 4 7，得分 56.5 分 — 查看该模型的详细评测结果
  49. 第 49：glm-5-turbo，得分 55.7 分 — 查看该模型的详细评测结果
  50. 第 50：doubao-seed-1-6-flash，得分 51.4 分 — 查看该模型的详细评测结果
  51. 第 51：Anthropic: Claude Sonnet 4.6，得分 47.86 分 — 查看该模型的详细评测结果
  52. 第 52：doubao-seed-1-6，得分 46.0 分 — 查看该模型的详细评测结果
  53. 第 53：Claude Opus 4.6，得分 43.5 分 — 查看该模型的详细评测结果
  54. 第 54：mimo-v2-pro，得分 38.0 分 — 查看该模型的详细评测结果
  55. 第 55：qwen3-coder-next，得分 36.2 分 — 查看该模型的详细评测结果
  56. 第 56：qwen3.5-omni-flash，得分 35.0 分 — 查看该模型的详细评测结果
  57. 第 57：qwen3-coder-plus，得分 35.0 分 — 查看该模型的详细评测结果
  58. 第 58：MiniMax-M2.5，得分 33.72 分 — 查看该模型的详细评测结果
  59. 第 59：qwen3-8b，得分 33.3 分 — 查看该模型的详细评测结果
  60. 第 60：hunyuan-pro，得分 33.05 分 — 查看该模型的详细评测结果
  61. 第 61：qwen3-14b，得分 32.7 分 — 查看该模型的详细评测结果
  62. 第 62：qwen3.5-omni-plus，得分 31.67 分 — 查看该模型的详细评测结果
  63. 第 63：deepseek-v3.2，得分 31.17 分 — 查看该模型的详细评测结果
  64. 第 64：qwen3-235b-a22b，得分 28.0 分 — 查看该模型的详细评测结果
  65. 第 65：qwen3-coder-flash，得分 22.2 分 — 查看该模型的详细评测结果
  66. 第 66：Mistral: Mistral Nemo，得分 21.63 分 — 查看该模型的详细评测结果
  67. 第 67：qwen3-4b，得分 17.0 分 — 查看该模型的详细评测结果
  68. 第 68：qwen3-0.6b，得分 17.0 分 — 查看该模型的详细评测结果
题目
模型排行
加载中…
模型评分
加载中…