信息提取任务

这是一个 AI 大模型评测用例,下面将详细介绍测试内容和各模型的表现。

基本信息

  • 用例名称:信息提取任务
  • 测试类型:文本生成
  • 评测维度:Agent MCP
  • 参与评测的模型数:206 个

系统提示词(System Prompt)

你是一名专业的金融助理,擅长解读股票行情数据并以清晰易懂的语言向用户传达。 【核心规则】 1. 严格依据工具返回的数据作答,禁止凭空捏造、推测或补充任何未经工具验证的数值(如涨跌幅、市值、历史价格等)。 2. 公司全称必须与工具返回字段完全一致(如 `Apple Inc.`),禁止使用"苹果""苹果公司"等非标准简称替代。 3. 股票价格必须与工具返回数值完全一致,禁止四舍五入或任何形式的数值修改(如工具返回 `187.65`,则必须输出 `187.65`)。 4. 货币单位必须明确标注为 `USD`(或等价表述"美元"),不得省略。 5. 回答须以自然语言呈现,禁止直接输出 XML/JSON 原始字段或标签内容。 【工具调用格式】 需要查询数据时,必须使用以下 XML 格式发起工具调用: ```xml <tool_call> <name>工具名称</name> <arguments> <参数名>参数值</参数名> </arguments> </tool_call> ``` 示例——查询苹果公司股价: ```xml <tool_call> <name>get_stock_price</name> <arguments> <symbol>AAPL</symbol> </arguments> </tool_call> ``` 工具返回格式如下,回答时须严格对照各字段取值: ```xml <tool_result> <status>success</status> <data> <symbol>AAPL</symbol> <company>Apple Inc.</company> <price>187.65</price> <currency>USD</currency> </data> </tool_result> ``` 【回答要求】 1. 回答必须包含:公司全称(取自 `<company>` 字段)、当前股票价格(取自 `<price>` 字段)、货币单位(取自 `<currency>` 字段)。 2. 语言自然流畅,以向用户解释的口吻表达,而非罗列字段。 3. 回答简洁,聚焦用户所问的核心信息,无需展开分析或延伸说明。 4. 仅在工具返回 `<status>success</status>` 时输出数据;若状态异常,应告知用户查询失败并说明原因。

用户提示词(User Prompt)

那微软公司的股票现在是什么价格?帮我也查一下。

各模型评测结果

  1. 第 1:qwen3-coder-next,得分 100.0 分 — 查看该模型的详细评测结果
  2. 第 2:Anthropic: Claude Haiku 4.5,得分 95.25 分 — 查看该模型的详细评测结果
  3. 第 3:Meituan: LongCat Flash Chat,得分 94.75 分 — 查看该模型的详细评测结果
  4. 第 4:mimo-v2-flash,得分 93.5 分 — 查看该模型的详细评测结果
  5. 第 5:hunyuan-turbo,得分 93.25 分 — 查看该模型的详细评测结果
  6. 第 6:doubao-seed-2-0-pro,得分 93.25 分 — 查看该模型的详细评测结果
  7. 第 7:Google: Gemini 2.5 Flash Lite,得分 92.75 分 — 查看该模型的详细评测结果
  8. 第 8:doubao-seed-2-0-lite,得分 91.25 分 — 查看该模型的详细评测结果
  9. 第 9:doubao-seed-1-6-flash,得分 90.0 分 — 查看该模型的详细评测结果
  10. 第 10:glm-4.5-air,得分 89.75 分 — 查看该模型的详细评测结果
  11. 第 11:Google: Gemini 3 Flash Preview,得分 89.2 分 — 查看该模型的详细评测结果
  12. 第 12:GPT-5.2,得分 87.5 分 — 查看该模型的详细评测结果
  13. 第 13:Claude Opus 4.6,得分 87.5 分 — 查看该模型的详细评测结果
  14. 第 14:doubao-seed-2-0-mini,得分 87.25 分 — 查看该模型的详细评测结果
  15. 第 15:glm-5,得分 79.55 分 — 查看该模型的详细评测结果
  16. 第 16:doubao-seed-1-6,得分 78.8 分 — 查看该模型的详细评测结果
  17. 第 17:MiniMax-M2.7,得分 75.0 分 — 查看该模型的详细评测结果
  18. 第 18:mimo-v2-omni,得分 67.2 分 — 查看该模型的详细评测结果
  19. 第 19:qwen3-4b,得分 66.2 分 — 查看该模型的详细评测结果
  20. 第 20:Qwen: Qwen3.5-9B,得分 63.8 分 — 查看该模型的详细评测结果
  21. 第 21:deepseek-v3.2,得分 62.5 分 — 查看该模型的详细评测结果
  22. 第 22:qwen3-8b,得分 61.2 分 — 查看该模型的详细评测结果
  23. 第 23:qwen3-14b,得分 61.2 分 — 查看该模型的详细评测结果
  24. 第 24:kimi-k2.5,得分 60.0 分 — 查看该模型的详细评测结果
  25. 第 25:kimi-k2-thinking-turbo,得分 60.0 分 — 查看该模型的详细评测结果
  26. 第 26:MiniMax-M2.5,得分 57.5 分 — 查看该模型的详细评测结果
  27. 第 27:StepFun: Step 3.5 Flash,得分 56.2 分 — 查看该模型的详细评测结果
  28. 第 28:NVIDIA: Nemotron 3 Super (free),得分 56.2 分 — 查看该模型的详细评测结果
  29. 第 29:Grok 4,得分 55.0 分 — 查看该模型的详细评测结果
  30. 第 30:qwen3.5-flash,得分 51.2 分 — 查看该模型的详细评测结果
  31. 第 31:doubao-seed-1-8,得分 50.0 分 — 查看该模型的详细评测结果
  32. 第 32:Anthropic: Claude Sonnet 4.6,得分 50.0 分 — 查看该模型的详细评测结果
  33. 第 33:qwen3-coder-plus,得分 50.0 分 — 查看该模型的详细评测结果
  34. 第 34:google/gemma-4-26b-a4b,得分 50.0 分 — 查看该模型的详细评测结果
  35. 第 35:qwen3.5-plus-2026-02-15,得分 50.0 分 — 查看该模型的详细评测结果
  36. 第 36:Google: Gemma 4 31B,得分 49.0 分 — 查看该模型的详细评测结果
  37. 第 37:qwen3-0.6b,得分 46.5 分 — 查看该模型的详细评测结果
  38. 第 38:hunyuan-pro,得分 42.5 分 — 查看该模型的详细评测结果
  39. 第 39:OpenAI: GPT-5 Nano,得分 42.5 分 — 查看该模型的详细评测结果
  40. 第 40:doubao-seed-2-0-code,得分 42.5 分 — 查看该模型的详细评测结果
  41. 第 41:Elephant,得分 40.0 分 — 查看该模型的详细评测结果
  42. 第 42:Google: Gemma 4 26B A4B ,得分 40.0 分 — 查看该模型的详细评测结果
  43. 第 43:xAI: Grok 4.1 Fast,得分 40.0 分 — 查看该模型的详细评测结果
  44. 第 44:OpenAI: GPT-5 Mini,得分 40.0 分 — 查看该模型的详细评测结果
  45. 第 45:OpenAI: gpt-oss-120b,得分 40.0 分 — 查看该模型的详细评测结果
  46. 第 46:OpenAI: GPT-5.4,得分 40.0 分 — 查看该模型的详细评测结果
  47. 第 47:Mistral: Mistral Nemo,得分 40.0 分 — 查看该模型的详细评测结果
  48. 第 48:OpenAI: GPT-4o-mini,得分 40.0 分 — 查看该模型的详细评测结果
  49. 第 49:Meta: Llama 3.3 70B Instruct,得分 40.0 分 — 查看该模型的详细评测结果
  50. 第 50:kimi-k2.6,得分 37.5 分 — 查看该模型的详细评测结果
  51. 第 51:GLM-5v-turbo,得分 37.5 分 — 查看该模型的详细评测结果
  52. 第 52:Google: Gemini 3.1 Pro Preview,得分 37.5 分 — 查看该模型的详细评测结果
  53. 第 53:qwen3-235b-a22b,得分 37.5 分 — 查看该模型的详细评测结果
  54. 第 54:MiniMax-M2.1,得分 37.5 分 — 查看该模型的详细评测结果
  55. 第 55:xAI: Grok 4.20 Beta,得分 37.0 分 — 查看该模型的详细评测结果
  56. 第 56:qwen3.6-plus-preview,得分 34.8 分 — 查看该模型的详细评测结果
  57. 第 57:qwen3-max,得分 32.5 分 — 查看该模型的详细评测结果
  58. 第 58:OpenAI: gpt-oss-20b,得分 31.45 分 — 查看该模型的详细评测结果
  59. 第 59:GLM-5.1,得分 22.5 分 — 查看该模型的详细评测结果
  60. 第 60:glm-4.7,得分 17.2 分 — 查看该模型的详细评测结果
  61. 第 61:hunyuan-large,得分 14.29 分 — 查看该模型的详细评测结果
  62. 第 62:mimo-v2-pro,得分 — 分 — 查看该模型的详细评测结果
  63. 第 63:Claude Opus 4 7,得分 — 分 — 查看该模型的详细评测结果
  64. 第 64:glm-5-turbo,得分 — 分 — 查看该模型的详细评测结果
  65. 第 65:qwen3.5-omni-plus,得分 — 分 — 查看该模型的详细评测结果
  66. 第 66:qwen3-coder-flash,得分 — 分 — 查看该模型的详细评测结果
  67. 第 67:qwen3.5-omni-flash,得分 — 分 — 查看该模型的详细评测结果
  68. 第 68:qwen3.5-35b-a3b,得分 — 分 — 查看该模型的详细评测结果
  69. 第 69:qwen3.5-27b,得分 — 分 — 查看该模型的详细评测结果
题目
模型排行
加载中…
模型评分
加载中…