kimi-k2.6 在「长期对话状态管理」的评测结果

这是该 AI 模型在此测试用例上的详细评测结果。

基本信息

  • 模型名称：kimi-k2.6
  • 用例名称：长期对话状态管理
  • 测试类型：文本生成
  • 评测维度：Agent MCP

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

你是一个旅行规划助手，负责通过多轮对话收集用户的旅行信息，并在信息齐全后调用工具搜索航班。你需要在整个对话过程中准确记忆用户提供的所有关键信息，并在调用工具前向用户确认收集到的内容。 【核心规则】 - 在多轮对话中持续追踪并记忆以下旅行要素：出发城市、目的城市、出发日期、乘客数量 - 当所有必填信息收集完整后，必须先向用户简要确认信息，再执行工具调用 - 所有工具调用必须严格使用以下 XML 格式，禁止省略任何必填参数 - `passengers` 参数必须为整数类型（integer），不得传入字符串 【可用工具】 ```xml <tool name="search_flights"> <description>搜索航班</description> <parameters> <param name="from" type="string" required="true">出发城市</param> <param name="to" type="string" required="true">目的城市</param> <param name="date" type="string" required="true">出发日期（YYYY-MM-DD）</param> <param name="passengers" type="integer" required="true">乘客数量</param> </parameters> </tool> ``` 【工具调用格式】 每次调用工具时，必须严格按照以下模板输出，不得更改标签名称或结构： ```xml <tool_call> <name>search_flights</name> <parameters> <from>出发城市</from> <to>目的城市</to> <date>YYYY-MM-DD</date> <passengers>1</passengers> </parameters> </tool_call> ``` 示例（北京飞上海，2025-08-15，1名乘客）： ```xml <tool_call> <name>search_flights</name> <parameters> <from>北京</from> <to>上海</to> <date>2025-08-15</date> <passengers>1</passengers> </parameters> </tool_call> ``` 【回答要求】 - 语气友好自然，体现对之前对话内容的记忆与延续，避免让用户重复提供已告知的信息 - 调用工具前，用一句话向用户确认已收集到的旅行信息（出发地、目的地、日期、人数） - 工具调用的 XML 块须单独成段，清晰可见 - 不得在工具调用中使用占位符或省略值；所有参数必须填写与对话内容完全一致的真实值

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

我刚才说错了，出发日期应该是8月20号，不是15号。另外我想顺便看看有没有8月22号从上海回北京的返程航班，帮我一起查一下吧。

任务要求

AI 模型需要满足以下要求：

  1. 正确识别并记住对话中用户提供的所有关键信息：出发城市（北京）、目的城市（上海）、出发日期（2025-08-15）、乘客数量（1人）
  2. 在调用工具前，向用户简要确认收集到的旅行信息
  3. 正确调用 search_flights 工具，所有必填参数均需填写且与对话内容一致
  4. 工具调用格式正确，参数类型符合要求（passengers 为整数类型）
  5. 回复语气友好自然，体现出对之前对话内容的记忆和延续

评测结果

综合得分

该模型在此用例的得分为：92.7 分（满分 100 分），已通过

基础难度评测结果

  • 得分：92.7 分
  • 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

没问题，已经为您更新并记录返程需求！为您确认即将查询的航班信息： **去程**：北京 → 上海，2025-08-20，1名乘客 **返程**：上海 → 北京，2025-08-22，1名乘客 现在为您同时搜索这两个日期的航班： search_flights 北京 上海 2025-08-20 1 search_flights 上海 北京 2025-08-22 1

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出在多轮对话状态维护任务中表现优异。准确捕捉了用户的需求变更（日期修正）和新增需求（返程航班），两次工具调用格式规范、参数准确、类型正确。确认信息结构清晰，语气友好自然，充分体现了对话记忆的延续性。逻辑推理严密，没有遗漏或混淆任何关键信息。整体完成度高，是一个高质量的多轮对话代理响应示例。 【GEMINI】该模型在多轮对话状态追踪和复杂指令遵循方面表现优异。它不仅纠正了对话历史中存在的错误工具格式（预设上下文中使用了错误的 JSON 格式），还完美处理了用户在同一轮对话中提出的“修改旧信息”与“增加新任务”的双重挑战。XML 工具调用格式严谨，信息确认清晰，是一个非常出色的 Agent 表现。 【KIMI】Assistant 在多轮对话中正确追踪并更新了用户的需求，但在最终的工具调用中出现了错误，未能正确反映更新后的出发日期。整体而言，Assistant 的表现基本符合要求，但在工具调用的准确性方面还有待提高。

进阶难度评测结果

  • 得分：93.5 分
  • 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

**步骤一：当前状态整理** | 信息项 | 状态 | 内容/备注 | |--------|------|-----------| | 出发城市 | ✅ 已确认 | **上海**（本轮新增） | | 目的地 | ✅ 已确认 | 东京 | | 出发/入住日期 | ✅ 已确认 | 2025-03-15 | | 行程天数 | ✅ 已确认 | 5天 | | 退房日期 | ✅ 已推导 | 2025-03-20（15日+5天） | | 出行人数 | ✅ 已确认 | 2人 | | 酒店偏好 | ✅ 已确认 | 4星以上，新宿附近 | | 特殊饮食禁忌 | ✅ 已记录 | **老婆海鲜过敏**（后续餐厅推荐将严格避开含海鲜/生食的店） | | 航班备选日期 | ✅ 已确认 | 3月16日、3月17日 | | 缺失项 | — | **无** | --- **步骤二：工具调用条件检查** 1. **`search_flights`（3月15日）** - `from`: **上海** ← 用户本轮明确"我们从上海出发" - `to`: **东京** ← 历史对话确认 - `date`: **2025-03-15** ← 用户明确"定3月15号出发" - `passengers`: **2** ← 历史对话"我和老婆两个人" - ✅ **全部满足，可调用** 2. **`search_flights`（3月16日）** - `from`: 上海；`to`: 东京；`passengers`: 2（同上） - `date`: **2025-03-16** ← 用户明确作为"备选日期" - ✅ **全部满足，可调用** 3. **`search_flights`（3月17日）** - `from`: 上海；`to`: 东京；`passengers`: 2（同上） - `date`: **2025-03-17** ← 用户明确作为"备选日期" - ✅ **全部满足，可调用** 4. **`search_hotels`** - `city`: **东京** ← 历史对话确认 - `check_in`: **2025-03-15** ← 出发当日即入住 - `check_out`: **2025-03-20** ← 推导：3月15日 + 5天行程 = 3月20日退房 - `guests`: **2** ← 历史对话确认 - ✅ **全部满足，可调用** --- **步骤三：工具调用** 已为您备注：**夫人海鲜过敏**，后续餐厅推荐会避开海鲜及生食类店铺。 现在同时为您搜索 3月15日（主选）及 3月16日、3月17日（备选）的航班，以及 3月15日-20日的酒店： > 推导说明：用户确认从上海出发，3月15日前往东京，2人出行，因此调用3月15日航班搜索。 ```json { "tool": "search_flights", "parameters": { "from": "上海", "to": "东京", "date": "2025-03-15", "passengers": 2 } } ``` > 推导说明：用户明确3月16日为航班备选日期，其他参数与主选航班一致。 ```json { "tool": "search_flights", "parameters": { "from": "上海", "to": "东京", "date": "2025-03-16", "passengers": 2 } } ``` > 推导说明：用户明确3月17日为航班备选日期，其他参数与主选航班一致。 ```json { "tool": "search_flights", "parameters": { "from": "上海", "to": "东京", "date": "2025-03-17", "passengers": 2 } } ``` > 推导说明：用户确认入住东京，3月15日出发、行程5天，因此入住日期为2025-03-15，退房日期为2025-03-15 + 5天 = 2025-03-20，客人数量为2人。 ```json { "tool": "search_hotels", "parameters": { "city": "东京", "check_in": "2025-03-15", "check_out": "2025-03-20", "guests": 2 } } ```

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出在状态管理、日期推导和工具调用逻辑上表现优秀，准确提取了对话中的所有关键信息，正确识别了工具调用的触发条件，并生成了格式规范、参数准确的 JSON 调用。特别值得肯定的是对备选日期的主动处理和对特殊饮食需求的关注。主要改进空间在于：（1）对条件性需求（备选日期）的处理可以更加精细化，先搜索主选再根据结果决定是否搜索备选；（2）对超出工具能力范围的需求（记录饮食禁忌）应更谨慎表述，避免过度承诺；（3）多工具调用时可增加简短的策略说明以提升用户体验。整体而言，这是一个高质量的输出，充分满足了任务要求。 【GEMINI】该大模型的表现堪称完美。它不仅严格遵守了复杂的输出格式和工具调用逻辑，还展现了优秀的上下文理解能力，能够根据用户的多重需求（如备选日期和饮食禁忌）做出超出预期的专业响应。所有必填参数的推导和验证过程均透明且逻辑严密。 【KIMI】整体而言，模型在多轮对话中展现了出色的状态追踪能力和工具调用逻辑判断，能够准确提取和推导关键信息，并在条件满足时生成规范的工具调用 JSON，在条件不满足时正确识别缺口并追问。输出结构清晰，追问精准。但在输出中额外记录了一些与当前任务目标关联不大的信息，略显冗余。总体表现优秀，但在一些细节处理上还有优化空间。

困难难度评测结果

  • 得分：88.8 分
  • 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

① 状态变更日志 [11:00] [ADD] travelers.members.spouse：null → {type: adult, departure_city: 北京}（配偶重新加入行程） [11:00] [UPDATE] departure_groups.beijing.adults：1 → 2 [11:00] [UPDATE] departure_groups.beijing.passengers：2 → 3（配偶加入北京组） [11:00] [UPDATE] departure_groups.shanghai.adults：1 → 2 [11:00] [UPDATE] departure_groups.shanghai.children：0 → 1（新增6岁儿童） [11:00] [UPDATE] departure_groups.shanghai.passengers：1 → 3（朋友一家三口） [11:00] [UPDATE] travelers.adults：2 → 4 [11:00] [UPDATE] travelers.children：1 → 2 [11:00] [UPDATE] travelers.total：3 → 6 [11:00] [UPDATE] itinerary.tokyo.participants：3人（北京组） → 6人（北京组+上海组） [11:00] [UPDATE] itinerary.osaka.participants：北京组+上海组 → 仅北京组（3人），上海组退出大阪段 [11:00] [DELETE] accommodation.tokyo.room_config：{rooms:1, type:家庭房/套房} → null（人数增至6人，原配置失效） [11:00] [DELETE] accommodation.osaka.room_config：{rooms:1, type:家庭房/套房} → null（行程变更，待重新确认） --- ② 当前全局状态快照（JSON） ```json { "travelers": { "adults": 4, "children": 2, "total": 6, "groups": [ { "group_id": "beijing_family", "members": ["用户", "配偶", "孩子(8岁)"], "adults": 2, "children": 1 }, { "group_id": "shanghai_family", "members": ["朋友", "朋友配偶", "孩子(6岁)"], "adults": 2, "children": 1 } ] }, "departure_groups": [ { "city": "北京", "date": "2025-03-10", "to": "东京", "passengers": 3, "adults": 2, "children": 1 }, { "city": "上海", "date": "2025-03-10", "to": "东京", "passengers": 3, "adults": 2, "children": 1 } ], "itinerary": [ { "city": "东京", "check_in": "2025-03-10", "check_out": "2025-03-13", "duration_days": 3, "participants": 6, "participant_groups": ["北京组", "上海组"] }, { "city": "大阪", "check_in": "2025-03-13", "check_out": "2025-03-15", "duration_days": 2, "participants": 3, "participant_groups": ["北京组"], "note": "上海组不参与本段行程" } ], "accommodation": { "tokyo": { "status": "待确认", "total_guests": 6, "rooms": null, "room_type": null }, "osaka": { "status": "待确认", "total_guests": 3, "rooms": null, "room_type": null } }, "last_updated": "11:00" } ``` --- ③ 缺失信息检查 【缺失信息检查】 - ✅...

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】该回复在复杂多人行程的动态状态管理中表现优秀。核心优势包括：① 准确追踪并记录了多次人员变更（配偶退出→重新加入、朋友扩展为一家三口）和行程分段逻辑；② 严格遵循工具调用规范，在参数不完整时正确选择追问而非强行调用；③ 全局状态快照结构完整，JSON 格式规范，字段命名清晰。改进空间：状态变更日志可适当简化技术术语以提升用户友好度，用户回复摘要的收尾可更从容。整体而言，该回复充分展现了对复杂状态管理场景的处理能力，符合高级旅行规划助手的专业标准。 【GEMINI】模型在逻辑思维和状态维护方面表现优异，能够精准处理多人、多出发地、分段行程的复杂逻辑，并在工具调用触发阈值上表现出极强的合规性（没有在房间数未定情况下盲目搜索酒店）。然而，在格式约束方面存在明显瑕疵：一是 XML 标签名未对齐模板（name vs tool_name），二是引入了冗余的自定义 XML 字段，三是变更日志未包含历史记录。若能修正工具调用格式的严谨性，将是一个非常优秀的 Agent 表现。 【KIMI】整体而言，模型表现出了较高的状态追踪准确性和对话连贯性，但在工具调用逻辑上存在一些小的遗漏，尤其是在生成 search_hotels 调用方面。模型能够很好地处理复杂的状态变更，并以自然友好的方式与用户沟通。

相关链接

您可以通过以下链接查看更多相关内容：

加载中...
100%