复杂度路由 zh-CN flip fact

同一道题，谁判断得又准又快？

d_c1_complexity_0001_flip_zh · fixed rule versus multi source inference · pair group pg_c1_complexity_0001

6 参评模型
6/6 答对模型
273 ms 本题最快 · Miya-Jev
← 上一个用例
5 47
下一个用例 →
Input

模型看到了什么

输入状态
task_brief
把巡护相机回传的照片逐张标成有动物或无动物两类
rule_note
判定标准要结合本地物种名录、季节迁徙记录和模糊影像逐条推断
Gold answer

判断这个任务应该分流到哪一档模型

choice
lightweight_model

任务是固定标准下的单步判断，交给轻量模型即可

flagship_model

任务要综合多份材料做多步推断，必须交给主力模型

标准答案
unclear

给出的信息不足以判断任务难度，不能安全分流

程序金标 flagship_model

判定要跨三份材料逐条推断，属于多步推理，需要主力模型

“要结合本地物种名录、季节迁徙记录和模糊影像逐条推断”
Model comparison

6 个模型，速度与判断同时对照

概率条越长代表模型越确信；速度条越长代表越接近本题最快模型。

1
Miya-Jev
Miya-Jev 米羊
最快
最终判断 flagship_model 正确
flagship_model 96%
lightweight_model 2%
unclear 1%
响应速度 273 ms 本题最快
2
Jev 1.13
Jev 1.13 TypeSafe AI
最终判断 flagship_model 正确
flagship_model 96%
lightweight_model 4%
unclear 0%
响应速度 337 ms 最快模型的 1.2× 耗时
3
Judge 对照 · claude-sonnet-4-6
最终判断 flagship_model 正确
flagship_model 86%
lightweight_model 8%
unclear 6%
响应速度 1898 ms 最快模型的 7.0× 耗时
4
Judge 对照 · kimi-k2.6
Judge 对照 · kimi-k2.6 阿里云百炼
最终判断 flagship_model 正确
flagship_model 90%
lightweight_model 5%
unclear 5%
响应速度 2277 ms 最快模型的 8.4× 耗时
5
Judge 对照 · gemini-3.5-flash
最终判断 flagship_model 正确
flagship_model 95%
lightweight_model 5%
unclear 0%
响应速度 9341 ms 最快模型的 34.3× 耗时
6
米羊迅捷（快速分类）
最终判断 flagship_model 正确
flagship_model 80%
lightweight_model 10%
unclear 10%
响应速度 9553 ms 最快模型的 35.1× 耗时