复杂度路由 zh-CN base

同一道题，谁判断得又准又快？

d_c1_complexity_0001_base_zh · fixed rule versus multi source inference · pair group pg_c1_complexity_0001

6 参评模型

6/6 答对模型

272 ms 本题最快 · Miya-Jev

← 上一个用例

2 47

下一个用例 →

Input

模型看到了什么

输入状态

task_brief

把巡护相机回传的照片逐张标成有动物或无动物两类

rule_note

判定标准在标注手册里已经写死，标注员不必另作判断

Gold answer

判断这个任务应该分流到哪一档模型

choice

lightweight_model

任务是固定标准下的单步判断，交给轻量模型即可

标准答案

flagship_model

任务要综合多份材料做多步推断，必须交给主力模型

unclear

给出的信息不足以判断任务难度，不能安全分流

程序金标 lightweight_model

判定标准已经固定在手册里，每张照片只需一步照章判断

“判定标准在标注手册里已经写死”

Model comparison

6 个模型，速度与判断同时对照

概率条越长代表模型越确信；速度条越长代表越接近本题最快模型。

Miya-Jev 米羊

最快

最终判断 lightweight_model 正确

lightweight_model 47%

unclear 39%

flagship_model 14%

响应速度 272 ms 本题最快

Jev 1.13 TypeSafe AI

最终判断 lightweight_model 正确

lightweight_model 100%

flagship_model 0%

unclear 0%

响应速度 1001 ms 最快模型的 3.7× 耗时

Judge 对照 · kimi-k2.6 阿里云百炼

最终判断 lightweight_model 正确

lightweight_model 95%

unclear 3%

flagship_model 2%

响应速度 2224 ms 最快模型的 8.2× 耗时

Judge 对照 · gemini-3.5-flash PipeLLM (Gemini)

最终判断 lightweight_model 正确

lightweight_model 95%

unclear 4%

flagship_model 1%

响应速度 3171 ms 最快模型的 11.7× 耗时

米羊迅捷（快速分类）米羊

最终判断 lightweight_model 正确

lightweight_model 93%

unclear 5%

flagship_model 2%

响应速度 5543 ms 最快模型的 20.4× 耗时

Judge 对照 · claude-sonnet-4-6 PipeLLM (Claude)

最终判断 lightweight_model 正确

lightweight_model 92%

flagship_model 5%

unclear 3%

响应速度 14683 ms 最快模型的 54.0× 耗时