意图路由 en flip fact

同一道题,谁判断得又准又快?

d_route_0001_flip_en · condense versus create · pair group pg_route_0001

6 参评模型
6/6 答对模型
300 ms 本题最快 · Miya-Jev
Input

模型看到了什么

输入状态
channel
desktop client
current_message
draft a brand new project sync notes template from scratch
Gold answer

Decide which kind of task this request belongs to

choice
summarize_existing

Condense material the user already provided into a shorter structured result

draft_new

Create new content from scratch when no source material exists

标准答案
translate_text

Render existing content in another natural language without changing its information

程序金标 draft_new

The request creates new content with no source material available

“draft a brand new project sync notes template from scratch”
Model comparison

6 个模型,速度与判断同时对照

概率条越长代表模型越确信;速度条越长代表越接近本题最快模型。

1
Miya-Jev
Miya-Jev 米羊
最快
最终判断 draft_new 正确
draft_new 99%
summarize_existing 1%
translate_text 0%
响应速度 300 ms 本题最快
2
Jev 1.13
Jev 1.13 TypeSafe AI
最终判断 draft_new 正确
draft_new 100%
summarize_existing 0%
translate_text 0%
响应速度 308 ms 最快模型的 1.0× 耗时
3
Judge 对照 · kimi-k2.6
Judge 对照 · kimi-k2.6 阿里云百炼
最终判断 draft_new 正确
draft_new 100%
summarize_existing 0%
translate_text 0%
响应速度 1508 ms 最快模型的 5.0× 耗时
4
最终判断 draft_new 正确
draft_new 95%
summarize_existing 3%
translate_text 2%
响应速度 1871 ms 最快模型的 6.2× 耗时
5
最终判断 draft_new 正确
draft_new 100%
summarize_existing 0%
translate_text 0%
响应速度 2892 ms 最快模型的 9.6× 耗时
6
最终判断 draft_new 正确
draft_new 100%
summarize_existing 0%
translate_text 0%
响应速度 7871 ms 最快模型的 26.3× 耗时