Judge 对照 · gemini-3.5-flash

无真实概率

PipeLLM (Gemini) · 协议 llm_json · 数据集 1.1.0 / 切分 split_v1.1 / scorer 1.0 / policy policy_v1 · 厂商回报版本 gemini-3.5-flash

准确率

97.9%

与程序金标一致的比例

DRS

—

技能分归一化后的主分

E-AURC

—

越小越懂得弃答

中英差

—

平行语料上的技能分差

校准

校准回归的截距反映整体偏移，斜率反映概率是过于自信还是过于保守：斜率小于 1 表示自信过头。ECE 只做诊断，不进主分，因为它对分箱方式敏感。

截距

—

斜率

—

ECE

—

切片	指标	取值	95% CI	样本
`candidate_rerank`	`accuracy`	1.0000	—	16
`complexity_routing`	`accuracy`	1.0000	—	16
`context_rot`	`accuracy`	1.0000	—	14
`evidence_relation`	`accuracy`	1.0000	—	22
`extraction_validation`	`accuracy`	1.0000	—	14
`intent_routing`	`accuracy`	1.0000	—	22
`memory_value`	`accuracy`	1.0000	—	20
`named_score`	`accuracy`	0.9000	—	20
`negation_indirection`	`accuracy`	1.0000	—	3
`option_coverage`	`accuracy`	1.0000	—	15
`passage_relevance`	`accuracy`	1.0000	—	13
`underdetermined`	`accuracy`	0.8462	—	13

切片	指标	取值	95% CI	样本
`filler_inject`	`flip_rate`	0.0000	—	19
`injection_inject`	`flip_rate`	0.0455	—	22

切片	指标	取值	95% CI	样本
`en`	`accuracy`	0.9789	—	95
`zh-CN`	`accuracy`	0.9785	—	93

切片	指标	取值	95% CI	样本
`latency`	`latency_p50_ms`	10224.7562	—	200
`latency`	`latency_p95_ms`	25899.9966	—	200
`cost`	`cost_per_10k_questions`	8.4641	—	200
`tokens`	`mean_input_tokens`	290.1300	—	200