← 返回刚才的用例对照
Miya-Jev
原生概率
米羊 · 协议 native_decisions ·
数据集 1.1.0 / 切分 split_v1.1 /
scorer 1.0 / policy policy_v1
· 厂商回报版本 miyang/miya-jev
准确率
88.5%
与程序金标一致的比例
DRS
68.4
技能分归一化后的主分
E-AURC
0.0249
越小越懂得弃答
中英差
0.001
平行语料上的技能分差
校准
校准回归的截距反映整体偏移，斜率反映概率是过于自信还是过于保守： 斜率小于 1 表示自信过头。ECE 只做诊断，不进主分，因为它对分箱方式敏感。
截距
-1.5939
斜率
7.8286
ECE
0.1250
| 概率区间 | 平均预测概率 | 实际正确率 | 样本数 |
|---|---|---|---|
| [0.00, 0.10) | 0.050 | 0.000 | 21 |
| [0.10, 0.20) | 0.129 | 0.000 | 4 |
| [0.20, 0.30) | 0.239 | 0.000 | 1 |
| [0.30, 0.40) | 0.350 | 0.000 | 1 |
| [0.40, 0.50) | 0.470 | 0.000 | 1 |
| [0.50, 0.60) | 0.550 | 0.500 | 2 |
| [0.60, 0.70) | 0.664 | 1.000 | 2 |
| [0.70, 0.80) | 0.749 | 1.000 | 9 |
| [0.80, 0.90) | 0.838 | 1.000 | 8 |
| [0.90, 1.00) | 0.939 | 1.000 | 13 |
风险覆盖曲线
横轴是把最没把握的样本交给人之后剩下的自动化比例，纵轴是这部分自动化的错误率。 工程上关心的是「错误率压到 5% 时还能自动处理多少」，即曲线与该横线的交点。
| 覆盖率 | 选择性风险 |
|---|---|
| 0.5% | 0.0000 |
| 5.5% | 0.0000 |
| 10.5% | 0.0000 |
| 15.5% | 0.0000 |
| 20.5% | 0.0000 |
| 25.5% | 0.0000 |
| 30.5% | 0.0000 |
| 35.5% | 0.0000 |
| 40.5% | 0.0123 |
| 45.5% | 0.0330 |
| 50.5% | 0.0297 |
| 55.5% | 0.0450 |
| 60.5% | 0.0496 |
| 65.5% | 0.0458 |
| 70.5% | 0.0426 |
| 75.5% | 0.0464 |
| 80.5% | 0.0497 |
| 85.5% | 0.0526 |
| 90.5% | 0.0773 |
| 95.5% | 0.0942 |
家族切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
candidate_rerank |
skill |
-0.3932 | — | 16 |
candidate_rerank |
accuracy |
0.5000 | — | 16 |
complexity_routing |
skill |
0.5421 | — | 16 |
complexity_routing |
accuracy |
0.8125 | — | 16 |
context_rot |
skill |
0.7036 | — | 14 |
context_rot |
accuracy |
0.9286 | — | 14 |
evidence_relation |
skill |
0.9975 | — | 22 |
evidence_relation |
accuracy |
1.0000 | — | 22 |
extraction_validation |
skill |
0.9208 | — | 14 |
extraction_validation |
accuracy |
1.0000 | — | 14 |
intent_routing |
skill |
0.9968 | — | 22 |
intent_routing |
accuracy |
1.0000 | — | 22 |
memory_value |
skill |
0.7303 | — | 20 |
memory_value |
accuracy |
0.9500 | — | 20 |
named_score |
skill |
0.4712 | — | 20 |
named_score |
accuracy |
0.6000 | — | 20 |
negation_indirection |
skill |
0.8053 | — | 15 |
negation_indirection |
accuracy |
1.0000 | — | 15 |
option_coverage |
skill |
0.6793 | — | 15 |
option_coverage |
accuracy |
0.8667 | — | 15 |
passage_relevance |
skill |
0.9887 | — | 13 |
passage_relevance |
accuracy |
1.0000 | — | 13 |
underdetermined |
skill |
0.9868 | — | 13 |
underdetermined |
accuracy |
1.0000 | — | 13 |
鲁棒性切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
filler_inject |
flip_rate |
0.0909 | — | 22 |
injection_inject |
flip_rate |
0.0909 | — | 22 |
语言切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
en |
drs |
68.4270 | — | 102 |
en |
accuracy |
0.9020 | — | 102 |
zh-CN |
drs |
68.3564 | — | 98 |
zh-CN |
accuracy |
0.8673 | — | 98 |
en |
aurc |
0.0327 | — | 102 |
zh-CN |
aurc |
0.0328 | — | 98 |
en |
ece |
0.1502 | — | 32 |
en |
calibration_intercept |
12.8532 | [-29869.2557, 29894.9620] | 32 |
en |
calibration_slope |
54.6304 | [-15313.0864, 15422.3471] | 32 |
en |
murphy_reliability |
0.0355 | — | 32 |
zh-CN |
ece |
0.1289 | — | 30 |
zh-CN |
calibration_intercept |
-41.1987 | [-23032.8837, 22950.4863] | 30 |
zh-CN |
calibration_slope |
85.4337 | [-13983.8782, 14154.7455] | 30 |
zh-CN |
murphy_reliability |
0.0323 | — | 30 |
风险档位
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
0.1 |
csac |
— | — | 200 |
0.05 |
csac |
— | — | 200 |
0.01 |
csac |
— | — | 200 |
效率与成本
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
latency |
latency_p50_ms |
717.9932 | — | 200 |
latency |
latency_p95_ms |
2591.1654 | — | 200 |
cost |
cost_per_10k_questions |
0.0806 | — | 200 |
tokens |
mean_input_tokens |
230.2100 | — | 200 |
