Jev 1.13
原生概率
TypeSafe AI · 协议 native_decisions ·
数据集 1.1.0 / 切分 split_v1.1 /
scorer 1.0 / policy policy_v1
· 厂商回报版本 typesafe/jev-1.13-20260917
准确率
96.0%
与程序金标一致的比例
DRS
90.6
技能分归一化后的主分
E-AURC
0.0032
越小越懂得弃答
中英差
0.026
平行语料上的技能分差
校准
校准回归的截距反映整体偏移，斜率反映概率是过于自信还是过于保守： 斜率小于 1 表示自信过头。ECE 只做诊断，不进主分，因为它对分箱方式敏感。
截距
-21.1543
斜率
27.2022
ECE
0.0866
| 概率区间 | 平均预测概率 | 实际正确率 | 样本数 |
|---|---|---|---|
| [0.00, 0.10) | 0.029 | 0.000 | 21 |
| [0.10, 0.20) | 0.115 | 0.000 | 2 |
| [0.20, 0.30) | 0.240 | 0.000 | 1 |
| [0.30, 0.40) | 0.350 | 0.000 | 3 |
| [0.40, 0.50) | 0.420 | 0.000 | 1 |
| [0.50, 0.60) | 0.500 | 0.000 | 1 |
| [0.60, 0.70) | 0.000 | 0.000 | 0 |
| [0.70, 0.80) | 0.000 | 0.000 | 0 |
| [0.80, 0.90) | 0.852 | 1.000 | 6 |
| [0.90, 1.00) | 0.947 | 1.000 | 27 |
风险覆盖曲线
横轴是把最没把握的样本交给人之后剩下的自动化比例，纵轴是这部分自动化的错误率。 工程上关心的是「错误率压到 5% 时还能自动处理多少」，即曲线与该横线的交点。
| 覆盖率 | 选择性风险 |
|---|---|
| 0.5% | 0.0000 |
| 5.5% | 0.0000 |
| 10.5% | 0.0000 |
| 15.5% | 0.0000 |
| 20.5% | 0.0000 |
| 25.5% | 0.0000 |
| 30.5% | 0.0000 |
| 35.5% | 0.0000 |
| 40.5% | 0.0000 |
| 45.5% | 0.0000 |
| 50.5% | 0.0000 |
| 55.5% | 0.0000 |
| 60.5% | 0.0000 |
| 65.5% | 0.0000 |
| 70.5% | 0.0000 |
| 75.5% | 0.0000 |
| 80.5% | 0.0062 |
| 85.5% | 0.0058 |
| 90.5% | 0.0166 |
| 95.5% | 0.0366 |
家族切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
candidate_rerank |
skill |
0.9365 | — | 16 |
candidate_rerank |
accuracy |
1.0000 | — | 16 |
complexity_routing |
skill |
0.9933 | — | 16 |
complexity_routing |
accuracy |
1.0000 | — | 16 |
context_rot |
skill |
0.9884 | — | 14 |
context_rot |
accuracy |
1.0000 | — | 14 |
evidence_relation |
skill |
0.9999 | — | 22 |
evidence_relation |
accuracy |
1.0000 | — | 22 |
extraction_validation |
skill |
0.9944 | — | 14 |
extraction_validation |
accuracy |
1.0000 | — | 14 |
intent_routing |
skill |
0.9993 | — | 22 |
intent_routing |
accuracy |
1.0000 | — | 22 |
memory_value |
skill |
0.7555 | — | 20 |
memory_value |
accuracy |
1.0000 | — | 20 |
named_score |
skill |
0.7427 | — | 20 |
named_score |
accuracy |
0.7500 | — | 20 |
negation_indirection |
skill |
0.9846 | — | 15 |
negation_indirection |
accuracy |
1.0000 | — | 15 |
option_coverage |
skill |
1.0000 | — | 15 |
option_coverage |
accuracy |
1.0000 | — | 15 |
passage_relevance |
skill |
0.9922 | — | 13 |
passage_relevance |
accuracy |
1.0000 | — | 13 |
underdetermined |
skill |
0.3298 | — | 13 |
underdetermined |
accuracy |
0.7692 | — | 13 |
鲁棒性切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
filler_inject |
flip_rate |
0.0000 | — | 22 |
injection_inject |
flip_rate |
0.0000 | — | 22 |
语言切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
en |
drs |
91.9290 | — | 102 |
en |
accuracy |
0.9706 | — | 102 |
zh-CN |
drs |
89.3476 | — | 98 |
zh-CN |
accuracy |
0.9490 | — | 98 |
zh-CN |
murphy_reliability |
0.0189 | — | 30 |
en |
aurc |
0.0020 | — | 102 |
zh-CN |
aurc |
0.0066 | — | 98 |
en |
ece |
0.0831 | — | 32 |
en |
calibration_intercept |
-21.7878 | [-32466.2391, 32422.6635] | 32 |
en |
calibration_slope |
27.5580 | [-11214.9319, 11270.0479] | 32 |
en |
murphy_reliability |
0.0168 | — | 32 |
zh-CN |
ece |
0.0903 | — | 30 |
zh-CN |
calibration_intercept |
-14.7510 | [-34787.6583, 34758.1562] | 30 |
zh-CN |
calibration_slope |
23.4666 | [-11972.9349, 12019.8682] | 30 |
风险档位
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
0.1 |
csac |
— | — | 200 |
0.05 |
csac |
— | — | 200 |
0.01 |
csac |
— | — | 200 |
效率与成本
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
latency |
latency_p50_ms |
343.0938 | — | 200 |
latency |
latency_p95_ms |
459.5367 | — | 200 |
cost |
cost_per_10k_questions |
0.1993 | — | 200 |
tokens |
mean_input_tokens |
474.4550 | — | 200 |
