qwen3-coder-next 在「排除指令」的评测结果

这是该 AI 模型在此测试用例上的详细评测结果。

基本信息

  • 模型名称:qwen3-coder-next
  • 用例名称:排除指令
  • 测试类型:文本生成
  • 评测维度:指令遵循

系统提示词(System Prompt)

这是给 AI 模型的背景设定和角色指令:

你是一名严谨的文本审核专家,专注于验证输出内容是否严格遵守负向约束条件。 回答要求: 1. 仔细阅读题目中所有的「不能/禁止」类限制条件,在生成内容前逐一确认。 2. 输出结果须为清晰的列表格式,每条单独成行,并标注序号。 3. 完成输出后,主动自查每一项是否触碰了禁用项,确保零违规。 4. 内容应简洁准确,每条列举的动物名称清晰可辨,不使用模糊或生僻的别称来规避限制。

用户提示词(User Prompt)

这是用户给 AI 模型的具体任务要求:

请列举 5 种动物,每种动物单独占一行并标注序号(如:1. xxx)。 限制条件: - 不能包含「猫」(包括家猫、野猫等所有猫科家养动物的通称) - 不能包含「狗」(包括家犬、宠物犬等所有犬科家养动物的通称) 请在列举完成后,用一句话确认你的答案中不包含上述两种动物。

任务要求

AI 模型需要满足以下要求:

  1. 【数量合规】输出恰好包含 5 种动物,不多不少。
  2. 【禁项排除-猫】5 条答案中,不得出现「猫」字或任何以猫为核心指代的表述(如「家猫」「波斯猫」「野猫」等)。
  3. 【禁项排除-狗】5 条答案中,不得出现「狗」字或任何以狗为核心指代的表述(如「家犬」「哈士奇」「泰迪」等)。
  4. 【格式规范】每种动物单独成行,并附有正确的序号(1-5)。
  5. 【自查声明】答案末尾须包含一句明确的自查确认语,说明已排除猫和狗。
  6. 【内容合理】所列举的均为真实存在的动物,名称准确无歧义。

评测结果

综合得分

该模型在此用例的得分为:100.0 分(满分 100 分),已通过

基础难度评测结果

  • 得分:100.0 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

1. 老虎 2. 大象 3. 长颈鹿 4. 企鹅 5. 青蛙 经确认,以上5种动物中不包含“猫”或“狗”。

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【CLAUDE】候选输出中列举的5种动物(老虎、大象、长颈鹿、企鹅、青蛙)均不包含「猫」或「狗」及其任何变体,完全符合负向约束条件。末尾也有明确的自查声明确认排除了猫和狗。约束遵循零违规。 【GEMINI】模型表现优秀,完美执行了所有指令要求,包括负向约束排除、格式规范以及自查确认,输出内容准确且符合逻辑。 【KIMI】该候选输出表现优秀,完全满足题目的所有功能要求和约束条件。在约束合规性、指令一致性和内容质量三个维度均达到满分标准,是一例规范的合规输出。

进阶难度评测结果

  • 得分:94.8 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

中国古代在技术与知识领域长期处于世界前列。西汉时期已出现早期造纸原料的利用,东汉蔡伦改进工艺,使纸张更适于书写推广。唐代雕版印刷渐趋成熟,北宋毕昇进一步发展出活字排版,极大提升了信息传播效率。火药最早见于唐代炼丹文献,至宋代被用于军事,催生火箭、火铳等器械。指南针源自战国“司南”,北宋时以人工磁化技术制成罗盘,广泛应用于航海,推动远洋探索。这四项技术体系通过丝绸之路与海上贸易传至东亚、中东及欧洲,深刻影响了人类文明进程,为知识保存、传播、能源利用与空间定位提供了关键支撑。(198字)

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【CLAUDE】候选输出在最关键的约束遵从性维度表现完美,全文零违规;四大发明覆盖完整,字数达标,内容准确且具备一定历史深度。语言整体流畅,替代词汇运用自然得体。主要不足在于文风偏向工整罗列,文采与感染力略逊于参考答案,且末尾自注字数「(198字)」稍显多余。综合来看,这是一篇高质量的合规输出。 【GEMINI】模型表现出色,不仅完美遵守了所有负面约束(禁用词),还精准达成了字数与内容覆盖要求。文章语言平实专业,逻辑结构严谨,展现了极高的指令遵从能力与文本组织水平。 【KIMI】候选输出在严格的词汇限制下表现出色,完全规避禁用词的同时保持了内容的完整性与表达的流畅性。四大发明覆盖全面,字数精准达标,替代表达策略得当,逻辑结构清晰。 minor瑕疵在于个别概括性用词的现代语境适配度,但整体质量优秀,展现了良好的指令遵从与内容生成能力。

困难难度评测结果

  • 得分:74.4 分
  • 通过状态:已通过

模型生成产物

以下是该模型针对此任务的实际生成内容:

一盏灯亮起时,他已站在门前二十三分钟 三片落叶静卧阶前,她推门而出脚步轻缓 四时风起,他递过围巾,指尖微凉 五秒沉默后,她接过,轻轻缠绕颈间 六步并作三步,两人并肩走入暮色 七处街灯渐次点亮,影子交错又分离 八年前那场雨,他记得她未撑伞 九月风中,她发梢沾着水珠 十指相扣时,世界忽然安静 十一月雪落无声,两人踩出两行脚印 十二月炉火旁,她煮粥,他添柴 十三次日升月落,日子悄然变暖 十四夜深,她靠他肩头数星星 十五分暖意,足够抵御整个寒冬

AI 评审点评

以下是 AI 评审对该模型输出的点评:

【GEMINI】该生成结果呈现出明显的“文学性强、约束遵循差”的特点。在情感表达和意象构建上非常出色,成功避开了所有禁用的情感词汇。然而,作为专业评测,其在硬性约束上表现不佳:出现了禁用的“色”字,半数句子字数超限,且总字数远低于要求,最关键的是完全忽略了句子结束标点的使用。综合来看,虽然文章动人,但作为指令遵循任务,其完成度较低。 【KIMI】整体而言,这篇短文在严格遵守所有硬性约束的同时,成功地围绕爱情主题创作出了一个连贯、情感真实的故事。尽管在文学性和深度上可能有所限制,但考虑到约束的严格性,这样的成果已经相当不易。

相关链接

您可以通过以下链接查看更多相关内容:

加载中...