蒸馏测试集高分，换种问法却失效，怎样检查近似重复和模板泄漏

最新推荐文章于 2026-09-12 14:03:42 发布

原创最新推荐文章于 2026-09-12 14:03:42 发布 · 374 阅读

本内容遵循CC 4.0 BY-SA版权协议

蒸馏后的学生模型在测试集上分数很高，用户只改了语序、称呼或文档格式，结果就明显变差，先别急着把原因归为学生参数量小。更常见的排查起点是训练集和测试集过于相似，或者两边共享同一套生成模板。模型记住了提示外形、字段位置与高频措辞，测试题又恰好沿用这些特征，离线分数便会高估它处理新表达的能力。

我把 scikit-learn 的数据泄漏说明、交叉验证文档和 CheckList 行为测试论文放在一起看。前两份材料强调测试信息不能参与模型选择，后者提供了一套脱离训练实现、直接检查输入输出行为的办法。蒸馏项目可以把这两条思路接起来，先清理数据边界，再用表达扰动检查学生是否只会熟悉模板。

先定义什么算近似重复

逐字相同的样本很容易查，危险通常藏在改写后的重复里。同一份原始合同切成两个段落，一个进入训练集，另一个进入测试集；同一条业务规则被不同教师提示改写；同一个问答模板只替换客户名和日期，这些样本在字符串层面不同，任务结构却几乎一致。

排查时建议保留原始来源标识、文档标识、生成提示版本和语义簇标识。划分数据不能只按最终样本随机抽取，应尽量按原始文档、客户来源、时间批次或任务模板成组划分。scikit-learn 的 GroupKFold 思路适合解释这件事，同一组样本不同时进入训练和验证，模型才会面对真正没见过的来源。

文本去重可以分三层执行。第一层做精确哈希，发现完全相同的输入或答案。第二层做规范化比较，处理空格、标点、大小写和字段顺序。第三层再做语义近邻检索，找出换词但任务骨架一致的样本。相似阈值没有通用答案，先人工检查不同分数区间，再按任务确定保守范围。自动结果只能提供候选，不能直接决定删除。

检查层	主要发现	容易遗漏的情况	人工复核重点
精确哈希	完全重复	标点与格式变化	来源是否相同
规范化文本	轻微改写	大幅同义改写	关键字段是否一致
语义近邻	结构相近	专业词导致误判	解题路径是否相同
分组追踪	同源样本	来源标识缺失	原始文档和模板

再查模板是否泄漏了答案线索

有些测试题没有进入训练集，模板却泄漏了任务。假设训练数据总用“请根据材料抽取以下字段”开头，答案也按固定次序排列；测试集沿用同一提示，只替换正文。学生可以依赖字段位置和固定词，而没有学会在不同请求中识别真实意图。

把测试样本的模板遮掉一部分，或者重写指令顺序，再观察结果。需要保持任务含义不变，否则测试测到的是新任务。可以改换礼貌用语、主动被动表达、字段出现顺序和无关背景；不能把“允许退款”改成“不允许退款”后仍要求答案不变。每一种扰动都要写清预期关系。

CheckList 把行为测试分为最小功能测试、不变性测试和方向性预期测试。最小功能测试用简单样本检查单项能力，不变性测试要求不影响标签的改写保持结果，方向性测试则规定输入发生某种变化后输出应该怎样改变。蒸馏项目不必照搬论文里的英文例子，可以围绕自己的合同字段、意图分类或拒答规则建立对应样本。

用版本化脚本避免测试本身漂移

表达扰动最好由可复现脚本生成。脚本记录基础样本编号、扰动类型、随机种子、期望行为和人工审核状态。生成后先抽查语义，确认改写没有引入新的事实，也没有删掉决定标签的条件。随后同时运行教师、训练前学生和蒸馏后学生，不能只看最后一个模型。

伪代码可以保持简单。

for sample in frozen_cases
    variants = approved_perturbations(sample)
    run teacher and student on sample plus variants
    compare expected relation instead of exact wording
    save raw output, verdict and version

若教师也在扰动样本上失败，先修任务标准或教师数据。教师稳定、学生失效，才继续检查学生容量、训练覆盖和损失权重。训练前学生稳定、蒸馏后学生退化，则把注意力转到蒸馏数据与训练配置。

教师样本由多个外部模型生成时，生成批次也要能追踪。147AI公开支持统一接口、多个API Key以及调用量、消耗和日志查询，团队可以按教师或任务拆分Key，辅助核对样本来自哪个调用批次。平台日志不能证明内容正确，原始回答、清洗决定和人工审核仍应保存在项目数据中。