跳到正文
SGSteven Guan

原子概念 / Training Data Governance

训练数据资格与轨迹治理

保存数据用途许可、可见证据、版本、专家修订与分组;失败轨迹不直接成为SFT正向目标。

要解决的问题哪些轨迹有资格训练,哪些token应该作为监督目标?

检索别名:训练数据 · loss masking · 授权

BLUEPRINT局部蓝图

01 输入

  1. 样本及用途授权
  2. 纠正轨迹和评审
  3. 模板schema及保留规则
→

02 处理机制

  1. 核训练资格去标识
  2. 明确目标token及mask
  3. 按实体时间分组去重
  4. 冻结manifest和删除责任
→

03 输出与证据

  1. 合格训练数据版本
  2. 独立验证集及污染记录

可读不等于可训练

每条训练样本保存来源、授权主体、用途许可、保留期限、脱敏状态、任务家族、输入可见证据、工具版本、目标输出和专家修订。企业拥有访问材料的账号,并不自动拥有模型训练或教师蒸馏权;知识接入、评测使用、训练使用和对外发布应分别判断。数据资格随撤权和合同变化更新。

监督目标必须明确

工具轨迹匹配实际chat template、tokenizer、工具schema以及call/result格式。明确loss覆盖哪些角色和token,通常不要将用户私有输入、工具事实或错误动作直接当作模型要模仿的目标。原失败轨迹可用于诊断或偏好负例;SFT正向目标使用经纠正的响应和恢复行为,错误步骤按目标屏蔽或明确标注。

划分依据真实关联

按公司、文档、合同matter、课程、学生或题型家族分组并去近重复;金融再按公开可得时间划分。相邻段落与同一报告改写不能横跨train和test,教师合成的近似题也可能污染。锁定test不反复回馈给优化器,并保留后来新建的fresh audit。历史金融任务还需警惕基础模型参数已知道未来结果。

数据集是可追溯资产

保留正确拒绝、无答案、冲突、工具失败和恢复的合格样本,避免只教完美短路径。数据manifest记录样本hash、筛选规则、版本和可用scope;删除请求不仅影响源库,还要判断派生数据、checkpoint与adapter的责任边界。权重中的逐用户删除通常比外部知识更难精确操作,因此高变化事实优先留在可更新、可溯源的数据层。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 2
  • SFT与工具轨迹监督 — 依赖 → 训练数据资格与轨迹治理

    监督目标需有资格、版本和纠正。

  • 蒸馏与拒绝采样 — 依赖 → 训练数据资格与轨迹治理

    教师输出和训练用途分别核资格。

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Anthropic:Agent评测方法 ↗官方文档 / 声明

    学习收益需在独立业务任务验证。