微信客服
wholerenguru3 (厚仁学术哥)
训练机器学习模型时,通常需要把可用数据划分为训练、验证和测试用途:用训练数据学习模型,用验证数据比较或调整方案,再用保留的测试数据评估最终方案。如果测试数据的信息提前进入训练或模型选择,结果可能显得比面对新数据时更好。
具体划分方式取决于数据、任务和样本量;时间序列、重复用户或同一对象的多条记录,可能需要按时间或对象分组,而不能机械地随机切分。
用一个假设项目理解数据泄漏
假设学生用公开许可的数据预测某类产品反馈。先划分训练和测试,再用训练集计算填补缺失值所需的统计量,之后将同样的处理应用到测试集。如果先用全部数据计算均值再划分,测试集信息就可能影响训练流程。
scikit-learn 的常见问题文档提醒,应在需要学习参数的预处理前划分数据,并避免在测试集上执行 fit。这是一种常见泄漏,实际项目还需要检查时间、用户和标签等其他信息来源。
训练、验证和测试各做什么?
| 数据用途 | 主要作用 | 常见问题 |
|---|---|---|
| 训练 | 学习模型参数及训练过程需要的处理规则 | 混入未来或测试信息 |
| 验证 | 比较方案、调整模型或参数 | 反复优化后对验证集过度适配 |
| 测试 | 最后估计选定方案在保留数据上的表现 | 用测试结果反复选模型,失去独立评估意义 |
例如,假设有 100 条相互独立、采集方式一致的数据,任务也不要求按时间或用户分组,可以先保留 20 条作最终测试,再从其余 80 条中留出 20 条作验证、用 60 条训练。这只是帮助理解步骤的示例比例,不是通用标准;模型定下来之前不要根据测试集结果反复挑选方案。若数据来自重复用户或有时间顺序,应按实际评估目标先考虑分组或时间划分。
数据较少时,可以研究交叉验证等方法;条件允许时保留独立测试集或使用外部数据验证。如果确实无法另留测试集,可考虑嵌套交叉验证:用内层选择方案、外层估计该选择过程的表现,按任务正确分组并报告样本量及结果波动。它不能创造独立外部数据,也不能消除小样本的所有不确定性。
例如同一人的多次记录同时出现在训练集和测试集时,模型可能记住与该人有关的线索。若目标是评估对新用户的表现,应考虑以用户为单位分组,再按任务检查划分;若目标是预测未来,还要检查训练数据是否先于测试时期。划分原则应与实际使用场景一致。
假设同一个求职者有两版简历,第一版进入训练集、第二版进入测试集,即使两份文本不完全相同,也可能让模型借助同一个人的背景信息取得偏乐观的结果。若要测试对新求职者的表现,可以先按匿名用户标识分组,再划分数据,并检查同组是否跨集合;标识和原始简历的保存、处理及公开仍须遵守授权与隐私要求。
项目汇报怎样写才可信?
说明数据来源与许可、划分方式、个人负责的步骤、评价指标和样本限制。测试样本很少时就写清范围;没有经过真实业务验证,不能声称模型已经提升企业业绩。使用现成模型或代码,也要如实标注自己完成了哪些工作。
如果你希望在实践中学习数据处理与模型评估,欢迎了解我们的科研与实践项目。例如,在我们对接的合作企业中,美国AI公司的机器学习岗位涉及数据清洗、标注、模型评估和误差分析;企业培训样例中的数据分析可以使用模拟或脱敏数据。参加前可向我们确认当期任务、数据使用权限和反馈方式,并非每位学生都会接触生产数据或完成相同工作。
美国招生协会
AIRC权威认证
80位
美国双语导师
10年+
名校申请经验
8600+
名校名企录取
微信客服
wholerenguru3 (厚仁学术哥)










