AI 项目训练集和测试集怎么分?先避免数据泄漏

wholerenguru3  (厚仁学术哥)

微信客服
wholerenguru3 (厚仁学术哥)

训练机器学习模型时,通常需要把可用数据划分为训练、验证和测试用途:用训练数据学习模型,用验证数据比较或调整方案,再用保留的测试数据评估最终方案。如果测试数据的信息提前进入训练或模型选择,结果可能显得比面对新数据时更好。

具体划分方式取决于数据、任务和样本量;时间序列、重复用户或同一对象的多条记录,可能需要按时间或对象分组,而不能机械地随机切分。

用一个假设项目理解数据泄漏

假设学生用公开许可的数据预测某类产品反馈。先划分训练和测试,再用训练集计算填补缺失值所需的统计量,之后将同样的处理应用到测试集。如果先用全部数据计算均值再划分,测试集信息就可能影响训练流程。

scikit-learn 的常见问题文档提醒,应在需要学习参数的预处理前划分数据,并避免在测试集上执行 fit。这是一种常见泄漏,实际项目还需要检查时间、用户和标签等其他信息来源。

训练、验证和测试各做什么?

数据用途 主要作用 常见问题
训练 学习模型参数及训练过程需要的处理规则 混入未来或测试信息
验证 比较方案、调整模型或参数 反复优化后对验证集过度适配
测试 最后估计选定方案在保留数据上的表现 用测试结果反复选模型,失去独立评估意义

例如,假设有 100 条相互独立、采集方式一致的数据,任务也不要求按时间或用户分组,可以先保留 20 条作最终测试,再从其余 80 条中留出 20 条作验证、用 60 条训练。这只是帮助理解步骤的示例比例,不是通用标准;模型定下来之前不要根据测试集结果反复挑选方案。若数据来自重复用户或有时间顺序,应按实际评估目标先考虑分组或时间划分。

数据较少时,可以研究交叉验证等方法;条件允许时保留独立测试集或使用外部数据验证。如果确实无法另留测试集,可考虑嵌套交叉验证:用内层选择方案、外层估计该选择过程的表现,按任务正确分组并报告样本量及结果波动。它不能创造独立外部数据,也不能消除小样本的所有不确定性。

例如同一人的多次记录同时出现在训练集和测试集时,模型可能记住与该人有关的线索。若目标是评估对新用户的表现,应考虑以用户为单位分组,再按任务检查划分;若目标是预测未来,还要检查训练数据是否先于测试时期。划分原则应与实际使用场景一致。

假设同一个求职者有两版简历,第一版进入训练集、第二版进入测试集,即使两份文本不完全相同,也可能让模型借助同一个人的背景信息取得偏乐观的结果。若要测试对新求职者的表现,可以先按匿名用户标识分组,再划分数据,并检查同组是否跨集合;标识和原始简历的保存、处理及公开仍须遵守授权与隐私要求。

项目汇报怎样写才可信?

说明数据来源与许可、划分方式、个人负责的步骤、评价指标和样本限制。测试样本很少时就写清范围;没有经过真实业务验证,不能声称模型已经提升企业业绩。使用现成模型或代码,也要如实标注自己完成了哪些工作。

如果你希望在实践中学习数据处理与模型评估,欢迎了解我们的科研与实践项目。例如,在我们对接的合作企业中,美国AI公司的机器学习岗位涉及数据清洗、标注、模型评估和误差分析;企业培训样例中的数据分析可以使用模拟或脱敏数据。参加前可向我们确认当期任务、数据使用权限和反馈方式,并非每位学生都会接触生产数据或完成相同工作。

美国招生协会
AIRC权威认证

80位
美国双语导师

10年+
名校申请经验

8600+
名校名企录取

wholerenguru3  (厚仁学术哥)

微信客服
wholerenguru3 (厚仁学术哥)


Rate me!
首席专家顾问 专家专栏
厚仁教育学术紧急应对中心首席专家顾问、资深文书老师。拥有匹兹堡大学Professional Writing Certificate专业写作认证。担任美国官方学术委员会AIS(Academic Integrity Seminar)常任导师,高难度申诉和紧急申请成功经验无数。 经手案例:俄亥俄州立大学、哥伦比亚大学、威斯康辛麦迪逊大学、南加州大学、伊利诺伊香槟分校、迈阿密大学、宾州州立大学、多伦多大学、女王大学、阿尔伯塔大学以及UC大学系列名校等。
Rate me!
联系我们  »
                           

美国校园资讯

学业优化
实现梦想

扫码关注 >

厚仁学员系统

实时查看服务进度
阅读文档报告

厚仁学员系统

扫码关注 >

联系我们

微信24小时在线客服
美国中国8大办公室

扫码关注 >

Scroll to Top