Curriculum Learning

由于最近参加了腾讯开悟的ai比赛，学习过程中接触了课程学习（CL）这个概念，故在此记录一下。

课程学习时一种训练策略，通过模仿人的学习过程，先让模型从容易的样本开始学习，然后逐渐进阶到复杂的样本和知识。

在比赛中，我们可以通过设立三个阶段来让智能体逐步学习策略，比如：第一阶段——让智能体学会走到终点，第二阶段——让智能体学会捡宝箱并走到终点，第三阶段——让智能体必须捡完所有的宝箱并在规定时间走到终点。

同时这个过程中我们也可以通过修改环境设置来进行不同的训练。

有效性分析：

1. 模型优化角度

CL可以首先优化比较平滑的问题，然后逐渐优化到不太平滑的问题。

从一个比较平滑的目标开始，很容易找到全局最小值，并在整个训练过程中跟踪局部最小值。另外，从更容易的目标中学习到的局部最小值具有更好的泛化能力，更有可能近似于全局最小值。

2. 数据分布角度

训练和测试分布之间存在着噪声或错误标注的训练数据引起的误差。

CL本质上是将目标分布下的预期风险上界最小化，这个上界表明，我们可以通过CL的核心思想来处理将 Ptarget(x) 上的预期风险最小化的任务：根据课程设置逐步抽取相对容易的样本，并将这些样本的经验风险最小化。

(16 封私信 / 42 条消息) 一篇综述带你全面了解课程学习(Curriculum Learning) - 知乎
2. Attention机制（注意力机制）
注意力机制的核心思想源于对人类视觉注意力的模拟，即在面对复杂信息时，人脑能够有选择性地聚焦于最关键的部分，而忽略不相关的信息。