8. 自动化机器学习 AutoML

8.1 AutoML 的基本概念 *

• 主要目标：数据集 / 任务 间泛化，不需要人类干预，计算效率

• 研究方向：特征提取、模型选择、参数调优、NN 结构搜索、模型评估、元学习、迁移学习

8.2 模型和超参数自动化调优 ****

• 自动化调优方法

  • 网格搜索：配置参数空间层次，配置参数类型（类别 / 整形 / 连续），取值范围（领域知识 / 直觉）

  • 随机搜索：覆盖更大搜索空间，可以 自适应资源分配

  • 贝叶斯优化：根据后验分布 $p(f|\lambda)$ 选择当前信息下最优，顺序优化

• 高斯过程回归 => 目标函数后验分布

  • 高斯采样过程：$p(f(\lambda_{1:m}'))\sim Normal(\mu_0(\lambda_{1:m}'),\Sigma_0(\lambda_{1:m}'))$

  • 取值 后验概率：$p(f|f_{1:n})=\frac{p(f,f_{1:n})}{p(f_{1:n})}\sim Normal(\mu_n(\lambda),\sigma_n^2(\lambda))$

  • 定义全空间 $\mu, \Sigma$ -> 采样 $\lambda$ -> 后验依然是高斯分布 -> 加权平均，MCMC 计算

• 贝叶斯优化 获得函数

  • 获得函数：将后验分布转化为确定性函数 $a(\lambda)$

  • 常用类型（探索 vs. 利用）

    • 期望提升：期望相同的条件下，方差越大，取值越大

    • 上限置信界、知识梯度

8.3 神经网络架构搜索 ****

• NAS 搜索范围：拓扑结构、卷积核大小 / 种类、时序模块种类、池化类型

• 工作流程：定义特定搜索空间，特定搜索策略，找到网络架构 A 并评估，迭代

• 研究方向

  • 搜索空间：链式结构、基于元胞 / 块

  • 搜索策略：随机搜索 / 贝叶斯优化、演化算法、强化学习算法、基于梯度的优化算法

  • 评估策略：减少计算量

• 一次架构搜索

  • 基本原理：所有可能的架构，视为一个超级图的子图，训练 超级架构 可以完成所有 子架构 的评估

  • 优势：所有架构分享超级架构的权重，节约 NAS 时间

  • 劣势：不容易构建，强限制缩小了搜索空间，错过最优解

• 可微架构搜索

  • 使用 Softmax 函数，将离散的搜索空间，松弛为连续的搜索空间

  • 将 元胞 定义为一个由 N 个节点组成的 DAG，只搜索元胞的架构