8. 自动化机器学习 AutoML

8.1 AutoML 的基本概念 *

自动化调优方法
- 网格搜索：配置参数空间层次，配置参数类型（类别 / 整形 / 连续），取值范围（领域知识 / 直觉）
- 随机搜索：覆盖更大搜索空间，可以自适应资源分配
- 贝叶斯优化：根据后验分布 $p(f|\lambda)$ 选择当前信息下最优，顺序优化
高斯过程回归 => 目标函数后验分布
- 高斯采样过程： $p(f(\lambda_{1:m}'))\sim Normal(\mu_0(\lambda_{1:m}'),\Sigma_0(\lambda_{1:m}'))$
- 取值 后验概率： $p(f|f_{1:n})=\frac{p(f,f_{1:n})}{p(f_{1:n})}\sim Normal(\mu_n(\lambda),\sigma_n^2(\lambda))$
- 定义全空间 $\mu, \Sigma$ -> 采样 $\lambda$ -> 后验依然是高斯分布 -> 加权平均，MCMC 计算
贝叶斯优化获得函数
- 获得函数：将后验分布转化为确定性函数 $a(\lambda)$
- 常用类型（探索 vs. 利用）
  - 期望提升：期望相同的条件下，方差越大，取值越大
  - 上限置信界、知识梯度

NAS 搜索范围：拓扑结构、卷积核大小 / 种类、时序模块种类、池化类型
工作流程：定义特定搜索空间，特定搜索策略，找到网络架构 A 并评估，迭代
研究方向
- 搜索空间：链式结构、基于元胞 / 块
- 搜索策略：随机搜索 / 贝叶斯优化、演化算法、强化学习算法、基于梯度的优化算法
- 评估策略：减少计算量
一次架构搜索
- 基本原理：所有可能的架构，视为一个超级图的子图，训练 超级架构 可以完成所有 子架构 的评估
- 优势：所有架构分享超级架构的权重，节约 NAS 时间
- 劣势：不容易构建，强限制缩小了搜索空间，错过最优解
可微架构搜索
- 使用 Softmax 函数，将离散的搜索空间，松弛为连续的搜索空间
- 将元胞定义为一个由 N 个节点组成的 DAG，只搜索元胞的架构

Last updated 3 years ago

8.2 模型和超参数自动化调优 ****

自动化调优方法

高斯过程回归 => 目标函数后验分布

高斯采样过程： $p(f(\lambda_{1:m}'))\sim Normal(\mu_0(\lambda_{1:m}'),\Sigma_0(\lambda_{1:m}'))$
取值 后验概率： $p(f|f_{1:n})=\frac{p(f,f_{1:n})}{p(f_{1:n})}\sim Normal(\mu_n(\lambda),\sigma_n^2(\lambda))$
定义全空间 $\mu, \Sigma$ -> 采样 $\lambda$ -> 后验依然是高斯分布 -> 加权平均，MCMC 计算

贝叶斯优化获得函数

8.3 神经网络架构搜索 ****

NAS 搜索范围：拓扑结构、卷积核大小 / 种类、时序模块种类、池化类型

工作流程：定义特定搜索空间，特定搜索策略，找到网络架构 A 并评估，迭代

研究方向

一次架构搜索

可微架构搜索