MLP进行MNIST分类调参技巧总结

《模式识别》课程实验考试，要求自主选择分类方法，使用20000个手写数字样本训练区分10个类别的分类器，并预测20000个测试样本的标签。与一般的MNIST手写数字识别不同，本实验给定的数据是老师经过PCA降维后的数据，五组数据特征维数分别为81-85。因此基本断绝了直接使用CNN的念想，实验中主要使用MLP，并使用了一些调参（炼丹）技巧，最终准确率达到98.03%，在此总结记录！主要方法：对数据

子耶

4201人浏览 · 2020-12-13 18:14:04

子耶 · 2020-12-13 18:14:04 发布

《模式识别》课程实验考试，要求自主选择分类方法，使用20000个手写数字样本训练区分10个类别的分类器，并预测20000个测试样本的标签。与一般的MNIST手写数字识别不同，本实验给定的数据是老师经过PCA降维后的数据，五组数据特征维数分别为81-85。

因此基本断绝了直接使用CNN的念想，实验中主要使用MLP，并使用了一些调参（炼丹）技巧，最终准确率达到98.03%，在此总结记录！

主要方法：对数据集进行4:1的训练集+验证集和测试集拆分，使用五层MLP神经网络，在训练集+验证集数据上进行5折交叉验证，最终5个模型投票给出测试集上的结果。

固定随机种子

为了保证调参过程中的控制变量，避免数据拆分不同时的引入的随机影响，在最开始需要固定随机种子，包括 random/numpy/pytorch ，代码如下

seed = 99
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed)
random.seed(seed)

MLP神经网络调参

参数初始化
- Uniform 均匀分布初始化
```
w = np.random.uniform(low=-scale, high=scale, size=[n_in, n_out])
```
- Xavier 初始化，适用于 tanh sigmoid 激活函数
数据预处理
- 训练集和测试集统一使用训练集的方差、均值进行归一化
```
X -= np.mean(X, axis=0)
X /= np.std(X, axis=0)
```

优化器

SGD 效果好于 Adam
设置 momentum 和 weight_decay，后者对于过拟合问题效果不是很明显

如果N个epoch内，正确率不变则降低学习率

optimizer = torch.optim.SGD(model.parameters(),
                            lr=0.1,
                            momentum=0.75,
                            weight_decay=3e-4)

def adjust_learning_rate(opt, num_adjust):
  """Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
  lr = 0.1 * (0.1**num_adjust)
  for param_group in opt.param_groups:
    param_group['lr'] = lr

dropout，0.5 上下浮动设置
激活函数，使用 ReLU 效果好于 Sigmoid 和 Tanh
Batch Normalization，效果有明显提升
MLP网络层最佳顺序 Linear -> Batch Norm -> Activation -> Droput -> Linear

nn.Sequential(nn.Linear(84, 1024), nn.BatchNorm1d(1024),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(1024, 512), nn.BatchNorm1d(512),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(512, 256), nn.BatchNorm1d(256),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(256, 128), nn.BatchNorm1d(128),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(128, 10), nn.LogSoftmax(dim=1))

数据集划分及K折交叉验证

主要步骤

使用 sklearn train_test_split 进行基本数据集切分，训练集+验证集:测试集大约4:1
使用 sklearn KFold 进行5折交叉验证，分别保存开发集上的最优模型
最后使用得到的5个模型在测试集上进行预测投票给出最终标签

注意点

调参过程中测试集不应太小，否则偏差较大；过程中可以多划分一些进行调参，最终模型可以不用测试集，用所有数据进行交叉验证
关于交叉验证中 K 的选择，一般K=5或10，极端情况下可使用留一法（即每次使用一个样本进行验证）；根据先前的相关研究，取值情况可参考公式（其中n是样本数，d是特征维数）
$\approx \log(n) \\ n/K > 3d$

本次实验中取K=10时效果不佳，最终取K等于5

log(20000) = 5

20000/5 = 4000 > 3*84