25篇经典机器学习论文的分类

前言

放假当咸鱼的时候学校要求阅读论文文献，老板找了25篇比较经典的模式识别与机器学习相关的论文要求阅读，作为对人工智能一无所知且前半生学术生涯全贡献给通信的半路出家和尚，内心是茫然无措的，如何阅读论文也是两眼一蒙黑。

ddl快到了，再不读就没时间了，冷静下来决定先将这25篇论文分个类，皇上挑妃子都要分类，论文当然分一下才好看嘛！

分类

我们其实可以发现机器学习无非从两种角度出发：一个是从问题出发，寻找合适的算法；一种是从算法出发，看能解决什么样的问题。
因此初略读了一下结合题目将论文分为两大类，一类是根据不同应用分类，一类是根据不同算法模型或者方法分类
（其实两者肯定存在交集，比如分到第二大类的某一种算法在第一大类某个应用中使用到，这里就不细分啦）

领域

• Speech Recognition Evolution 语音识别
  没想到找的25篇论文里面竟然没有这个领域的，以后再扩充吧……

• Object Detection 目标识别

  Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 580-587. （R-CNN）

  Girshick R . Fast R-CNN[J]. Computer Science, 2015.

  Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You Only Look Once: Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016.

• Image retrieval 图像检索

  Z. Lai, Y. Chen, J. Wu, W. W. Keung, and F. Shen, “Jointly sparse hashing for image retrieval,” IEEE Transactions on Image Processing, vol. 27, no. 12, pp. 6147–6158, 2018.

• Person Re-identification行人再辨识技术

  Wei-Shi Zheng, Shaogang Gong, Tao Xiang. Person re-identification by probabilistic relative distance comparison[C]// CVPR 2011. IEEE, 2011.

  Liao S, Hu Y, Zhu X, et al. Person re-identification by local maximal occurrence representation and metric learning[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 2197-2206.

• Image Caption 图像描述生成

  Liu X, Li H, Shao J, et al. Show, tell and discriminate: Image captioning by self-retrieval with partially labeled data[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 338-354.

  Yao T, Pan Y, Li Y, et al. Exploring visual relationship for image captioning[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 684-699.

• Image Super-Resolution 图像超分辨率重建（SRCNN）

  Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou Tang., ”Image Super-Resolution Using Deep Convolutional Networks, ” IEEE Transactions on Pattern Analysis and Machine Intelligence, Preprint, 2015.

  Super-Resolution Convolutional Neural Network：深度学习在图像超分辨率重建问题的开山之作SRCNN(Super-Resolution Convolutional Neural Network)。
  论文与代码

• Document Recognition 文档识别

  LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

• Face Recognition人脸识别

  Tran, L., Yin, X., & Liu, X. (2017). Disentangled representation learning gan for pose-invariant face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1415-1424). (DR-GAN)

• Auto-encoder 自动编码器
  （一种监督学习：实质是以一定规律自动生成随机变化）

  Pu, Y., Gan, Z., Henao, R., Yuan, X., Li, C., Stevens, A., & Carin, L. (2016). Variational autoencoder for deep learning of images, labels and captions. In Advances in neural information processing systems (pp. 2352-2360).

模型及算法？Moder&Method

这部分包含原算法介绍和基于原算法上的优化算法。

• Unsupervised Learning 无监督学习

  Goodfellow I,Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2014: 2672-2680.（GAN）

• Supervised Hashing 监督学习（监督哈希）

  Z. Zhang, Y. Chen, and V. Saligrama, “Efficient training of very deep neural networks for supervised hashing,” in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, 2016, pp. 1487–1495.

  （Supervised Learning监督学习）

• Sparse Coding 稀疏编码

  Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[C]//Advances in neural information processing systems. 2007: 801-808.

• Low-Rank Matrix Recovery 低秩矩阵恢复

  Fan J, Ding L, Chen Y, et al. Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery[J]. 2019.

  （解决以 Schatten 范数为目标函数的低秩矩阵恢复问题）

• Reducing Dimensionality 降维

  Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.

  （用于神经网络的降维）

• Nonconvex Stochastic Optimization 非凸随机优化

  Zheng S, Kwok J T. Follow the moving leader in deep learning[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 4110-4119.

  Kingma, D. and Ba, J. Adam: A method for stochastic optimization. In Proceedings of the International Conference for Learning Representations, 2015.

• BN optimization algorithm BN 优化算法

  Wu, Y., & He, K. (2018). Group normalization. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 3-19).

  Group Normalization（GN）是针对Batch Normalization（BN）批标准化在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch的数据，当batch size较小时（比如2、4这样），该batch数据的均值和方差的代表性较差，因此对最后的结果影响也较大。
  BN就是通过方法将该层特征值分布重新拉回标准正态分布，特征值将落在激活函数对于输入较为敏感的区间，输入的小变化可导致损失函数较大的变化，使得梯度变大，避免梯度消失，同时也可加快收敛。

• 反卷积神经网络

  M. D. Zeiler, D. Krishnan, Taylor, G. W., and R. Fergus, “Deconvolutional networks,” in Proc. IEEE Comput. Soc. Conf. Comput. Vision Pattern Recog., 2010, pp. 2528-2535.

最后

这两篇实在是太经典了，相信学习深度学习的小伙伴们肯定知道CNN（卷积神经网络）！
知道CNN就必须来看一下这两篇经典之作，我就不放在上面分类啦

• CNN经典算法之一： AlexNet

  Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

  （夺得2010年ILSVRC比赛的桂冠的经典算法：AlexNet！可以说是很经典的一个CNN框架了） 一定要给我学！

• CNN经典算法之二：GoogleNet

  Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

  GoogleNet：ILSVRC14比赛冠军

还有VGG、ResNet 等都给我学！

后续自我鼓励把论文看看吧，英语没学好阅读论文真的是太难了。

25篇论文合集已经打包好了（包含部分论文代码），有需要积分自取，赶着时间写出来所以比较粗糙，要是有什么不对欢迎小伙伴们指正呀！一起冲鸭！