深度学习有哪些加快收敛的tricks 深度学习调参有哪些技巧

深度学习有哪些加快收敛的tricks

深度学习，按个人的理解主要就是多层神经网络。而多层神经网络目前效果比较好的是卷积神经网络，目前在图像和音频信号上效果比较好，而在自然语言处理上效果没有显示出来。

深度学习从统计学的角度来说,就是在预测数据的分布，从数据中学得一个模型然后再通过这个模型去预测新的数据，这一点就要求测试数据和训练数据必须是同分布。

深度学习，它是在一定的学习量的积累基础之上的质的飞越，就是学习能力的质变和新实现。度学习的前提在于大数据技术的成熟和支撑。同时，深度学习是一种经验的连接和运用。它是人类的经验和智慧在机器中的再生和活化。

深度学习调参有哪些技巧

通过将神经网络隐藏层的激活神经元以矩阵的形式可视化出来，能够让我们看到一些有趣的insights。在[8]的头部，嵌入了一个web-based的CNN网络的demo，可以看到每个layer activation的可视化效果。在[14]里为几种不同的数据集提供了CNN各个layer activation的可视化效果示例，在里头能够看到CNN模型在Mnist/CIFAR-10这几组数据集上，不同layer activation的图形化效果。

如何正确理解深度学习的概念

深度学习是机器学习领域中对模式（声音、图像等等）进行建模的一种方法，它也是一种基于统计的概率模型。在对各种模式进行建模之后，便可以对各种模式进行识别了，例如待建模的模式是声音的话，那么这种识别便可以理解为语音识别。而类比来理解，如果说将机器学习算法类比为排序算法，那么深度学习算法便是众多排序算法当中的一种（例如冒泡排序），这种算法在某些应用场景中，会具有一定的优势。

AI，机器学习和深度学习之间的区别是什么

1. 深度学习与AI。本质上来讲，人工智能相比深度学习是更宽泛的概念。人工智能现阶段分为弱人工智能和强人工智能，实际上当下科技能实现的所谓“人工智能”都是弱AI，奥创那种才是强AI（甚至是boss级的）。而深度学习，是AI中的一种技术或思想，曾被MIT技术评论列为2013年十大突破性技术（Deep Learning居首）。或者换句话说，深度学习这种技术（我更喜欢称其为一种思想，即end-to-end）说不定就是实现未来强AI的突破口。
2. 2. 深度学习与ML。DL与ML两者其实有着某种微妙的关系。在DL还没有火起来的时候，它是以ML中的神经网略学习算法存在的，随着计算资源和big data的兴起，神经网络摇身一变成了如今的DL。学界对DL一般有两种看法，一种是将其视作feature extractor，仅仅用起提取powerful feature；而另一种则希望将其发展成一个新的学习分支，也就是我上面说的end-to-end的“深度学习的思想”。