网站开发就业前景怎么样,湖北强涛建设工程有限公司网站,常见的网站建设程序有哪些,WORDPRESS菜单位置添加搜索框从全连接层到卷积 我们之前讨论的多层感知机十分适合处理表格数据#xff0c;其中行对应样本#xff0c;列对应特征。 对于表格数据#xff0c;我们寻找的模式可能涉及特征之间的交互#xff0c;但是我们不能预先假设任何与特征交互相关的先验结构。 此时#xff0c;多层感…从全连接层到卷积 我们之前讨论的多层感知机十分适合处理表格数据其中行对应样本列对应特征。 对于表格数据我们寻找的模式可能涉及特征之间的交互但是我们不能预先假设任何与特征交互相关的先验结构。 此时多层感知机可能是最好的选择然而对于高维感知数据这种缺少结构的网络可能会变得不实用。
例如在之前猫狗分类的例子中假设我们有一个足够充分的照片数据集数据集中是拥有标注的照片每张照片具有百万级像素这意味着网络的每次输入都有一百万个维度。 即使将隐藏层维度降低到1000这个全连接层也将有\(10^6 \times 10^3 10^9\)个参数。 想要训练这个模型将不可实现因为需要有大量的GPU、分布式优化训练的经验和超乎常人的耐心。
有些读者可能会反对这个观点认为要求百万像素的分辨率可能不是必要的。 然而即使分辨率减小为十万像素使用1000个隐藏单元的隐藏层也可能不足以学习到良好的图像特征在真实的系统中我们仍然需要数十亿个参数。 此外拟合如此多的参数还需要收集大量的数据。 然而如今人类和机器都能很好地区分猫和狗这是因为图像中本就拥有丰富的结构而这些结构可以被人类和机器学习模型使用。 卷积神经网络convolutional neural networksCNN是机器学习利用自然图像中一些已知结构的创造性方法。
不变性
想象一下假设我们想从一张图片中找到某个物体。 合理的假设是无论哪种方法找到这个物体都应该和物体的位置无关。 理想情况下我们的系统应该能够利用常识猪通常不在天上飞飞机通常不在水里游泳。 但是如果一只猪出现在图片顶部我们还是应该认出它。 我们可以从儿童游戏”沃尔多在哪里”。下图中得到灵感 在这个游戏中包含了许多充斥着活动的混乱场景而沃尔多通常潜伏在一些不太可能的位置读者的目标就是找出他。 尽管沃尔多的装扮很有特点但是在眼花缭乱的场景中找到他也如大海捞针。 然而沃尔多的样子并不取决于他潜藏的地方因此我们可以使用一个“沃尔多检测器”扫描图像。 该检测器将图像分割成多个区域并为每个区域包含沃尔多的可能性打分。 卷积神经网络正是将空间不变性spatial invariance的这一概念系统化从而基于这个模型使用较少的参数来学习有用的表示。 现在我们将上述想法总结一下从而帮助我们设计适合于计算机视觉的神经网络架构。 平移不变性translation invariance不管检测对象出现在图像中的哪个位置神经网络的前面几层应该对相同的图像区域具有相似的反应即为“平移不变性”。 局部性locality神经网络的前面几层应该只探索输入图像中的局部区域而不过度在意图像中相隔较远区域的关系这就是“局部性”原则。最终可以聚合这些局部特征以在整个图像级别进行预测。
让我们看看这些原则是如何转化为数学表示的。
