本文基于2014年的经典论文：Generative Adversarial Networks

论文下载地址：https://arxiv.org/abs/1406.2661

字面理解

• Generative Adversarial Nets

生成对抗网络通过对抗过程来评估一个生成模型。

GAN同时训练两个模型，一个产生模型G，一个判别模型D。

产生式模型G负责模拟数据的真实分布，判别式模型负责判断数据是来自训练数据还是生成数据。

G的目标就是要使D犯错误，判别不出真伪；D的目的就是要尽可能区分出真伪来，这样一来二去，两者形成了对抗过程，最终共同进步。最终的目的是得到产生模型G，判别模型D只是训练过程的副产品。

axis

1
2
3
4
5
6
7
8
9
10

// The axis to interpret as "channels" when performing convolution.
// Preceding dimensions are treated as independent inputs;
// succeeding dimensions are treated as "spatial".
// With (N, C, H, W) inputs, and axis == 1 (the default), we perform
// N independent 2D convolutions, sliding C-channel (or (C/g)-channels, for
// groups g>1) filters across the spatial axes (H, W) of the input.
// With (N, C, D, H, W) inputs, and axis == 1, we perform
// N independent 3D convolutions, sliding (C/g)-channels
// filters across the spatial axes (D, H, W) of the input.
optional int32 axis = 16 [default = 1];

NCCL

NVIDIA Collective Communications Library (NCCL）

The NVIDIA Collective Communications Library (NCCL) implements multi-GPU and multi-node collective communication primitives that are performance…

作用

多GPU交互在神经网络是常见的，所以在安装caffe之前需要安装NCCL，来保证多GPU之间的相互交流。
多GPU，这里指的是2个及2个以上英伟达显卡，而不是笔记本中的集显和独显。

参考

服务器多GPU——caffe配置

发展概况

• Theano在很长时间占据主流，后来不再流行
• 2014年的发展势头强劲，不过最近几个月被tensorflow取代
• Torch和PyTorch发展缓慢

发展趋势

• caffe和theano会继续下降。
• Tensorflow的发展速度会因为pytorch的竞争而放缓。

下图是在2017年3月提交的论文中提到深度学习框架的情况:

参考

28303篇论文体现机器学习领域的发展变化

过去一年流行起来的核心技术

• ResNets
• GANs
• Adam
• NormBatch／批规范化

研究方向最火的关键词

• Style Transfer／风格转换
• 深度强化学习
• 神经网络机器翻译nmt
• 图像生成

整体架构

• 全卷积网络FCN
• LSTMs/GRUs
• Siamese网络
• 编码-解码器网络
• fractal
• 贝叶斯非参数统计

Matlab 打开无窗口命令

matlab -nodisplay

运行脚本

run test.m

思想

将卷积运算转换为矩阵运算GMEE，利用GPU对于矩阵乘运算的高效性。

几个概念

• 虚函数：impure virtual
• 纯虚函数：pure virtual
• 抽象类：包含纯虚函数的类称为“抽象类”；抽象类不能使用new出对象，只有实现了这个纯虚函数的子类才能new出对象。

INSTANTIATE_CLASS

创建仓库

仓库名必须是username.github.io