作者：Naoki Shibuya

编译：ronghuaiyang

导读

如果你听说过转置卷积并对它的实际含义感到困惑，这篇文章就是为你写的。

上采样的需求

当我们使用神经网络来生成图像的时候，通常需要从低分辨率的图像上采样成高分辨率的图像。

有很多的方法来实现上采样的操作：

• 最近邻插值
• 双线性插值
• 双三次插值

这些方法都涉及插值，需要在确定网络结构时进行选择。它就像一个手工的特征工程，网络对此一无所知。

为什么用转置卷积？

如果我们想要我们的网络学习到如何最优化的进行上采样，我们可以使用转置卷积。它没有使用预先定义好的插值方法，具有可学习的参数。

理解转置卷积的概念非常有用，因为在一些重要的论文和工程都都会用到，比如：

• 在DCGAN中，生成器使用随机采样的值来生成全尺寸的图像。
• 在语义分割中，在编码阶段使用卷积层来抽取特征，然后在解码阶段，恢复原始的图像尺寸，对原始图像的每一个像素进行分类。

转置卷积也称为：

• 分数步长的卷积
• 反卷积

在文中，我们只会使用反卷积，但是你需要在其他的文章中注意一下其他的名字。

卷积操作

我们用一个简单的例子来解释一下卷积是怎么工作的。假设我们有一个4×4的矩阵，需要在上面使用一个3×3的卷积核进行卷积操作，不做padding，步长为1。如下面所示，输出为2×2的矩阵。

卷积操作

卷积运算计算输入矩阵和核矩阵之间的元素乘积的和。因为我们没有padding，步长为1，我们只能做4次。因此，输出矩阵是2×2的 。

对应元素相乘再求和

这种卷积运算的一个重要特点是输入值和输出值之间存在位置连通性。

例如，输入矩阵的左上角值影响输出矩阵的左上角值。

更具体地说，3×3卷积核用于连接输入矩阵中的9个值和输出矩阵中的1个值。卷积运算形成多对一关系。让我们记住这一点，因为我们以后需要它。

反过来

现在，假设我们想要反过来操作。我们想把一个矩阵中的1个值和另一个矩阵中的9个值联系起来。这是一对多的关系。这就像是卷积运算的反运算，它是转置卷积的核心思想。

例如，我们上采样一个2×2矩阵到一个4×4矩阵。这个操作维护了一个1到9的关系。

卷积运算反过来

但是我们怎么来进行这样的操作呢？

为了讨论如何进行这个操作，我们需要定义卷积矩阵和转置卷积矩阵。

卷积矩阵

我们可以用矩阵来表示卷积运算。它只是一个重新排列的卷积核矩阵，这样我们就可以用矩阵乘法来进行卷积运算了。

我们将3×3卷积核重新排列为4×16的矩阵如下：

这就是卷积矩阵。每一行定义一个卷积运算。如果你看不懂上面的图的话，下面的图表可能会有所帮助。卷积矩阵的每一行只是一个重新排列的卷积核矩阵，在不同的地方用零来填充。

为了使用这个矩阵，我们把输入矩阵 (4×4)拉平成一个列向量 (16×1)。

拉平了的输入矩阵

我们可以将4×16卷积矩阵与16×1输入矩阵(16维列向量)相乘。

输出的4×1矩阵可以被reshape成2×2的矩阵，得到与之前相同的结果。

总之，卷积矩阵就是对卷积核权值重新排列的矩阵，卷积运算可以通过使用卷积矩阵表示。

那又怎样呢？

重点是使用卷积矩阵，你可以从16 (4×4)到4 (2×2)因为卷积矩阵是4×16。然后，如果你有一个16×4的矩阵，你可以从4 (2×2)到16 (4×4)。

是不是有点懵逼？

请继续读下去。

转置卷积矩阵

我们想要从4 (2×2)到16 (4×4)，所以，我们使用一个16×4的矩阵。但是，还有一样，我们要得到一个1到9的关系。

假设我们将卷积矩阵C (4×16)转置到C.T (16×4)。我们可以对C用一个列向量(4×1)使用矩阵乘法，生成一个输出矩阵(16×1)。转置矩阵将1个值与输出中的9个值连接起来。

使用矩阵乘法来做卷积

将输出reshape成4×4。

我们刚刚将一个较小的矩阵(2×2)上采样到一个较大的矩阵(4×4)。由于转置卷积重新排列权值的方式，它保持了1到9的关系。

注意：矩阵中的实际权值不一定来自原始卷积矩阵。重要的是权重的排布是由卷积矩阵的转置得来的。

总结

转置卷积运算与普通卷积形成相同的连通性，但方向是反向的。

我们可以用它来进行上采样。此外，转置卷积的权值是可以学习的。所以我们不需要一个预定义的插值方法。

尽管它被称为转置卷积，但这并不意味着我们取某个已有的卷积矩阵并使用转置后的版本。重点是，与标准卷积矩阵(一对多关联而不是多对一关联)相比，输入和输出之间的关联是以反向的方式处理的。

因此，转置卷积不是卷积。但是我们可以用卷积来模拟转置卷积。我们通过在输入矩阵的值之间加零来对输入进行上采样，这样直接卷积就会产生与转置卷积相同的效果。你可能会发现一些文章用这种方式解释了转置卷积。但是，由于需要在卷积之前对输入进行上采样，所以效率较低。

注意事项：转置卷积是生成图像中棋盘伪影的原因。本文推荐上采样操作(即插值的方法)，然后进行卷积运算来减少这些问题。如果你的主要目标是生成没有这些伪影的图像，那么阅读本文以了解更多信息是值得的。

英文原文：https://towardsdatascience.com/up-sampling-with-transposed-convolution-9ae4f2df52d0