一种两阶段可分离深度学习框架的实用盲水印

传统OET深度网络体系

这样一个体系由三个组件构成：

• 编码器
  • 对输入图像添加水印
• 噪声层
  • 模拟水印图像遭受的噪声攻击
• 解码器
  • 从收到噪声攻击的图像中恢复水印

存在的问题

1. OET中，编码器和解码器必须同时与噪声层共同训练，这意味着噪声必须支持反向传播，但自然的噪声往往不具备这样的能力。
2. 每当引入一个新类型的噪声，编码器和解码器的参数必须重新调整，算力要求高。
3. 对超参数十分敏感，对于新型噪声，学习得到的超参数可能不能很好的应对。所以在损失函数的指导下，训练过程中会往降低水印质量的方向收敛。

关于超参数:

机器学习需要人工调整参数（如权重和偏移），让输出的结果尽可能靠近正确结果。而深度学习是计算机自己调整参数，直到达到一个最好的学习效果。但在学习开始之前，需要设置一些参数，来定义关于模型的复杂性或学习能力，被称为超参数。超参数是不能通过训练模型得到的。

TSDL（可分离式深度学习）

我们提出了一种可分离式深度学习(TSDL)水印框架。存在两个工作阶段。

1. 第一阶段，采用多层特征编码策略，在不参考任何噪声的情况下冗余地将水印消息自动编码到图像中，我们称之为无噪声端到端对手训练（FEAT）
2. 第二阶段，名为噪声感知解码器（ADOT）训练。不断修改解码器的参数，使其能在噪声攻击下准确提取水印。

与OET相比，我们的编码器能获得更好的编码图像质量。由于第一阶段并没有引入噪声层，所以我们的编码器必须做到在看不到任何噪声的情况下学会对抗噪声。

为了实现这一目标，我们提出了一种冗余的多层次特征编码网络（RMFEN）。我们还设置了一个强度因子，灵活地在鲁棒性和不可感知性之间权衡。

模型架构

1. 将原图像Ico和信息M（-1和1的序列）输入到编码器中，输出水印图像Ien
2. 对Ien进行噪声攻击，输出遭受攻击后的图像Ino
3. 用解码器恢复Ien或Ino中的水印信息M’
4. 对手A比较Ico和Ien，评估所给图像是编码图像的概率

编码器E

消息M是一个一维向量，我们将其复制扩展为三维张量{−1, 1}^(L∗H∗W)。

L是消息长度，H、W是图像长宽。

关于张量：

https://www.jianshu.com/p/f34457c222c5

先将彩色RGB图像转化为YUV图像（其实指的是 YCbCr），转化过程如下：

Y= 0.299*R+0.587*G+0.114*B
U=-0.147*R-0.289*G+0.463*B
V= 0.615*R-0.515*G-0.100*B

编码器使用64个1∗1卷积核放大覆盖图像的颜色通道（由3维放大为64维）。然后使用3∗3核大小的5个卷积层进行特征提取和水印嵌入。在嵌入水印的过程中，我们将重复的水印串接到每个卷积层的输入，引入冗余。

注：1x1卷积一般只改变输出通道数（channels），而不改变输出的宽度和高度

将上述三维张量连接到每一层的输出特征上R^(64*H*W)，然后新的张量R^（（64+L）*H*W）被输入到下一层。最后，我们使用1∗1卷积层将多通道图片转换为3通道图片。

用M生成Im的水印掩码。Ien=Ico+S*Im。其中S是强度因子。

损失函数（目标找到参数θE使得Ico和Ien差距最小）：

MSE：均方误差。

解码器D

对于水印图片，解码器输出的M’的分布应该更接近（1，-1）。而对于没有水印的图片，输出的分布更接近0。所以我们用（-1，1）代替（0，1）。

对比：

• M为0，0，1，1，M’为0，0，0，0。那么有均方误差为2
• M为-1，-1，1，1，M’为0，0，0，0。那么均方误差为4

这样损失函数更能比较解码器的性能：

对手A

在对手网络对抗中，编码器不断更新θE，来试图欺骗对手，使得对手无法判断Ico和Ien。对于A，则不断更新θA来对Ico和Ien进行二分类。

两阶段可分离式训练

阶段一：无噪声端到端对手训练（FEAT），目的是最小化：

阶段二：噪声感知解码器（ADOT）训练。目标是最小化：

第一阶段的训练对第二阶段的训练能起到加速作用。

传统噪声攻击

1. Resize噪声，将图片缩小为原先的p倍再放大回原先尺寸
2. 椒盐噪声(salt-and-pepper noise)是指两种噪声，一种是盐噪声（salt noise），另一种是胡椒噪声（pepper noise）。盐=白色(0)，椒=黑色(255)。前者是高灰度噪声，后者属于低灰度噪声。一般两种噪声同时出现，呈现在图像上就是黑白杂点。
3. 高斯噪声，指噪声的概率密度函数服从高斯分布
4. JPEG压缩

黑盒噪声攻击

日常生活中常见的图像处理软件引起的噪声攻击，我们称之为黑盒噪声。这种图像处理算法封装在软件中，总是集成了各种改变整个图像像素的传统噪声，

指定训练和组合训练

指定训练：在单个噪声下进行ADOT训练

组合训练：在各种噪声下进行ADOT训练

评估

Pretrained 表示第一阶段无噪声下，解码器的准确率

Specified 表示指定噪声训练下，指定解码器的准确率

Combined 表示在该噪声下，组合解码器的准确率