一种无参考生成的图像鲁棒隐写方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112132737 A(43)申请公布日 2020.12.25

(21)申请号 202011085362.7(22)申请日 2020.10.12

(71)申请人 中国人民武装警察部队工程大学

地址 710086 陕西省西安市未央区武警路1

号(72)发明人 张敏情　李宗翰　刘佳　(74)专利代理机构 西安合创非凡知识产权代理

事务所(普通合伙) 61248

代理人 杨蕾(51)Int.Cl.

G06T 1/00(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书1页 说明书4页 附图4页

(54)发明名称

一种无参考生成的图像鲁棒隐写方法(57)摘要

本发明公开了一种无参考生成的图像鲁棒隐写方法，涉及深度学习技术领域，所述方法包括：以GAN模型为图像生成器，并对所述GAN模型进行预训练；建立秘密信息到噪声的映射；以秘密信息为输入，输出图像为隐写图像；图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息。本发明的方法可以在任意由噪声直接驱动生成图像的生成对抗网络的生成器的基础上，结合图像处理层和具有卷积神经网络结构的解码器即可使生成图像具有鲁棒性。

CN 112132737 ACN 112132737 A

权　利　要　求　书

1/1页

1.一种无参考生成的图像鲁棒隐写方法，其特征在于，包括：S1：秘密信息的隐藏S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；S12：建立秘密信息到噪声的映射；S13:以秘密信息为输入，输出图像为隐写图像;S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；

S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：

               （1）

其中，表示解码器损失，采用sigmoid交叉熵损失函数；

分别表示输入的秘

密信息和解码器还原出的信息。

2.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量 ，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化，与被复制成18份的中间向量w一起参与图像的样式混合。

3.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。

4.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述步骤S2中的干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡。

5.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述方法还包括对解码器进行训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。

6.根据权利要求5所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述方法还包括解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。

2

CN 112132737 A

说　明　书

一种无参考生成的图像鲁棒隐写方法

1/4页

技术领域

[0001]本发明涉及深度学习技术领域，具体涉及一种无参考生成的图像鲁棒隐写方法。背景技术

[0002]传统图像隐写算法可分为两类：空域隐写算法和频域隐写算法。空域隐写算法通过修改图像像素来嵌入秘密信息，如LSB替换和匹配算法；频域隐写算法通过修改主信号中某些指定的频域系数进行秘密信息的嵌入，如离散余弦变换（DCT）算法、离散傅里叶变换（DFT）算法、离散小波变换（DWT）算法等。但这些传统隐写算法缺少鲁棒性，在社交网络、无线通信等有损信道中传输时，轻微的干扰就会导致秘密信息无法正确提取。[0003]随着深度学习的发展，不少学者利用深度学习来实现鲁棒隐写，有人提出了HiDDeN模型，该模型分为四个部分：编码器E、解码器D、噪声层N和判别器A。编码器E输入为图像和秘密信息，输出为图像；解码器输入为图像，输出为秘密信息；判别器A负责判别编码器生成图像与输入图像的差距。HiDDeN模型在秘密信息嵌入量方面表现良好，且所提出的端到端隐写框架允许在原框架基础上给噪声层添加新的噪声，从而实现对新的噪声的鲁棒性，框架存在一定的可扩展性，但在隐写图像质量上存在不足。还有人在HiDDeN模型的基础上提出StegaStamp模型，在噪声层添加了透视变换、颜色变换、模糊等图像处理操作，模拟隐写图像经过打印、拍照得到新图像过程中存在的变化，解决了HiDDeN在经过物理传输后秘密信息无法解密的问题，是对HiDDeN在应用方面的改进。但StegaStamp模型生成的图像存在明显的灰色斑块，且随着消息嵌入量的增大，灰色斑块越明显。而且上述隐写方法均采用秘密信息联合原始图像生成隐写图像的形式，要求隐写图像和原始图像在内容上保持不变，在保证秘密信息提取准确率的前提下，必然会使图像质量下降。发明内容

[0004]为了解决上述问题，本发明提供一种无参考生成的图像鲁棒隐写方法，该方法的框架由GAN模型、解码器和图像处理层组成，GAN模型输入秘密信息，输出高清图像；图像处理层包含各种模拟的干扰和攻击，负责将GAN模型输出的图像进行处理并传递给解码器；解码器负责将处理过的图像还原成秘密信息，还可以通过解码损失来约束还原信息的准确率。

[0005]为了实现上述目的，本发明采用的技术方案为：一种无参考生成的图像鲁棒隐写方法，包括：

S1：秘密信息的隐藏S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；S12：建立秘密信息到噪声的映射；S13:以秘密信息为输入，输出图像为隐写图像;S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；

3

CN 112132737 A

说　明　书

2/4页

S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：

               （1）

其中，表示解码器损失，采用sigmoid交叉熵损失函数；

分别表示输入的

秘密信息和解码器还原出的信息。[0006]进一步地，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量 ，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化（AdaIn），与被复制成18份的中间向量w一起参与图像的样式混合。

[0007]更进一步地，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。[0008]更进一步地，所述步骤S2中的干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡。

[0009]更进一步地，所述方法还包括对解码器进行对抗训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。[0010]更进一步地，所述方法还包括解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。[0011]本发明的有益效果：

本发明可以在任意由噪声直接驱动生成图像的生成对抗网络的生成器的基础上，结合图像处理层和具有卷积神经网络结构的解码器即可使生成图像具有鲁棒性；且由于生成图像的过程不需要参考原始图像，使得生成图像不会发生因重构导致的失真，因而图像质量更高。

[0012]除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。附图说明

[0013]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。[0014]图1为本发明实施例的无参考生成的鲁棒隐写方法框架图；

图2为本发明实施例的StyleGAN模型的结构图；图3为本发明实施的解码器结构图；图4为本发明实施例的 StyleGAN生成图像；

图5为本发明实施例中添加各种干扰下解码准确率；

4

CN 112132737 A

说　明　书

3/4页

图6为本发明实施例的添加各种干扰下的秘密信息提取准确率。

具体实施方式

[0015]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0016]参考图1，一种无参考生成的图像鲁棒隐写方法，包括：

S1：秘密信息的隐藏S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；具体的，参考图2，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化（AdaIn），与被复制成18份的中间向量w一起参与图像的样式混合。

[0017]具体的，对StyleGAN模型预训练使用的数据集为www.seeprettyface.com提供的网红人脸数据集，共包含136724张图像，图像分辨率为256×256，由于StyleGAN采用渐进式增长结构生成图像，且在生成图像的分辨率为256×256时，图像便较为清晰，为缩短预训练时间，本发明设置StyleGAN模型的输出图像大小也为256×256。[0018]训练解码器时，需要预训练好的StyleGAN模型的生成器实时生成图像。虽然StyleGAN模型较大，用于实验的机器内存不足以达到要求，但StyleGAN生成器在本发明中的作用仅为建立噪声到图像的映射，首先用预训练好的StyleGAN生成器生成50000张图像，并将这些图像与其相应的噪声共同保存为解码器的训练集，再生成5000张图像作为测试集验证训练效果。[0019]S12：建立秘密信息到噪声的映射；

S13:以秘密信息为输入，输出图像为隐写图像;S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；

具体的，干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡等。[0020]S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：

               （1）

其中，表示解码器损失，采用sigmoid交叉熵损失函数；

分别表示输入的

秘密信息和解码器还原出的信息。

[0021]并通过解码器损失用来约束解码器输出的结果与输入的秘密信息之间的误差。[0022]参考图3，具体的，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码

5

CN 112132737 A

说　明　书

4/4页

器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。

[0023]本发明的方法还包括对解码器进行对抗训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。[0024]本申请实施例中，对抗训练过程是减小解码器损失的过程，解码器损失越小，还原的秘密信息越准确。

[0025]对通过本发明方法生成的隐写图像的质量进行观察，结果见图4，从主观上用人眼无法分辨真假。对于没有原始图片进行参考的情况下，生成图像质量可选用FID进行测量。取用5000张用于训练StyleGAN的网红人脸图像以及5000张StyleGAN生成的图像来测量生成图像质量，测得FID为25.096（使用网红人脸数据集中5000张图像与数据集中另外5000张图像进行测量，测得FID为7.052），表明生成图像的分布非常接近自然图像的分布，证明了NGRS框架在图像质量上的优势。

[0026]本实施例还对添加干扰后的隐写图像的鲁棒性进行了测试，鲁棒性实验选取训练集上的图像进行测试。对图像分别进行JPEG压缩、模糊、高斯噪声、颜色变换、遮挡并压缩等操作，使用解码器对上述加干扰的隐写图像进行解码并还原秘密信息，并计算解码准确率，结果见图5。其中，JPEG压缩的压缩系数分别为30、50、70、90；使用图像处理软件对图像进行模糊操作，模糊等级从1到4；高斯噪声的均值取0，方差分别取0.001、0.005、0.01和0.02；使用图像处理软件对图像进行颜色变换操作，对色调分别进行+10、+20、+30、+40操作；最后，将图像通过美图秀秀加贴纸进行遮挡，并进行压缩操作，按照遮挡的部分大小，分为1级、2级、3级和4级。

[0027]将经过各类干扰后的隐写图像的秘密信息提取准确率绘制成折线图，如图6所示，该算法对于JPEG压缩与颜色变换的鲁棒性较强，在不加纠错码的情况下，秘密信息提取准确率可达0.94以上；而对于模糊和遮挡加压缩操作来说，在模糊程度和遮挡程度小于3级时，秘密信息的提取准确率可达到0.9以上；而对于高斯噪声来说，仅能抵抗方差为0.001的高斯噪声干扰。

[0028]因为本发明的方法采用秘密信息直接生成图像的GAN模型，所以整张图像用来表示秘密信息。对于JPEG压缩和颜色变换等对图像内容改变不大的干扰时，鲁棒性较强；而对于其他对内容改变较大的干扰来说，改变的内容越多，鲁棒性越差，但在一定的改动范围内，可以采用纠错码技术来提高鲁棒性。

[0029]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

6

CN 112132737 A

说　明　书　附　图

1/4页

图1

7

CN 112132737 A

说　明　书　附　图

2/4页

图2

8

CN 112132737 A

说　明　书　附　图

3/4页

图3

图4

9

CN 112132737 A

说　明　书　附　图

4/4页

图5

图6

10