logo好方法网

构建书法浮雕深度学习网络的方法及构建书法浮雕的方法


技术摘要:
本发明公开了一种构建书法浮雕深度学习网络的方法及构建书法浮雕的方法,属于书法浮雕建模领域,要解决的技术问题为:如何结合深度学习实现由单张书法图像生成书法浮雕。包括如下步骤:基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集;分别构建渐变  全部
背景技术:
汉字书法在中国传统文化中占有突出的地位,为了长期保存,许多书法作品被以 浮雕的形式雕刻在石头或木材上。传统浮雕建模方法仅适用于制作平面浮雕,无法展现更 好的光照效果,立体感不强,而且,此类方法基于拉普拉斯网格变形等优化技术,需要耗费 大量时间求解线性方程组,建模速度慢;现有商业建模软件如ArtForm和JDPaint为曲面浮 雕的创建提供了特定的工具,然而,使用这些工具时需要大量的手动交互操作,专业性较 强,费时费力,不适用于普通用户。 深度学习是学习样本数据的内在规律和表示层次,通过组合低层特征形成更加抽 象的高层表示属性类别或特征,以发现数据的分布式特征表示,这些学习过程中获得的信 息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人 一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学 习算法,在语音识别和图像处理方面取得的效果,远远超过先前相关技术。 基于深度学习的优势,如何结合深度学习实现由单张书法图像生成书法浮雕,是 需要解决的技术问题。
技术实现要素:
本发明的技术任务是针对以上不足,提供一种构建书法浮雕深度学习网络的方法 及构建书法浮雕的方法,来解决如何结合深度学习实现由单张书法图像生成书法浮雕的问 题。 第一方面,本发明提供一种构建书法浮雕深度学习网络的方法,包括如下步骤: 基于多种数量和种类的书法字体图像及对应的书法字体浮雕构建数据集,所述书 法字体浮雕的类型包括渐变型和扁平型; 基于书法字体浮雕的类型,分别构建渐变型书法字体浮雕和扁平型书法字体浮 雕,并将数据集中书法字体及对应的书法字体浮雕分别进行组合,得到扁平型浮雕数据集 和渐变型浮雕数据集,每种数据集均划分为训练子集、验证子集和测试子集; 构建浮雕深度学习网络,所述浮雕深度学习网络主要由收缩路径和扩展路径组 成; 以扁平型高度场数据集中的训练子集为输入,基于损失函数训练浮雕深度学习网 络中的参数,以扁平型高度场数据集中的验证子集验证模型,经过不断迭代和模型参数调 整,得到训练后的扁平型浮雕深度学习网络模型,以扁平型高度场数据集中测试子集对训 练后的扁平型浮雕深度学习网络模型进行评估; 以渐变型高度场数据集中的训练子集为输入,基于损失函数训练浮雕深度学习网 5 CN 111583412 A 说 明 书 2/8 页 络中的参数,以渐变型高度场数据集中的验证子集验证模型,经过不断迭代和模型参数调 整,得到训练后的渐变型浮雕深度学习网络模型,以渐变型高度场数据集中测试子集对训 练后的渐变型浮雕深度学习网络模型进行评估。 本实施方式中,收集不同书法家的不同风格手写书法字体图像,根据书法浮雕的 类型分别生成扁平型和渐变型书法浮雕模型数据集,用于后续深度神经网络的训练;基于 深度学习构建深度学习网络,实现扁平型和渐变型两种书法浮雕高度场的训练、验证和预 测,得到最终的扁平型深度学习网络模型和渐变型深度学习网络模型。通过上述扁平型深 度学习网络模型和渐变型深度学习网络模型可以后续进行高度场预测,从而可直接、快速 的构建书法浮雕模型,适应不同分辨率的书法作品图像的输入。 作为优选,所述数据集中书法字体图像为单通道位图,且所述书法字体图像中背 景部分像素灰度值为0,字体部分像素灰度值为255。 作为优选,通过拉普拉斯曲面膨胀构造渐变型书法字体浮雕,包括如下步骤: 对于每个输入的书法字体图像,将其转换为三角形网格的形式; 以背景网格顶点为约束,通过求解如下公式来膨胀字体区域: 其中,▽2为Laplace–Beltrami算子,h(vi)为高度值,s为小常量,默认情况下s= 0.0001; 求解上述公式后,将高度场大小调整在[0.0,0.025×d]范围内,其中d为整个网格 模型的宽度; 将整个网格模型转换为8位灰度图像,作为ground  truth中对应的输出,得到渐变 型高度场以及渐变型书法字体浮雕网格。 作为优选,通过计算一个新法向场生成扁平型书法字体浮雕,包括如下步骤: 设Ni=[nx,ny ,nz]为笔画边界处的法向量,令nz=0,并将法向量Ni归一化为Ni'= [n'x,n'y,0.0],使得法向量Ni'垂直于高度方向[0.0,0.0,1.0]; 以Ni'(i=0,1,......,n)为输入,通过求解如下线性系统计算网格顶点法向x-和 y-分量: ▽2N(vi)=0 其中,▽2为Laplace–Beltrami算子,N(vi)为法向x-或y-分量; 通过如下计算公式计算法向z-分量: 得到网格顶点法向x-、y-分量以及z-分量后,字体区域已均匀膨胀,将背景网格顶 点的高度设置为0,并将字体网格顶点的高度定义为0.05×nZ,得到扁平型高度场以及扁平 型书法字体浮雕网格。 作为优选,所述收缩路径包括多个收缩模块,每个收缩模块均配置有卷积层和池 化层,卷积层采用same填充,且共有两个,分别为第一卷积层和第二卷积层,所述收缩模块 用于通过执行如下步骤进行特征提取: 第一卷积层完成卷积并通过ReLU函数激活后,进行随机失活; 第二卷积层完成卷积并通过ReLU函数激活后,通过池化层进行下采样,输出特征 6 CN 111583412 A 说 明 书 3/8 页 图; 所述扩展路径包括多个扩展模块,扩展模块与收缩模块一一对应并串接,每个扩 展模块均配置有卷积层,卷积层采用same填充,且共有两个,分别为第一卷积层和第二卷积 层,所述扩展模块用于通过执行如下步骤进行特征提取: 进行上采样,并从与其串接的收缩模块中获取特征图,将上采样获取的特征图和 从与其串接的收缩模块中获取的输出特征图相结合,得到相结合特征图; 第一卷积层完成卷积并通过ReLU函数激活后,进行随机失活; 第二卷积层完成卷积并通过ReLU函数激活后,输出特征图。 作为优选,所述收缩路径和扩展路径通过中间模块进行连接,所述中间模块配置 有卷积层,卷积层采用same填充且共有两个,分别为第一卷积层和第二卷积层,所述中间模 块用于通过如下步骤进行特征提取: 第一卷积层完成卷积并通过ReLU函数激活后,进行随机失活; 第二卷积层完成卷积并通过ReLU函数激活后,进行随机失活。 作为优选,所述收缩路径中收缩模块共四个,对应的,所述扩展路径中扩展模块共 四个。 作为优选,通过最小化如下公式中的损失函数训练浮雕深度学习网络中的参数: 其中, 表示预测灰度值, 表示ground  truth灰度值。 第二方面,本发明提供一种构建书法浮雕的方法,通过如第一方面任一项所述的 构建书法浮雕深度学习网络的方法得到训练后的扁平型浮雕深度学习网络模型以及训练 后的渐变型浮雕深度学习网络模型,通过训练后的扁平型浮雕深度学习网络模型以及训练 后的渐变型浮雕深度学习网络模型预测书法字体浮雕的高度场,所述方法包括如下步骤: 给定单张书法字体图像作为目标图像; 将目标图像输入训练后的扁平型浮雕深度学习网络模型进行书法浮雕预测,得到 扁平型高度场; 将目标图像输入训练后的渐变型浮雕深度学习网络模型进行书法浮雕预测,得到 渐变型高度场; 将扁平型高度场和渐变型高度场进行线性合并,得到书法字体浮雕。 作为优选,将目标图像输入扁平型浮雕深度学习网络以及渐变型浮雕深度学习网 络之前,对目标图像进行预处理,将目标图像转换为单通道位图,转换后目标图像中背景部 分像素灰度值为0,字体部分像素灰度值为255。 本发明的构建书法浮雕深度学习网络的方法及构建书法浮雕的方法具有以下优 点: 1、建立不同书法字体组成的数据集,通过数据集训练构建的深度学习网络模型并 优化参数,得到训练后的深度学习网络模型,通过训练后深度学习网络模型可预测书法字 体浮雕高度场,得到浮雕三维网格模型,相对于传统的书法浮雕模型构建方法,可快速生成 模型,节省了时间,且自动化程度高,无需人工几何交互,易于应用; 2、基于浮雕的类型将数据集分为两类,分别为扁平型和渐变型,以扁平型和渐变 7 CN 111583412 A 说 明 书 4/8 页 型的数据子集为输入,训练深度学习网络得到两种书法浮雕深度学习网络模型,分别为扁 平型深度学习网络模型和渐变型深度学习模型,可生成不同风格的书法字体浮雕,并可在 浮雕中体现书法字体的细节。 附图说明 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本 领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他 的附图。 下面结合附图对本发明进一步说明。 附图1为实施例1构建书法浮雕深度学习网络的方法的流程框图; 附图2为实施例1构建书法浮雕深度学习网络的方法中数据集的字体结构示意图; 附图3为实施例1构建书法浮雕深度学习网络的方法中书法浮雕高度场的构造示 意图; 附图4为实施例1构建书法浮雕深度学习网络的方法中浮雕深度学习网络的结构 示意图; 附图5为实施例2构建书法浮雕的方法的流程示意图; 附图6为实施例2构建书法浮雕的方法对应不同高度风格的建模结果示意图; 附图7为实施例2构建书法浮雕的方法对应的以不同分辨率书法图像为输入的建 模结果,其中书法作品作者为欧阳中石; 附图8为实施例2构建书法浮雕的方法中书法作品“兰亭序”的建模结果示意图; 其中,附图2中,第一行为字体图像,第二行为渐变型浮雕高度场灰度图,第三行为 扁平型浮雕高度场灰度图; 附图3中,(a)表示输入的书法字体图像,(b-c)表示高度图和渐变型浮雕对应的网 格,(d)由笔画边界法向推测得到的法向图,(e-f)高度图和对应的扁平型浮雕网格; 附图6中,(a)表示渐变风格,混合比0.0,(b)表示扁平风格,混合比1.0;(c)表示复 合风格,混合比0.5;(d)表示将(c)中高度值加倍后的结果; 附图7中,(a)对应的分辨率为2048×1536,(b)对应的分辨率为1024×768,(c)对 应的分辨率为512×384; 附图8中分辨率为3040×1840,(a)表示手写汉字书法作品图像,(b)表示书法字体 浮雕建模结果,(c)表示(b)的局部放大结果。
分享到:
收藏