基于面象和舌象双模态特征提取的中医人体体质分类方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110532907 A(43)申请公布日 2019.12.03

(21)申请号 20191074.4(22)申请日 2019.08.14

(71)申请人 中国科学院自动化研究所

地址 100190 北京市海淀区中关村东路95

号

申请人 东莞中国科学院云计算产业技术创

新与育成中心(72)发明人 商秀芹　包音　沈震　董西松　

熊刚　刘胜　颜军　罗璨　王飞跃　(74)专利代理机构 北京市恒有知识产权代理事

务所(普通合伙) 11576

代理人 郭文浩　尹文会(51)Int.Cl.

G06K 9/00(2006.01)G06K 9/62(2006.01)

权利要求书2页 说明书9页 附图4页

G06N 3/08(2006.01)G16H 30/20(2018.01)G16H 50/20(2018.01)

CN 110532907 A()发明名称

基于面象和舌象双模态特征提取的中医人体体质分类方法(57)摘要

本发明属于图像识别及中医体质分类领域，具体涉及了一种基于面象和舌象双模态特征提取的中医人体体质分类方法、系统、装置，旨在解决现有技术体质分类结果准确率不能达到预期的问题。本发明方法包括：对获取的二维人脸、舌象图像归一化，对获取的三维人脸图像进行3D人脸识别预处理、自组织映射、k-最邻近操作；提取处理后的二维图像的颜色特征、纹理特征，三维数据的几何特征；将特征融合并降维；采用DAG-SVM多类分类模型获得对应的体质类别。本发明结合二维和三维数据的特征，在一些疾病的诊断中能够收集到更多角度尺度信息，提高了体质分类的准确率，从而提高了疾病诊断的准确率。

CN 110532907 A

权　利　要　求　书

1/2页

1.一种基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，该人体体质分类方法包括：

步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；

步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；

步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；

步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。

2.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：

步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签；

步骤B20，随机选取一组训练样本，采用权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别；

步骤B30，计算所述体质类别与所述训练标签的训练误差值；步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。

3.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。

4.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，步骤S20中“对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据”，其方法为：

步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；

步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。

5.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述体质类别包括：

平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀。

6.一种基于面象和舌象双模态特征提取的中医人体体质分类系统，其特征在于，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合

2

CN 110532907 A

权　利　要　求　书

2/2页

模块、DAG-SVM多类分类模块、输出模块；

所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据并输入；

所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；

所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；

所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；

所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；

所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；

所述输出模块，配置为输出获取的待分类对象的体质类别。

7.根据权利要求6所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；

所述修正模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；

所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；

所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。

8.根据权利要求6所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；

所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；

所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；

所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。

9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于面象和舌象双模态特征提取的中医人体体质分类方法。

10.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-5任一项所述的基于面象和舌象双模态特征提取的中医人体体质分类方法。

3

CN 110532907 A

说　明　书

1/9页

基于面象和舌象双模态特征提取的中医人体体质分类方法

技术领域

[0001]本发明属于图像处理及中医体质分类领域，具体涉及了一种基于面象和舌象双模态特征提取的中医人体体质分类方法。

背景技术

[0002]中医体质学是以中医理论为指导，研究人类体质特征、体质类型的生理、病理特点、分析疾病的反应状态、病变的性质及发展趋向，指导疾病预防、治疗以及养生康复的一门学科，是继承中医基础理论上的创新点，也是当前发展中医基础理论的突破口。其在经典医籍的传承、基础研究、临床研究方面都取得了长足的进步，在中医药发展领域中处于重要地位。

[0003]体质现象是人类生命活动中一种重要表现形式，体质类型和疾病有着密切的联系，因此体质分型在体质学说临床运用中有着重要作用。现代中医对体质的分型研究，一般是从临床角度根据疾病群体中的体质变化、表现特征及与疾病的关系等方面对体质做出分类。在中医领域，医生可以根据病人的面部特征来分辨来诊者的神、色、形、态变化以测知其外在精神状态、内在五脏气血荣枯。人体在常态下，气血旺盛，脏腑安和，面部外见五色修明。一旦气血失调，五脏失和，皆可通过面部予以反映。在中医体质辨识过程中，通过对面部颜色、油脂及面部斑疹等的观察与分析，来进行体质分类。

[0004]目前深度学习等图像识别技术已成为人工智能领域的重要研究方向，其研究成果已成功应用于部分医疗领域，在自动诊疗方面取得丰硕的成果。诸如Google AI医疗已经更够通过识别病理图像使转移性乳腺癌检测的准确率达到99％。然而，在一些疾病的诊断中，深度学习通过二维图像分析会因为信息的缺失从而使诊断的准确率降低，而三维数据可以提供更多角度尺度信息从而可以提高诊断的准确率。

发明内容

[0005]为了解决现有技术中的上述问题，即现有技术无法兼顾二维和三维数据的信息、导致人体体质分类结果准确率不能达到预期的问题，本发明提供了一种基于面象和舌象双模态特征提取的中医人体体质分类方法，该人体体质分类方法包括：[0006]步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；

[0007]步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；[0008]步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；[0009]步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降

4

CN 110532907 A

说　明　书

2/9页

维，获得融合降维特征；[0010]步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。

[0011]在一些优选的实施例中，所述DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：[0012]步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签；[0013]步骤B20，随机选取一组训练样本，采用上述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别；[0014]步骤B30，计算所述体质类别与所述训练标签的训练误差值；[0015]步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。[0016]在一些优选的实施例中，所述待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。[0017]在一些优选的实施例中，步骤S20中“对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据”，其方法为：[0018]步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；

[0019]步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；

[0020]步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。

[0021]在一些优选的实施例中，所述体质类别包括：[0022]平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀。[0023]本发明的另一方面，提出了一种基于面象和舌象双模态特征提取的中医人体体质分类系统，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合模块、DAG-SVM多类分类模块、输出模块；[0024]所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据并输入；

[0025]所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；[0026]所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；[0027]所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；[0028]所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；[0029]所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；

5

CN 110532907 A[0030]

说　明　书

3/9页

所述输出模块，配置为输出获取的待分类对象的体质类别。

[0031]在一些优选的实施例中，所述三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；

[0032]所述预处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；

[0033]所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；[0034]所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。[0035]在一些优选的实施例中，所述特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；

[0036]所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；[0037]所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；

[0038]所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。

[0039]本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。

[0040]本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。[0041]本发明的有益效果：[0042](1)本发明基于面象和舌象双模态特征提取的中医人体体质分类方法，结合的二维数据的颜色纹理特征和三维数据的深度信息，在一些疾病的诊断中能够收集到更多角度尺度信息，提高了体质分类结果准确率，从而提高了疾病诊断的准确率。[0043](2)本发明基于面象和舌象双模态特征提取的中医人体体质分类方法，通过深度学习等方法，提取患者的与体质相关的面部舌部特征，搭建中医体质分类的辅助医疗平台，实现高效率、高准确率和低成本的辅助医疗工作，从而提高医师的工作效率并减轻医疗工作者的工作负担，使医生能将更多的精力投入到医学研究方面。附图说明

[0044]通过阅读参照以下附图所作的对非性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

[0045]图1是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法的流程示意图；

[0046]图2是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的人脸颜色特征提取区域示例图；

6

CN 110532907 A[0047]

说　明　书

4/9页

图3是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施

例的三维数据特征提取网络框架图；

[0048]图4是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的DAG-SVM多类分类模型示意图。

具体实施方式

[0049]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。[0050]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0051]本发明的一种基于面象和舌象双模态特征提取的中医人体体质分类方法，包括：[0052]步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；

[0053]步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；[00]步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；[0055]步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；[0056]步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。

[0057]为了更清晰地对本发明基于面象和舌象双模态特征提取的中医人体体质分类方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

[0058]本发明一种实施例的基于面象和舌象双模态特征提取的中医人体体质分类方法，包括步骤S10-步骤S50，各步骤详细描述如下：[0059]步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据。

[0060]中医体质分类与脸部、舌象等特征相关，因此为了更好地实现中医体质分类，需要采集每个采样对象的二维人脸与舌象图像，三维人脸数据作为一例采样数据组。[0061]待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。[0062]步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据：[0063]步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据。

7

CN 110532907 A[00]

说　明　书

5/9页

扫描获取的三维人脸数据会存在一些洞，需要通过3D人脸识别预处理技术(3D 

face recognition preprocess，三维人脸识别预处理)对获取的三维人脸数据进行填洞插值、图像插值重采样、鼻尖点检测、提取人脸部分、降噪、姿态矫正操作，获得与二维人脸图像数据对应的三维人脸数据。[0065]本发明一个实施例中，通过牛顿插值法进行填洞插值；立方卷积法实现图像重采样插值；通过侧影线角点检测实现鼻尖点检测；以鼻为球心的圆球提取人脸部分；通过均值滤波器降噪；通过迭代最近点算法进行姿态矫正。[0066]在一些实施例中，若采集的图像质量达到要求，可以不进行预处理，直接进行特征提取。

[0067]步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点。

[0068]自组织映射(SOM，Self-Organizing Map)是一种无指导的聚类方法，它模拟人脑中处于不同区域的神经细胞分工不同的特点，即不同区域具有不同的响应特征，而且这一过程是自动完成的。自组织映射网络通过寻找最优参考矢量集合来对输入模式集合进行分类，每个参考矢量为一输出单元对应的连接权向量。[0069]步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。

[0070]k-最近邻算法(kNN，k-NearestNeighbo)是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。通过k-最近邻算法获取的三维人脸数据相比于二维人脸数据，多了深度信息，数据更为丰富。

[0071]步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征。[0072]如图2所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的人脸颜色特征提取区域示例图，包括11个区域，眉间区域1、眼间区域2、鼻中区域3、鼻头区域4、左颧骨区域5、右颧骨区域6、左脸颊区域7、右脸颊区域8、唇部区域9、额头区域10、发际线区域11，该分区依据是中医人体分类关键特征在人脸上的区域分布。[0073]本发明一个实施例中，选取CNN模型ResNet、VGG、GoogLeNet中的一个提取所述第一三维人脸数据的几何特征。如图3所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的三维数据特征提取网络框架图，其由编码器以及分类器构成，每一层均包括卷积、池化、批标准化以及激活函数(ReLU)。最后采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直至收敛，完成模型的训练。其中，N×6代表输入点云数据为N行6列；Encoder代表深度学习模型框架中的编码器，包括pointNet-6、pointNet-、pointNet-128、pointNet-256、pointNet-512+3、pointNet-768、pointNet-1024分别为构建PointNet网络的层，其结构由76个等变层构成，其输入分别为6、、128、256、515、768、1024，KNNMODULE-384+3、KNNMODULE-768、KNNMODULE-1024分别为K近邻法模块的输入387、768、1024，倒三角代表“上述部分输出为：”，1×1024代表上述部分输出为1×1024的矩阵；Classifier代表深度学习

8

CN 110532907 A

说　明　书

6/9页

模型框架中的分类器，包括FC-512、FC-256、FC-9分别代表分类器三层网络结构输入512、256、9；1×9代表分类器输出数据为1×9的矩阵。[0074]步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征。

[0075]PCA全称为principal component analysis，即主成成分分析，将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法，又称主分量分析，用于降维。[0076]对数据进行降维使得数据更易显示，更易懂；降低很多算法的计算开销；去除噪声。

[0077]步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。

[0078]中医体质类别包括：[0079]平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀九种，并采用1-9表示这9种体质，如表1所示：[0080]表1

种类1234567体质平和阳虚气虚阴虚痰湿湿热血淤气郁特禀

[0081]各类体质的面象与舌象特征如表2所示：[0082]表2

9

CN 110532907 A

说　明　书

7/9页

如图4所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法

一种实施例的DAG-SVM多类分类模型示意图，该模型为有向无环图的拓扑结构，把所有训练数据集通过两次SVM分类分别分离出1和9得到非1子集和非9子集，如此顺序，依次不断分离出9个类，实现多类分类。

[0084]DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：[0085]步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签。[0086]每个采样对象的二维人脸与舌象图像，三维人脸数据作为一例采样数据组，本发明一个实施例中，采样1200例，采用随机的方式按照7:3的比例将获取的1200例采样数据分为训练集和测试集，训练集840例，测试集360例。

[0087]对采样得到的训练集和测试集根据体质类别的类号进行人工标注，并对分好类的文件进行重命名和编号。[0088]步骤B20，随机选取一组训练样本，采用上述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别。[00]步骤B30，计算所述体质类别与所述训练标签的训练误差值。[0090]步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。[0091]训练好的DAG-SVM多类分类模型采用上述的测试集进行测试，若出现过拟合等状态，则调整参数继续训练，直至模型达到预期的效果。

[0092]本发明第二实施例的基于面象和舌象双模态特征提取的中医人体体质分类系统，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合模块、DAG-SVM多类分类模块、输出模块；

[0083]

10

CN 110532907 A[0093]

说　明　书

8/9页

所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、

三维人脸数据并输入；

[0094]所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；[0095]所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；[0096]所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；[0097]所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；[0098]所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；[0099]所述输出模块，配置为输出获取的待分类对象的体质类别。[0100]其中，三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；[0101]所述修正模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；

[0102]所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；[0103]所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。[0104]其中，特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；

[0105]所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；[0106]所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；

[0107]所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。

[0108]所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。[0109]需要说明的是，上述实施例提供的基于面象和舌象双模态特征提取的中医人体体质分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。[0110]本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。[0111]本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各

11

CN 110532907 A

说　明　书

9/9页

条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。[0112]所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0113]本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。[0114]术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。[0115]术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。[0116]至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

12

CN 110532907 A

说　明　书　附　图

1/4页

图1

13

CN 110532907 A

说　明　书　附　图

2/4页

图2

14

CN 110532907 A

说　明　书　附　图

3/4页

图3

15

CN 110532907 A

说　明　书　附　图

4/4页

图4

16