基于卷积神经网络建立中药材自动识别的人工智能模型及应用程序

doi:10.12114/j.issn.1007-9572.2024.0394

中国全科医学 ›› 2025, Vol. 28 ›› Issue (09): 1128-1136.DOI: 10.12114/j.issn.1007-9572.2024.0394

基于卷积神经网络建立中药材自动识别的人工智能模型及应用程序

王甘红¹, 张子豪², 奚美娟¹, 夏开建³, 周燕婷¹^,^*(), 陈健⁴^,^*()

1．215500　江苏省常熟市中医院（常熟市新区医院）消化内科
2．200434　上海市，上海豪兄教育科技有限公司
3．215500　江苏省常熟市医学人工智能与大数据重点实验室
4．215500　江苏省常熟市第一人民医院消化内科

收稿日期:2024-06-10 修回日期:2024-10-10 出版日期:2025-03-20 发布日期:2025-01-02
通讯作者: 周燕婷, 陈健
作者贡献：
王甘红、陈健进行文章的构思与设计；奚美娟、夏开建、张子豪进行数据收集及数据整理，并进行统计学处理与代码报错解决；王甘红、周燕婷撰写论文并进行论文的修订；陈健对文章整体负责，监督管理。
基金资助:
常熟市医学人工智能与大数据重点实验室能力提升项目(CYZ202301); 常熟市医药卫生科技计划项目(CSWS202316); 常熟市科技发展计划项目(CS202019); 江苏省333高层次人才培养工程(SZFCXK202147); 苏州市应用基础研究科技创新项目(SYWD2024059)

Construction of an Artificial Intelligence Model and Application for an Automatic Recognition of Traditional Chinese Medicine Herbals Based on Convolutional Neural Networks

WANG Ganhong¹, ZHANG Zihao², XI Meijuan¹, XIA Kaijian³, ZHOU Yanting¹^,^*(), CHEN Jian⁴^,^*()

1. Department of Gastroenterology, Changshu Hospital of Traditional Chinese Medicine (Changshu New District Hospital), Changshu 215500, China
2. Shanghai Hao Brothers Educational Technology Co., Ltd., Shanghai 200434, China
3. Changshu Key Laboratory of Medical Artificial Intelligence and Big Data, Changshu 215500, China
4. Department of Gastroenterology, Changshu No.1 People's Hospital, Changshu 215500, China

Received:2024-06-10 Revised:2024-10-10 Published:2025-03-20 Online:2025-01-02
Contact: ZHOU Yanting, CHEN Jian

分享到

摘要/Abstract

摘要： 背景传统中药材检测手段依赖主观经验，难以满足中药材在准确分类与鉴别方面的需求。目的基于卷积神经网络（CNN）开发一款能够自动识别163种中药材的人工智能模型及电脑端应用程序。方法 2020年1月—2024年6月，采集了两个中药材数据集进行深度学习模型的训练、验证和测试，共包含163种中药材。通过准确率、灵敏度、特异度、精确率、受试者工作特征（ROC）曲线下面积（AUC）、F1分数等指标来衡量CNN模型的性能。在模型训练完成后，基于PyQt5技术开发了一款应用程序，供临床便携使用。结果本研究共纳入了276 767张图像，开发了EfficientNetB0、ResNet50、MobileNetV3、VGG19和ResNet18 5种模型，通过性能比较，EfficientNet_B0模型在验证集上取得了最高的准确率（99.0%）和AUC（0.994 2），被选为最佳模型。在测试集上，最佳模型对所有中药类别识别的准确率为99.0%、灵敏度为99.0%、特异度为100.0%、AUC为1.0，展现出良好的性能。结论基于卷积神经网络开发的深度学习模型能够快速准确地识别163种中药材，借助其高灵敏度的识别能力，为医师对中药材的鉴别提供有力辅助。

关键词: 中药材, 模式识别，自动, 中药药材学, 应用程序, 人工智能, PyQt5, 卷积神经网络

Abstract:

Background

Conventional methods for identifying traditional Chinese medicine (TCM) herbals mainly rely on subjective experiences, making it difficult to meet the needs for accurate classification and identification.

Objective

This study aims to develop an artificial intelligence model and a desktop application capable of automatically recognizing 163 types of TCM herbals based on convolutional neural networks (CNN) .

Methods

From January 2020 to June 2024, data from two datasets of 163 TCM herbals were collected for training, validation, and testing of the deep learning model. The performance of the CNN model was evaluated for the accuracy, sensitivity, specificity, precision, area under the receiver operating characteristic (ROC) curve (AUC), and F1 score. After model training, an application was developed using PyQt5 technology for convenient clinical use.

Results

A total of 276 767 images were included in this study. Five models, including EfficientNetB0, ResNet50, MobileNetV3, VGG19, and ResNet18, were developed. After comparing their performance, the EfficientNetB0 model achieved the highest accuracy (99.0%) and AUC (0.994 2) in the validation dataset, and it was selected as the optimal model. In the test dataset, the EfficientNetB0 model achieved an accuracy of 99.0%, sensitivity of 99.0%, specificity of 100.0%, and an AUC of 1.0 across all categories, demonstrating an excellent performance.

Conclusion

The deep learning model developed based on CNN can quickly and accurately recognize 163 types of TCM herbals with high sensitivity and recognition capability, thus providing a robust support for physicians to accurately identify TCM herbals.

Key words: Traditional Chinese medicine herbals, Pattern recognition, automated, Materia Medica Science (TCD), Application, Artificial intelligence, PyQt5, Convolutional neural networks

王甘红,张子豪,奚美娟,等. 基于卷积神经网络建立中药材自动识别的人工智能模型及应用程序[J]. 中国全科医学, 2025, 28(09): 1128-1136. DOI: 10.12114/j.issn.1007-9572.2024.0394.
WANG Ganhong,ZHANG Zihao,XI Meijuan, et al. Construction of an Artificial Intelligence Model and Application for an Automatic Recognition of Traditional Chinese Medicine Herbals Based on Convolutional Neural Networks[J]. Chinese General Practice, 2025, 28(09): 1128-1136. DOI: 10.12114/j.issn.1007-9572.2024.0394.

图/表 12

图1 中药材代表性图像示例及数量注：本研究包含163种常见中药材，选取了12种作为图像示例。

Figure 1 Representative images of TCM herbals and the number

图2 神经网络架构图

Figure 2 A diagram of the neural network architecture

图3 中药材自动识别模型研究流程图

Figure 3 A workflow diagram of the automatic recognition model for TCM herbs

表1 中药材的图像数量（张）

Table 1 Number of images for TCM herbals

项目	艾叶	阿胶	白扁豆	百部	白矾	百合	白蔻	白茅根	白芍	白头翁	白术	柏子仁	巴戟天
训练集	1 634	1 557	1 567	1 713	1 567	1 565	1 553	1 543	1 493	1 565	1 571	1 567	1 617
验证集	58	63	53	69	53	55	67	77	69	55	49	53	48
测试集	70	75	54	58	69	58	75	57	44	61	75	58	56
合计	1 762	1 695	1 674	1 840	1 689	1 678	1 695	1 677	1 606	1 681	1 695	1 678	1 721

图4 不同模型训练过程中指标变化趋势注：A为分类损失随训练步数的变化趋势，B为准确率随训练步数的变化趋势；不同模型架构的复杂度不同，为最大化发挥显卡性能并提升训练效率，研究采用了不同的批次大小，因此不同模型之间的训练步数存在差异。

Figure 4 Trend of metrics during the training process for different models

表2 不同AI模型在验证集上的性能比较

Table 2 Comparison of the performance of AI models in the validation dataset

模型	准确率（%）	精确率（%）	灵敏度（%）	F1分数（%）	AUC
EfficientNetB0	99.04	99.02	99.04	98.99	0.994 2
MobileNetV3	99.03	99.04	99.03	99.02	0.992 7
ResNet50	86.71	86.44	86.75	86.36	0.878 9
VGG19	98.00	97.86	97.98	97.84	0.978 6
ResNet18	77.60	77.10	77.27	76.79	0.779 1

表3 EfficientNetB0模型在测试集上的性能评估结果

Table 3 Evaluation of the performance of the EfficientNetB0 model in the test dataset

类别	精确率	灵敏度	特异度	F1分数	准确率	平均精度	AUC	马修斯相关系数	科恩卡帕系数
艾叶	1	0.983	1	0.991	0.983	1	1	0.991	0.991
阿胶	1	1	1	1	1	1	1	1	1
白扁豆	1	1	1	1	1	1	1	1	1
百部	0.971	0.986	1	0.978	0.986	1	1	0.978	0.978
白矾	0.981	1	1	0.991	1	1	1	0.991	0.991
百合	0.982	1	1	0.991	1	0.999	1	0.991	0.991
白花蛇舌草	1	1	1	1	1	1	1	1	1
白茅根	0.987	1	1	0.994	1	1	1	0.994	0.993
白芍	1	0.986	1	0.993	0.986	1	1	0.993	0.993
麦芽	0.510	0.754	0.995	0.608	0.754	0.564	0.997	0.617	0.605
牡丹皮	1	1	1	1	1	1	1	1	1
牡蛎	0.982	0.982	1	0.982	0.982	1	1	0.982	0.982
木香	1	0.970	1	0.985	0.970	1	1	0.985	0.985
牛膝	0.968	1	1	0.984	1	1	1	0.984	0.984
总体（加权平均）	0.990	0.990	1	0.989	0.990	0.994	1	0.990	0.989

图5 人工智能模型在外部测试集上的预测性能注：A为精确率-召回率（PR）曲线，B为受试者工作特征（ROC）曲线；由于本研究包含了163个类别，图中仅展示了部分图例。

Figure 5 External validation of the performance of the AI model in the test dataset

图6 测试集中药材图像的二维语义特征图注：不同颜色和形状代表不同的中药材图像类别，具有相似特征的类别在图中倾向于聚集。如果某些点群之间边界不清晰，表明模型在这些区域的分类性能存在重叠，导致分类困难。由于包含163个类别，仅展示部分图例。

Figure 6 2D semantic feature map of TCM herbal images in the test dataset

图7 AI模型决策过程的Grad-CAM可视化注：A列为原始的内镜图像，B列为使用Grad-CAM的像素激活热图，C列为原始图像与激活热图的组合。

Figure 7 Grad-CAM visualization of the decision-making process of the AI model

图8 基于SHAP技术的可解释性分析注：A模型使用SHAP值正确预测"郁金"标签的中药材图像；B模型使用SHAP值正确预测"百合"标签的中药材图像。SHAP值表示每个像素对分类结果的贡献大小。数值越大，像素对预测的重要性越高，正值（红色）表示正向影响，负值（蓝色）表示负向影响。

Figure 8 Interpretability analysis based on the SHAP technology

图9 使用PyQt5技术开发的应用程序及效果展示注：A使用PyQt5技术开发的电脑端应用程序的操作界面；B、C分别展示了使用该应用程序对单张图像和批量图像的预测效果。

Figure 9 Application development and performance demonstration using the PyQt5 technology

参考文献 21

[1]	张伯礼，张俊华，陈士林，等. 中药大健康产业发展机遇与战略思考[J]. 中国工程科学，2017，19（2）：16-20. DOI：10.15302/J-SSCAE-2017.02.003.
[2]	薛晓娟，刘彩，王益民，等. 新时代中医药发展现状与思考[J]. 中国工程科学，2023，25（5）：11-20. DOI：10.15302/J-SSCAE-2023.05.007.
[3]	曹雪晓，任晓亮，王萌，等. 中药材及饮片规格等级质量标准研究进展[J]. 中药材，2021，44（2）：490-494. DOI：10.13863/j.issn1001-4454.2021.02.044.
[4]	黄丽，张军，吴慧玲，等. 基于深度学习的内镜超声胆管扫查辅助分站系统构建[J]. 中华消化内镜杂志，2022，39（4）：295-300. DOI：10.3760/cma.j.cn321463-20210628-00007.
[5]	吴树剑，俞咏梅，范莉芳，等. 基于增强CT深度学习影像组学术前预测胸腺瘤风险分类[J]. 中国肿瘤临床，2023，50（19）：999-1005. DOI：10.12354/j.issn.1000-8179.2023.20230828.
[6]	陈健，王珍妮，夏开建，等. 基于深度学习的结直肠息肉内镜图像分割和分类方法比较[J]. 上海交通大学学报（医学版），2024，44（6）：762-772.
[7]	郭丛，田钰嘉，李杨，等. 基于YOLOv4算法的中药饮片识别[J]. 中国实验方剂学杂志，2023，29（14）：133-140. DOI：10.13422/j.cnki.syfjx.20230614.
[8]	HAN Y，LAN J，GUO R Y，et al. Identification of Chinese herbal medicine slices based on deep learning[J]. Acta Agriculturae Boreali-occidentalis Sinica，2023，32（11）：1859-1867. DOI：10.7606/j.issn.1004-1389.2023.11.020.
[9]	ATHALYE C，ARNAOUT R. Domain-guided data augmentation for deep learning on medical imaging[J]. PLoS One，2023，18（3）：e0282532. DOI：10.1371/journal.pone.0282532.
[10]	QIU Z R，RONG S Y，YE L K. YOLF-ShipPnet：improved RetinaNet with pyramid vision transformer[J]. Int J Comput Intell Syst，2023，16（1）：58. DOI：10.1007/s44196-023-00235-4.
[11]	ZHANG Y Y，HONG D，MCCLEMENT D，et al. Grad-CAM helps interpret the deep learning models trained to classify multiple sclerosis types using clinical brain magnetic resonance imaging[J]. J Neurosci Methods，2021，353：109098. DOI：10.1016/j.jneumeth.2021.109098.
[12]	KIKUTSUJI T，MORI Y，OKAZAKI K I，et al. Explaining reaction coordinates of alanine dipeptide isomerization obtained from deep neural networks using explainable artificial intelligence（XAI）[J]. J Chem Phys，2022，156（15）：154108. DOI：10.1063/5.0087310.
[13]	LINDERMAN G C，STEINERBERGER S. Clustering with t-SNE，provably[J]. SIAM J Math Data Sci，2019，1（2）：313-332. DOI：10.1137/18m1216134.
[14]	KIRSAN A S，TAKANO K，ZEBADA MANSURINA S T. EksPy：a new Python framework for developing graphical user interface based PyQt5[J]. Int J Electr Comput Eng，2024，14（1）：520. DOI：10.11591/ijece.v14i1.pp520-531.
[15]	许郭婷，吴爱荣，林嘉希，等. 基于深度卷积神经网络的上消化道内镜解剖分类模型构建[J]. 中国医学物理学杂志，2023，40（8）：1051-1056. DOI：10.3969/j.issn.1005-202X.2023.08.021.
[16]	陈健，张子豪，卢勇达，等. 基于深度学习构建结直肠息肉诊断自动分类模型[J]. 中华诊断学电子杂志，2024，12（1）：9-17.
[17]	王超超，张先超，谷正昌，等. 中药材及饮片检测中人工智能应用探讨[J]. 中国工程科学，2024，26（2）：245-254.
[18]	胡晓东. 基于改进深度学习算法的中药饮片图像识别研究[D]. 长春：吉林农业大学，2023. DOI：10.27163/d.cnki.gjlnu.2023.000042.
[19]	ZHOU L Q，WANG J Y，YU S Y，et al. Artificial intelligence in medical imaging of the liver[J]. World J Gastroenterol，2019，25（6）：672-682. DOI：10.3748/wjg.v25.i6.672.
[20]	林嘉希，汪盛嘉，赵鑫，等. 基于深度卷积神经网络的Barrett食管内镜图片分类模型的建立[J]. 上海交通大学学报（医学版），2022，42（5）：653-659. DOI：10.3969/j.issn.1674-8115.2022.05.014.
[21]	GHNEMAT R，ALODIBAT S，ABU AL-HAIJA Q. Explainable artificial intelligence（XAI）for deep learning based medical imaging classification[J]. J Imaging，2023，9（9）：177. DOI：10.3390/jimaging9090177.

基于卷积神经网络建立中药材自动识别的人工智能模型及应用程序

Construction of an Artificial Intelligence Model and Application for an Automatic Recognition of Traditional Chinese Medicine Herbals Based on Convolutional Neural Networks

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 21

相关文章 15

编辑推荐

Metrics

留言

[1]	清华大学万科公共卫生与健康学院, 北京大学公共卫生学院, 中国医师协会全科医师分会. 智能全科医生中国专家共识[J]. 中国全科医学, 2025, 28(02): 135-142.
[2]	张璇, 张飞, 李铭麟, 王佳贺. 智能机器人在基层慢性病管理中的应用与挑战[J]. 中国全科医学, 2025, 28(01): 7-12.
[3]	王珍妮, 须月萍, 夏开建, 徐晓丹, 顾丽华. 基于YOLO神经网络构建压力性损伤自动检测和分期的人工智能模型[J]. 中国全科医学, 2024, 27(36): 4582-4590.
[4]	周伊恒, 杨梓钰, 吕垚, 刘力滴, 沈灿, 廖晓阳, 贾禹. 《人工智能在心血管疾病中的应用科学声明》解读[J]. 中国全科医学, 2024, 27(35): 4353-4357.
[5]	邵建文, 刘欢, 张玥, 郑爱明, 陈松宇, 王锦帆. 基于人工智能的医患沟通共情语言教学与评价系统的开发与应用研究[J]. 中国全科医学, 2024, 27(34): 4315-4321.
[6]	杨辉. 《全科医学服务中的人工智能：务实的、谨慎的、乐观的观点》摘译[J]. 中国全科医学, 2024, 27(32): 0-B.
[7]	刘环, 朱世飞, 陈法余, 王静华. 人工智能在基层全科医生实践中的应用：基于皮肤病诊断与病程管理的视角[J]. 中国全科医学, 2024, 27(31): 3884-3889.
[8]	刘珏, 梁万年. 科技创新应对健康挑战[J]. 中国全科医学, 2024, 27(28): 0-C4.
[9]	余如霞, 姜婧, 王湫澄, 王越, 赵小月. 人工智能在阿尔茨海默病临床诊疗中的研究热点及前沿趋势分析[J]. 中国全科医学, 2024, 27(26): 3218-3226.
[10]	郭彩琴, 王峻峰, 杨岚, 石锦平, 唐叶, 赵頔, 吴晓. 人工智能辅助染色体核型分析技术在产前诊断中的应用研究[J]. 中国全科医学, 2024, 27(23): 2883-2887.
[11]	雷芳, 杜亮, 董敏, 刘雪梅. 基于人工智能的临床决策支持系统早期临床评估的透明化报告[J]. 中国全科医学, 2024, 27(10): 1267-1270.
[12]	董娜, 崔婷, 王露露, 师荣慧, 冯洁, 黄晓俊. 人工智能在胃癌诊治中的研究趋势：20年的文献计量学分析[J]. 中国全科医学, 2024, 27(04): 493-501.
[13]	高景宏, 王言研, 蒋帅, 付航, 段彦然, 王素凡, 王成增. Haddon模型视角下大数据和人工智能在COVID-19疫情防控中的应用分析[J]. 中国全科医学, 2024, 27(01): 111-117.
[14]	陈龙, 曾凯, 李莎, 陶璐, 梁玮, 王皓岑, 杨如美. 人工智能算法偏见与健康不公平的成因与对策分析[J]. 中国全科医学, 2023, 26(19): 2423-2427.
[15]	郭天赐, 陈继鑫, 余伟杰, 刘爱峰. 人工智能在骨关节炎诊疗中的应用进展[J]. 中国全科医学, 2023, 26(19): 2428-2433.