The Construction of Assessment Index System of Artificial Intelligence General Practitioner

doi:10.12114/j.issn.1007-9572.2025.0020

Chinese General Practice ›› 2025, Vol. 28 ›› Issue (22): 2705-2711.DOI: 10.12114/j.issn.1007-9572.2025.0020

• Special Research Report • Next Articles

The Construction of Assessment Index System of Artificial Intelligence General Practitioner

1. School of General Medicine and Continuing Education, Capital Medical University, Beijing 100069, China
2. School of Public Health, Peking University, Beijing 100091, China
3. Beijing Baichuan Intelligent Technology Co., Ltd, Beijing 100084, China
4. Vanke School of Public Health and Health, Tsinghua University, Beijing 100084, China

Received:2025-02-06 Revised:2025-03-13 Published:2025-08-05 Online:2025-06-30
Contact: LIU Min, LIANG Wannian
About author:
ZHAO Yali and LU Xiaoqin are co-first authors

智能全科医生评估指标体系构建

1．100069　北京市，首都医科大学全科医学与继续教育学院
2．100191　北京市，北京大学公共卫生学院
3．100084　北京市，北京百川智能科技有限公司
4．100084　北京市，清华大学万科公共卫生与健康学院

通讯作者: 刘民, 梁万年
作者简介:
赵亚利与路孝琴为共同第一作者
作者贡献：
梁万年、刘民负责课题构思、设计、实施、文章撰写等全程审核和把关；路孝琴、赵亚利、刘珏参与课题实施、文章撰写及修改；张艺帆、朱祖懿、陈开元参与课题实施。
基金资助:
科技创新2030——"新一代人工智能"重大项目(2021ZD0114100); 清华大学文科建设"双高"计划项目—AI赋能基层医疗服务研究(2024TSG06402)

Abstract

Abstract:

Background

Developing and promoting intelligent medical assistance information systems is an important means to strengthen the capabilities of general practitioners. It is particularly urgent to standardize and evaluate the performance and effectiveness of intelligent assistance system development.

Objective

To construct an evaluation index system for intelligent general practitioners, and provide scientific tools for evaluating the service ability of intelligent general practitioners.

Methods

From December in 2024 to January in 2025, the evaluation index system for intelligent general practitioners with indicator weights was constructed through literature review and Delphi expert consultation.

Results

The positive coefficient of the three rounds of expert consultation was 100%, the authority coefficient was > 0.8. The coefficients of concordance for the importance of indicators at various levels were 0.210, 0.255, and 0.145, respectively, while those for feasibility were 0.353, 0.245, and 0.150. The final evaluation index system comprised five first-level indicators, 11 second-level indicators, and 47 third-level indicators. The first-level indicators were professional knowledge, basic medical service, active clinical prevention service, physician-patient communication and medical ethics, and education, learning, and research, with weights of 0.169, 0.306, 0.239, 0.145, and 0.141, respectively.

Conclusion

This study established the evaluation indicators for intelligent general practitioners, providing a reference for further standardizing the development and application of intelligent general practitioners. It has significant practical implications for enhancing the clinical practice level of general practitioners through technological empowerment.

Key words: Artificial intelligence, General practitioner, Evaluation index system, Expert consultation

摘要：

背景

开发并推广智能医疗辅助信息系统是加强全科医生服务能力的重要手段，规范并评价智能辅助系统开发的性能和效果尤为迫切。

目的

构建智能全科医生评估指标体系，为评估智能全科医生的服务能力提供科学工具。

方法

2024年12月—2025年1月，通过文献研究和德尔菲法，构建智能全科医生评估指标体系，并确定其指标权重。

结果

三轮专家咨询的积极系数均为100%，权威系数>0.8，各级指标的重要性协调系数分别为0.210、0.255、0.145，可行性协调系数分别为0.353、0.245、0.150，最终确定的考核指标体系包括5个一级指标、11个二级指标、47个三级指标。一级指标分别为专业知识、基本医疗服务能力、预防服务能力、医患沟通与医学伦理、教育学习与科研能力，其权重分别为0.169、0.306、0.239、0.145、0.141。

结论

本研究构建了智能全科医生评估指标，对进一步规范智能全科医生的开发及应用提供参考范围，对科技赋能提高全科医生临床实践水平具有重要现实意义。

关键词: 人工智能, 全科医生, 评估指标体系, 专家咨询

CLC Number:

R-05

ZHAO Yali,LU Xiaoqin,LIU Jue, et al. The Construction of Assessment Index System of Artificial Intelligence General Practitioner[J]. Chinese General Practice, 2025, 28(22): 2705-2711. DOI: 10.12114/j.issn.1007-9572.2025.0020.
赵亚利,路孝琴,刘珏等. 智能全科医生评估指标体系构建[J]. 中国全科医学, 2025, 28(22): 2705-2711. DOI: 10.12114/j.issn.1007-9572.2025.0020.

Figures/Tables 6

References 14

[1]	闫温馨，胡健，曾华堂，等. 人工智能大语言模型在基层医疗卫生服务中的应用与挑战[J]. 中国全科医学，2025，28 （1）：1-6.
[2]	清华大学万科公共卫生与健康学院，北京大学公共卫生学院，中国医师协会全科医师分会. 智能全科医生中国专家共识[J]. 中国全科医学，2025，28（2）：135-142.
[3]	DIAMOND I R, GRANT R C, FELDMAN B M, et al. Defining consensus: a systematic review recommends methodologic criteria for reporting of Delphi studies[J]. J Clin Epidemiol，2014，67（4）：401-409. DOI：10.1016/j.jclinepi.2013.12.002.
[4]	RAYMOND M R. Job analysis and the specification of content for licensure and certification examinations[J]. Appl Meas Educ，2001，14（4）：369-415. DOI：10.1207/s15324818ame1404_4.
[5]	刘珏，梁万年. 科技创新应对健康挑战[J]. 中国全科医学，2024，27（28）：前插页.
[6]	MOOR M, BANERJEE O, ABAD Z S H, et al. Foundation models for generalist medical artificial intelligence[J]. Nature，2023，616：259-265.
[7]	LI Y H, LI Y L, WEI M Y, et al. Innovation and challenges of artificial intelligence technology in personalized healthcare[J]. Sci Rep，2024，14（1）：18994.
[8]	ANDREW A. Potential applications and implications of large language models in primary care[J]. Fam Med Community Health，2024，12（Suppl 1）：e002602. DOI：10.1136/fmch-2023-002602.
[9]	李婷，潘朝路，金光辉，等. 基于岗位胜任力的全科住院医师规范化培训结业考核指标体系的构建[J].中国全科医学，2024，27（16）：1962-1970.
[10]	宫雪.中国全科医生岗位胜任力指标体系构建研究[D].沈阳：中国医科大学，2022.
[11]	连国华，陈亮，张向杰，等. 基于洋葱模型的社区全科医生岗位胜任力评价指标体系构建研究[J].中国全科医学，2022，25（31）：3955-3959.
[12]	王媛媛. 医学量表的编制与评价:理论、方法与实例操作[M]. 北京：北京大学医学出版社，2020：66-68.
[13]	ANDREW A. Potential applications and implications of large language models in primary care[J]. Fam Med Community Health，2024，12（Suppl 1）：e002602. DOI：10.1136/fmch-2023-002602.
[14]	江哲涵，奉世聪，王维民. 人工智能生成内容在医学教育中的应用、挑战与展望[J].中国教育信息化，2024，30（8）: 29-40.

项目	人数	项目	人数
性别		年龄
男	4	≤50岁	8
女	12	>50岁	8
学历		从事专业
本科	3	临床医学（含全科医学）	11
硕士研究生	6	公共卫生	2
博士研究生	7	卫生管理	2
职称		医学伦理学	1
副高级	5	工作单位
正高级	11	综合医院	1
目前岗位工作年限		社区卫生服务中心（站）	7
≤20年	6	高校	7
21~30年	7	社区卫生服务管理中心	1
>30年	3

项目	人数	项目	人数
性别		年龄
男	4	≤50岁	8
女	12	>50岁	8
学历		从事专业
本科	3	临床医学（含全科医学）	11
硕士研究生	6	公共卫生	2
博士研究生	7	卫生管理	2
职称		医学伦理学	1
副高级	5	工作单位
正高级	11	综合医院	1
目前岗位工作年限		社区卫生服务中心（站）	7
≤20年	6	高校	7
21~30年	7	社区卫生服务管理中心	1
>30年	3

指标	重要性			可操作性
指标	Kendall协调系数	χ²值	P值	Kendall协调系数	χ²值	P值
第一轮
一级指标	0.138	11.000	0.049	0.322	25.729	<0.001
二级指标	0.250	39.977	<0.001	0.272	43.572	<0.001
三级指标	0.152	123.727	<0.001	0.288	235.048	<0.001
第二轮
一级指标	0.125	10.000	0.075	0.323	25.833	<0.001
二级指标	0.144	23.111	0.010	0.233	37.298	<0.001
三级指标	0.103	87.570	0.002	0.206	175.079	<0.001
第三轮
一级指标	0.210	13.455	0.009	0.353	22.583	<0.001
二级指标	0.255	40.807	<0.001	0.245	39.207	<0.001
三级指标	0.145	111.232	<0.001	0.150	115.558	<0.001
总体	0.170	173.873	<0.001	0.170	174.334	<0.001

指标	重要性			可操作性
指标	Kendall协调系数	χ²值	P值	Kendall协调系数	χ²值	P值
第一轮
一级指标	0.138	11.000	0.049	0.322	25.729	<0.001
二级指标	0.250	39.977	<0.001	0.272	43.572	<0.001
三级指标	0.152	123.727	<0.001	0.288	235.048	<0.001
第二轮
一级指标	0.125	10.000	0.075	0.323	25.833	<0.001
二级指标	0.144	23.111	0.010	0.233	37.298	<0.001
三级指标	0.103	87.570	0.002	0.206	175.079	<0.001
第三轮
一级指标	0.210	13.455	0.009	0.353	22.583	<0.001
二级指标	0.255	40.807	<0.001	0.245	39.207	<0.001
三级指标	0.145	111.232	<0.001	0.150	115.558	<0.001
总体	0.170	173.873	<0.001	0.170	174.334	<0.001

一级指标	第一轮				第二轮				第三轮
	重要性		可操作性		重要性		可操作性		重要性		可操作性
	平均数	CV	平均数	CV	平均数	CV	平均数	CV	平均数	CV	平均数	CV
1专业知识	4.94	0.05	4.81	0.11	4.94	0.05	4.81	0.11	5.00	0.00	4.94	0.05
2基本医疗服务能力	5.00	0.00	4.94	0.05	4.94	0.05	4.75	0.12	4.94	0.05	4.56	0.16
3预防服务能力	4.94	0.05	4.50	0.16	4.88	0.07	4.50	0.18	4.94	0.05	4.69	0.13
4人际沟通能力	4.81	0.08	4.00	0.26	4.75	0.12	4.06	0.21	4.88	0.07	4.13	0.20
5职业精神与人文素养	4.81	0.08	3.94	0.30	4.69	0.13	4.00	0.24	—	—	—	—
6教育、学习与科研能力	4.69	0.13	4.44	0.16	4.63	0.13	4.44	0.20	4.69	0.10	4.44	0.14

The Construction of Assessment Index System of Artificial Intelligence General Practitioner

智能全科医生评估指标体系构建

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 6

References 14

Related Articles 15

Recommended Articles

Metrics

Comments

一级指标	权重	二级指标	权重	三级指标	权重
1专业知识	0.169	1-1全科医学基本理论、基本知识	0.085	1-1-1全科医学基本概念、基本理论和原则	0.022
				1-1-2全科医学相关人文社会科学知识	0.020
				1-1-3全科医学相关预防医学知识	0.022
				1-1-4全科医学相关科学研究知识	0.021
		1-2全科医学临床相关知识	0.084	1-2-1与疾病诊疗相关的各临床学科知识	0.022
				1-2-2中医和康复相关知识	0.020
				1-2-3临床服务常用技能操作规范	0.020
				1-2-4临床服务新进展及最新临床循证指南	0.022
2基本医疗服务能力	0.306	2-1临床诊疗服务	0.267	2-1-1智能辅助进行病史采集	0.022
				2-1-2智能获取或辅助体格检查	0.019
				2-1-3智能实验室检查的选择与结果解读	0.022
				2-1-4智能辅助诊断和鉴别诊断	0.022
				2-1-5健康咨询	0.021
				2-1-6智能辅助制定治疗方案	0.021
				2-1-7智能辅助进行危重症处理	0.021
				2-1-8智能辅助合理用药	0.021
				2-1-9智能辅助个性化康复及照护服务	0.020
				2-1-10智能辅助精准转诊	0.020
				2-1-11远程医疗照护服务	0.018
				2-1-12随访及慢性病监测服务	0.020
				2-1-13辅助医疗文书撰写	0.020
		2-2家庭保健服务	0.039	2-2-1家庭健康咨询	0.020
		2-2家庭保健服务	0.039	2-2-2家庭健康评估	0.019
3预防服务能力	0.239	3-1基本及重大公共卫生服务	0.157	3-1-1辅助居民健康档案建立和使用	0.022
				3-1-2健康宣教	0.020
				3-1-3孕产妇智能化保健服务	0.019
				3-1-4 0~6岁儿童智能化保健服务	0.021
				3-1-5老年人智能化健康服务	0.021
				3-1-6重型精神病智能化健康服务	0.016
				3-1-7辅助传染病及突发公共卫生事件报告和处置	0.019
				3-1-8辅助提供重大公共卫生服务	0.019
		3-2个性化健康管理服务	0.082	3-2-1个性化保健服务包的制定	0.020
				3-2-2健康风险因素评估及预测	0.021
				3-2-3中医药健康管理服务	0.019
				3-2-4体检规划	0.022
4医患沟通与医学伦理	0.145	4-1医患沟通	0.038	4-1-1倾听与共情	0.019
		4-1医患沟通	0.038	4-1-2辅助医患共同决策	0.019
		4-2医学伦理与法律	0.107	4-2-1遵守医疗法律法规	0.022
				4-2-2遵守职业道德	0.022
				4-2-3维护患者知情权和隐私权	0.020
				4-2-4服务风险识别与防范	0.022
5教育、学习与科研能力	0.141	5-1辅助教学能力	0.042	5-1-1辅助示教能力	0.021
		5-1辅助教学能力	0.042	5-1-2模拟实践培训	0.021
		5-2自主学习能力	0.040	5-2-1个性化课程学习	0.020
		5-2自主学习能力	0.040	5-2-2持续学习和更新能力	0.020
		5-3辅助科学研究能力	0.059	5-3-1辅助检索文献、解读和记录信息能力	0.020
		5-3辅助科学研究能力	0.059	5-3-2辅助撰写科研报告	0.019

[1]	CUI Longyan, DAI Gaolanxin, TAO Hongbing. Training Models for General Practitioners with Special Interests: Foreign Experiences and Chinese Insights [J]. Chinese General Practice, 2025, 28(22): 2720-2725.
[2]	ZHAO Can, SHEN Ying, CHEN Peimeng, PENG Houxuan, XI Qian, GU Jinmei, QIN Li, LIANG Ruiying, ZUO Yanli. An Assessment Research on Consultation Competence of RTME Graduates Trained Via the "5+3" Pathway in Township Health Centers in Guangxi Zhuang Autonomous Region [J]. Chinese General Practice, 2025, 28(22): 2731-2739.
[3]	YAN Wenxin, LIU Jue, LIANG Wannian. DeepSeek Empowers General Medicine: Potential Application and Prospect [J]. Chinese General Practice, 2025, 28(17): 2065-2069.
[4]	LIU Zhiyang, LI Hongyan, YANG Chuanghao. Distribution Characteristics and Equilibrium of General Practitioners among Provinces in China [J]. Chinese General Practice, 2025, 28(16): 1992-2000.
[5]	YE Qing, CHEN Mingmin, REN Jingjing. The Necessity and Path Exploration of Developing Psychosis Subspecialty among General Practitioners in Primary Care Settings [J]. Chinese General Practice, 2025, 28(16): 1950-1954.
[6]	GU Jie, HUANG Yanyan. Diagnosis and Comprehensive Management of Rare Diseases: the Indispensable Role of General Practitioners [J]. Chinese General Practice, 2025, 28(16): 1955-1960.
[7]	LI Yiting, TU Wenjing, YIN Tingting, MEI Ziqi, ZHANG Sumin, WANG Meng, XU Guihua. Application of Artificial Intelligence in Nutritional Management of Patients with Inflammatory Bowel Disease: a Scoping Review [J]. Chinese General Practice, 2025, 28(14): 1709-1716.
[8]	SHI Muran, WU Ning, SONG Lijuan. Present Situation of TCM General Practitioners in China and Suggestions on Statistical Optimization [J]. Chinese General Practice, 2025, 28(13): 1560-1566.
[9]	HUANG Jing, MIAO Yiting, HE Xuemei, JIANG Dongyang, LIANG Ying. The Job Satisfaction of General Practitioners in China and Its Influencing Factors: a Systematic Review [J]. Chinese General Practice, 2025, 28(10): 1220-1227.
[10]	WANG Ganhong, ZHANG Zihao, XI Meijuan, XIA Kaijian, ZHOU Yanting, CHEN Jian. Construction of an Artificial Intelligence Model and Application for an Automatic Recognition of Traditional Chinese Medicine Herbals Based on Convolutional Neural Networks [J]. Chinese General Practice, 2025, 28(09): 1128-1136.
[11]	ZHANG Peng, LIU Lidi, LIAO Xiaoyang, WU Jia, YANG Ziyu, ZHANG Yalin. The Job Satisfaction and Influencing Factors among General Practitioners in Primary Healthcare Institutions [J]. Chinese General Practice, 2025, 28(07): 869-874.
[12]	PANG Shu, DIAO Yang, CHEN Xiangxue, JIANG Chunyan. Challenges and Countermeasures of Medically Unexplained Symptoms [J]. Chinese General Practice, 2025, 28(07): 807-813.
[13]	YAO Dingye, LUO Guiping, SUN Junsheng, REN Jingjing. Diagnosis and Treatment of Halitosis: a General Practice Perspective [J]. Chinese General Practice, 2025, 28(07): 900-904.
[14]	WANG Wenting, WANG Jing, ZHOU Fengchen, LIU Kening, WANG Sheng. Research on the Service Quality Evaluation System Construction of Future Community Health Scenario [J]. Chinese General Practice, 2025, 28(05): 624-630.
[15]	LI Lingqi, GAO Yinyan, ZHANG Yuqin, SUN Dingkui, WU Xinyin, ZHANG Weiru. Survey on the Status and Training Demands of Capabilities for Diagnosing and Treating Common Diseases of Primary Care General Practitioners in Hunan Province [J]. Chinese General Practice, 2025, 28(04): 443-449.