The Construction of Assessment Index System of Artificial Intelligence General Practitioner

doi:10.12114/j.issn.1007-9572.2025.0020

Chinese General Practice ›› 2025, Vol. 28 ›› Issue (22): 2705-2711.DOI: 10.12114/j.issn.1007-9572.2025.0020

• Special Research Report • Next Articles

The Construction of Assessment Index System of Artificial Intelligence General Practitioner

1. School of General Medicine and Continuing Education, Capital Medical University, Beijing 100069, China
2. School of Public Health, Peking University, Beijing 100091, China
3. Beijing Baichuan Intelligent Technology Co., Ltd, Beijing 100084, China
4. Vanke School of Public Health and Health, Tsinghua University, Beijing 100084, China

Received:2025-02-06 Revised:2025-03-13 Published:2025-08-05 Online:2025-06-30
Contact: LIU Min, LIANG Wannian
About author:
ZHAO Yali and LU Xiaoqin are co-first authors

智能全科医生评估指标体系构建

1．100069　北京市，首都医科大学全科医学与继续教育学院
2．100191　北京市，北京大学公共卫生学院
3．100084　北京市，北京百川智能科技有限公司
4．100084　北京市，清华大学万科公共卫生与健康学院

通讯作者: 刘民, 梁万年
作者简介:
赵亚利与路孝琴为共同第一作者
作者贡献：
梁万年、刘民负责课题构思、设计、实施、文章撰写等全程审核和把关；路孝琴、赵亚利、刘珏参与课题实施、文章撰写及修改；张艺帆、朱祖懿、陈开元参与课题实施。
基金资助:
科技创新2030——"新一代人工智能"重大项目(2021ZD0114100); 清华大学文科建设"双高"计划项目—AI赋能基层医疗服务研究(2024TSG06402)

Abstract

Abstract:

Background

Developing and promoting intelligent medical assistance information systems is an important means to strengthen the capabilities of general practitioners. It is particularly urgent to standardize and evaluate the performance and effectiveness of intelligent assistance system development.

Objective

To construct an evaluation index system for intelligent general practitioners, and provide scientific tools for evaluating the service ability of intelligent general practitioners.

Methods

From December in 2024 to January in 2025, the evaluation index system for intelligent general practitioners with indicator weights was constructed through literature review and Delphi expert consultation.

Results

The positive coefficient of the three rounds of expert consultation was 100%, the authority coefficient was > 0.8. The coefficients of concordance for the importance of indicators at various levels were 0.210, 0.255, and 0.145, respectively, while those for feasibility were 0.353, 0.245, and 0.150. The final evaluation index system comprised five first-level indicators, 11 second-level indicators, and 47 third-level indicators. The first-level indicators were professional knowledge, basic medical service, active clinical prevention service, physician-patient communication and medical ethics, and education, learning, and research, with weights of 0.169, 0.306, 0.239, 0.145, and 0.141, respectively.

Conclusion

This study established the evaluation indicators for intelligent general practitioners, providing a reference for further standardizing the development and application of intelligent general practitioners. It has significant practical implications for enhancing the clinical practice level of general practitioners through technological empowerment.

Key words: Artificial intelligence, General practitioner, Evaluation index system, Expert consultation

摘要：

背景

开发并推广智能医疗辅助信息系统是加强全科医生服务能力的重要手段，规范并评价智能辅助系统开发的性能和效果尤为迫切。

目的

构建智能全科医生评估指标体系，为评估智能全科医生的服务能力提供科学工具。

方法

2024年12月—2025年1月，通过文献研究和德尔菲法，构建智能全科医生评估指标体系，并确定其指标权重。

结果

三轮专家咨询的积极系数均为100%，权威系数>0.8，各级指标的重要性协调系数分别为0.210、0.255、0.145，可行性协调系数分别为0.353、0.245、0.150，最终确定的考核指标体系包括5个一级指标、11个二级指标、47个三级指标。一级指标分别为专业知识、基本医疗服务能力、预防服务能力、医患沟通与医学伦理、教育学习与科研能力，其权重分别为0.169、0.306、0.239、0.145、0.141。

结论

本研究构建了智能全科医生评估指标，对进一步规范智能全科医生的开发及应用提供参考范围，对科技赋能提高全科医生临床实践水平具有重要现实意义。

关键词: 人工智能, 全科医生, 评估指标体系, 专家咨询

CLC Number:

R-05

ZHAO Yali,LU Xiaoqin,LIU Jue, et al. The Construction of Assessment Index System of Artificial Intelligence General Practitioner[J]. Chinese General Practice, 2025, 28(22): 2705-2711. DOI: 10.12114/j.issn.1007-9572.2025.0020.
赵亚利,路孝琴,刘珏等. 智能全科医生评估指标体系构建[J]. 中国全科医学, 2025, 28(22): 2705-2711. DOI: 10.12114/j.issn.1007-9572.2025.0020.

Figures/Tables 6

References 14

[1]	闫温馨，胡健，曾华堂，等. 人工智能大语言模型在基层医疗卫生服务中的应用与挑战[J]. 中国全科医学，2025，28 （1）：1-6.
[2]	清华大学万科公共卫生与健康学院，北京大学公共卫生学院，中国医师协会全科医师分会. 智能全科医生中国专家共识[J]. 中国全科医学，2025，28（2）：135-142.
[3]	DIAMOND I R, GRANT R C, FELDMAN B M, et al. Defining consensus: a systematic review recommends methodologic criteria for reporting of Delphi studies[J]. J Clin Epidemiol，2014，67（4）：401-409. DOI：10.1016/j.jclinepi.2013.12.002.
[4]	RAYMOND M R. Job analysis and the specification of content for licensure and certification examinations[J]. Appl Meas Educ，2001，14（4）：369-415. DOI：10.1207/s15324818ame1404_4.
[5]	刘珏，梁万年. 科技创新应对健康挑战[J]. 中国全科医学，2024，27（28）：前插页.
[6]	MOOR M, BANERJEE O, ABAD Z S H, et al. Foundation models for generalist medical artificial intelligence[J]. Nature，2023，616：259-265.
[7]	LI Y H, LI Y L, WEI M Y, et al. Innovation and challenges of artificial intelligence technology in personalized healthcare[J]. Sci Rep，2024，14（1）：18994.
[8]	ANDREW A. Potential applications and implications of large language models in primary care[J]. Fam Med Community Health，2024，12（Suppl 1）：e002602. DOI：10.1136/fmch-2023-002602.
[9]	李婷，潘朝路，金光辉，等. 基于岗位胜任力的全科住院医师规范化培训结业考核指标体系的构建[J].中国全科医学，2024，27（16）：1962-1970.
[10]	宫雪.中国全科医生岗位胜任力指标体系构建研究[D].沈阳：中国医科大学，2022.
[11]	连国华，陈亮，张向杰，等. 基于洋葱模型的社区全科医生岗位胜任力评价指标体系构建研究[J].中国全科医学，2022，25（31）：3955-3959.
[12]	王媛媛. 医学量表的编制与评价:理论、方法与实例操作[M]. 北京：北京大学医学出版社，2020：66-68.
[13]	ANDREW A. Potential applications and implications of large language models in primary care[J]. Fam Med Community Health，2024，12（Suppl 1）：e002602. DOI：10.1136/fmch-2023-002602.
[14]	江哲涵，奉世聪，王维民. 人工智能生成内容在医学教育中的应用、挑战与展望[J].中国教育信息化，2024，30（8）: 29-40.

项目	人数	项目	人数
性别		年龄
男	4	≤50岁	8
女	12	>50岁	8
学历		从事专业
本科	3	临床医学（含全科医学）	11
硕士研究生	6	公共卫生	2
博士研究生	7	卫生管理	2
职称		医学伦理学	1
副高级	5	工作单位
正高级	11	综合医院	1
目前岗位工作年限		社区卫生服务中心（站）	7
≤20年	6	高校	7
21~30年	7	社区卫生服务管理中心	1
>30年	3

项目	人数	项目	人数
性别		年龄
男	4	≤50岁	8
女	12	>50岁	8
学历		从事专业
本科	3	临床医学（含全科医学）	11
硕士研究生	6	公共卫生	2
博士研究生	7	卫生管理	2
职称		医学伦理学	1
副高级	5	工作单位
正高级	11	综合医院	1
目前岗位工作年限		社区卫生服务中心（站）	7
≤20年	6	高校	7
21~30年	7	社区卫生服务管理中心	1
>30年	3

指标	重要性			可操作性
指标	Kendall协调系数	χ²值	P值	Kendall协调系数	χ²值	P值
第一轮
一级指标	0.138	11.000	0.049	0.322	25.729	<0.001
二级指标	0.250	39.977	<0.001	0.272	43.572	<0.001
三级指标	0.152	123.727	<0.001	0.288	235.048	<0.001
第二轮
一级指标	0.125	10.000	0.075	0.323	25.833	<0.001
二级指标	0.144	23.111	0.010	0.233	37.298	<0.001
三级指标	0.103	87.570	0.002	0.206	175.079	<0.001
第三轮
一级指标	0.210	13.455	0.009	0.353	22.583	<0.001
二级指标	0.255	40.807	<0.001	0.245	39.207	<0.001
三级指标	0.145	111.232	<0.001	0.150	115.558	<0.001
总体	0.170	173.873	<0.001	0.170	174.334	<0.001

指标	重要性			可操作性
指标	Kendall协调系数	χ²值	P值	Kendall协调系数	χ²值	P值
第一轮
一级指标	0.138	11.000	0.049	0.322	25.729	<0.001
二级指标	0.250	39.977	<0.001	0.272	43.572	<0.001
三级指标	0.152	123.727	<0.001	0.288	235.048	<0.001
第二轮
一级指标	0.125	10.000	0.075	0.323	25.833	<0.001
二级指标	0.144	23.111	0.010	0.233	37.298	<0.001
三级指标	0.103	87.570	0.002	0.206	175.079	<0.001
第三轮
一级指标	0.210	13.455	0.009	0.353	22.583	<0.001
二级指标	0.255	40.807	<0.001	0.245	39.207	<0.001
三级指标	0.145	111.232	<0.001	0.150	115.558	<0.001
总体	0.170	173.873	<0.001	0.170	174.334	<0.001

一级指标	第一轮				第二轮				第三轮
	重要性		可操作性		重要性		可操作性		重要性		可操作性
	平均数	CV	平均数	CV	平均数	CV	平均数	CV	平均数	CV	平均数	CV
1专业知识	4.94	0.05	4.81	0.11	4.94	0.05	4.81	0.11	5.00	0.00	4.94	0.05
2基本医疗服务能力	5.00	0.00	4.94	0.05	4.94	0.05	4.75	0.12	4.94	0.05	4.56	0.16
3预防服务能力	4.94	0.05	4.50	0.16	4.88	0.07	4.50	0.18	4.94	0.05	4.69	0.13
4人际沟通能力	4.81	0.08	4.00	0.26	4.75	0.12	4.06	0.21	4.88	0.07	4.13	0.20
5职业精神与人文素养	4.81	0.08	3.94	0.30	4.69	0.13	4.00	0.24	—	—	—	—
6教育、学习与科研能力	4.69	0.13	4.44	0.16	4.63	0.13	4.44	0.20	4.69	0.10	4.44	0.14

The Construction of Assessment Index System of Artificial Intelligence General Practitioner

智能全科医生评估指标体系构建

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 6

References 14

Related Articles 15

Recommended Articles

Metrics

Comments

一级指标	权重	二级指标	权重	三级指标	权重
1专业知识	0.169	1-1全科医学基本理论、基本知识	0.085	1-1-1全科医学基本概念、基本理论和原则	0.022
				1-1-2全科医学相关人文社会科学知识	0.020
				1-1-3全科医学相关预防医学知识	0.022
				1-1-4全科医学相关科学研究知识	0.021
		1-2全科医学临床相关知识	0.084	1-2-1与疾病诊疗相关的各临床学科知识	0.022
				1-2-2中医和康复相关知识	0.020
				1-2-3临床服务常用技能操作规范	0.020
				1-2-4临床服务新进展及最新临床循证指南	0.022
2基本医疗服务能力	0.306	2-1临床诊疗服务	0.267	2-1-1智能辅助进行病史采集	0.022
				2-1-2智能获取或辅助体格检查	0.019
				2-1-3智能实验室检查的选择与结果解读	0.022
				2-1-4智能辅助诊断和鉴别诊断	0.022
				2-1-5健康咨询	0.021
				2-1-6智能辅助制定治疗方案	0.021
				2-1-7智能辅助进行危重症处理	0.021
				2-1-8智能辅助合理用药	0.021
				2-1-9智能辅助个性化康复及照护服务	0.020
				2-1-10智能辅助精准转诊	0.020
				2-1-11远程医疗照护服务	0.018
				2-1-12随访及慢性病监测服务	0.020
				2-1-13辅助医疗文书撰写	0.020
		2-2家庭保健服务	0.039	2-2-1家庭健康咨询	0.020
		2-2家庭保健服务	0.039	2-2-2家庭健康评估	0.019
3预防服务能力	0.239	3-1基本及重大公共卫生服务	0.157	3-1-1辅助居民健康档案建立和使用	0.022
				3-1-2健康宣教	0.020
				3-1-3孕产妇智能化保健服务	0.019
				3-1-4 0~6岁儿童智能化保健服务	0.021
				3-1-5老年人智能化健康服务	0.021
				3-1-6重型精神病智能化健康服务	0.016
				3-1-7辅助传染病及突发公共卫生事件报告和处置	0.019
				3-1-8辅助提供重大公共卫生服务	0.019
		3-2个性化健康管理服务	0.082	3-2-1个性化保健服务包的制定	0.020
				3-2-2健康风险因素评估及预测	0.021
				3-2-3中医药健康管理服务	0.019
				3-2-4体检规划	0.022
4医患沟通与医学伦理	0.145	4-1医患沟通	0.038	4-1-1倾听与共情	0.019
		4-1医患沟通	0.038	4-1-2辅助医患共同决策	0.019
		4-2医学伦理与法律	0.107	4-2-1遵守医疗法律法规	0.022
				4-2-2遵守职业道德	0.022
				4-2-3维护患者知情权和隐私权	0.020
				4-2-4服务风险识别与防范	0.022
5教育、学习与科研能力	0.141	5-1辅助教学能力	0.042	5-1-1辅助示教能力	0.021
		5-1辅助教学能力	0.042	5-1-2模拟实践培训	0.021
		5-2自主学习能力	0.040	5-2-1个性化课程学习	0.020
		5-2自主学习能力	0.040	5-2-2持续学习和更新能力	0.020
		5-3辅助科学研究能力	0.059	5-3-1辅助检索文献、解读和记录信息能力	0.020
		5-3辅助科学研究能力	0.059	5-3-2辅助撰写科研报告	0.019

[1]	LI Zhenyu, ZHU Qiong, CHEN Rong, LU Jing, YU Zhijie, SHEN Fulai, SHEN Yi, FENG Yu, LIU Mei. A Single-group Community Intervention Trial on Improving the Service Efficiency of Contracted Residents Via an Enhanced Medical-preventive "Micro" Integration Service Package [J]. Chinese General Practice, 2026, 29(21): 3020-3027.
[2]	LIU Hongya, GUO Aizhen, JIN Hua, FU Qiangqiang, SHI Jianjun, ZHANG Hanzhi, YANG Sen, YU Dehua. The Necessity and Training Strategies for Expanding the Responsibilities in General Practice Niche in China: a Study on the Continuous Development of General Practitioners' Sub-specialties Based on the Delphi Method [J]. Chinese General Practice, 2026, 29(20): 2781-2789.
[3]	YAN Wen, ZHANG Hanzhi, JIN Hua, QIAN Jie, YU Dehua. Study on the Diagnosis and Treatment Capacity for Depressive Disorders in Community Health Service Institutions in Shanghai [J]. Chinese General Practice, 2026, 29(20): 2790-2799.
[4]	PANG Shu, SUN ying, JIANG Chunyan. Comparison of the Effectiveness of Fried's Frailty Phenotype and the FRAIL Scale in Assessing Pre-frailty among Community-dwelling Older Adults Undergoing Health Examinations [J]. Chinese General Practice, 2026, 29(19): 2664-2670.
[5]	ZHAO Xinxin, SUN Xiaoting, LUO Xinhao, SUN Jin, PENG Derong, ZHENG Jialin. Research on the Localization of the Patient-centered Medical Home Model in China: Adaptation Mechanisms, Challenges, and Pathway Analysis [J]. Chinese General Practice, 2026, 29(19): 2608-2613.
[6]	HU Min, LYU Xiangdong. Accuracy of Artificial Intelligence in Remote Electrocardiography Diagnosis [J]. Chinese General Practice, 2026, 29(18): 2498-2503.
[7]	AN Xian, HUANG Peng, REN Jingjing. Investigation on the Cognition and Current Status of General Practitioners in the Multidisciplinary Diagnosis and Treatment of Medically Unexplained Symptoms [J]. Chinese General Practice, 2026, 29(18): 2472-2481.
[8]	LIU Fang, LIU Weinan, XIANG Yuanyue, LU Cheng, ZHU Binhai. Factors Influencing Work-related Flow among "3+2" Order-oriented Assistant General Practitioners in Jiangsu Province [J]. Chinese General Practice, 2026, 29(18): 2454-2460.
[9]	HUANG Jiaoling, KANG Li, GE Min, PAN Zhigang, LIANG Hong. Fifteen Years of Development and Future Directions of China's Family Doctor Contractual Service [J]. Chinese General Practice, 2026, 29(17): 2296-2302.
[10]	XIANG Tong, YU Haiyan, LI Mingyue, GAO Wenjuan, ZHU Xiayuan, WU Hao. Analysis of Factors Influencing of Prediabetes Management Behaviors among Primary Care Physicians and Nurses: a Qualitative Study [J]. Chinese General Practice, 2026, 29(16): 2259-2263.
[11]	YAO Dingye, LUO Guiping, SUN Junsheng, LI Hui. Research Progress on Identifying Bipolar Ⅱ Disorder and Depressive Disorder in Primary Care [J]. Chinese General Practice, 2026, 29(15): 2092-2099.
[12]	XU Qinghong, WANG Jing, HUANG Yuan, ZHU Ci, CAO Wenbing, LI Ying. A Validation Study on Measuring Colorectal Polyp Size Using a Deep Learning-based Real-time Colorectal Polyp Measurement System [J]. Chinese General Practice, 2026, 29(14): 1873-1877.
[13]	FU Mingyuan, LIU Xinying, YU Xiaoyi, KONG Min, GE Caiying. Investigation on the Current Situation and Training Demand of Community Doctors Participating in Science Popularization in Beijing [J]. Chinese General Practice, 2026, 29(13): 1739-1744.
[14]	JIAO Shuting, ZHAO Yali. A Qualitative Study on the Current Status of Chronic Pruritus Services for the Elderly in Community [J]. Chinese General Practice, 2026, 29(13): 1682-1687.
[15]	LIU Juanjuan, SHI Guoqing, REN Jingjing. Application of Teaching Feedback and Reflective Learning in Standardized Training for General Practitioners [J]. Chinese General Practice, 2026, 29(13): 1732-1738.