Development of an IMOI Model-based Evaluation System for Effectiveness of a Family Doctor Team in Beijing

doi:10.12114/j.issn.1007-9572.2022.0173

Abstract

Abstract:

Background

In China, team-based service delivery model is a major emerging model for contracted family doctor services, but there is a lack of a tool for assessing the overall effectiveness of the family doctorteam.

Objective

To develop a IMOI model-based system for assessing the effectiveness of family doctor teams in Beijing, aiming at proving a tool for guiding the improvement and continuous development of the family doctor team.

Methods

The first draft of the Family Doctor Team Effectiveness Evaluation System (FDTEES) was developed using literature review and personal interview. Then the indicators of the system were assessed and revised according to consensuses of our analysis and the results of two rounds of consultations carried out between May and July 2021 using the Delphi technique (one was conducted with 24 experts, and the other with 21 experts) . The weight of the indicators of the system was determined by and analytic network process.

Results

The response rate of experts in the first, and second round of consultation was 87.5% (21/24) , and 100.0% (21/21) , respectively. The authority coefficients for the consultations ranged from 0.88 to 0.91. Kendall's W for the importance and applicability of the indicators of the FDTEES was 0.138 (P<0.001) , and 0.263 (P<0.001) , respectively, in the first round of consultation, was 0.255 (P<0.001) , and 0.257 (P<0.001) , respectively, in the second round of consultation. The final FDTEES consists of 71 indicators, including 7 first-level indicators〔team building (0.155) , quality of team members (0.155) , team member relationship (0.097) , team process (0.141) , team service results (0.155) , perception and satisfaction (0.155) , team redevelopment (0.141) 〕, 16 second-level indicators, and 48 third-level indicators.

Conclusion

The IMOI model-based FDTEES developed by us assesses the effectiveness of family doctor teams in Beijing from a team perspective, which may be a reference for effectiveness evaluation and development of family doctor teams in Beijing.

Key words: Contracted family doctor services, IMOI model, Evaluation indicators

摘要：

背景

以团队为单位开展工作正在成为我国家庭医生签约服务的主要提供形式，但是目前尚缺乏专门针对团队的、能够反映团队整体有效性的评估工具。

目的

在投入-中介-产出-再投入（IMOI）模型基础上建立一套北京市家庭医生签约服务团队有效性评估指标，以指导家庭医生签约服务团队的自我改进与持续发展。

方法

通过文献分析法和个人访谈法，初步构建家庭医生签约服务团队有效性评估指标体系。2021年5—7月，采用德尔菲法分别对24、21名专家进行两轮专家咨询，结合课题组分析与专家建议确定评估指标。运用网络层次分析法确定指标权重。

结果

两轮专家咨询的问卷回收率分别为87.5%（21/24）、100.0%（21/21），专家权威系数为0.88~0.91。两轮专家咨询的指标重要性协调系数分别为0.138（P<0.001）、0.255（P<0.001），可行性协调系数分别为0.263（P<0.001）、0.257（P<0.001）。最终构建了71个家庭医生签约服务团队评估指标，其中一级指标7个（团队建设、成员素质、团队关系、团队过程、团队服务结果、认知及满意度、团队再发展，权重分别为0.155、0.155、0.097、0.141、0.155、0.155、0.141）、二级指标16个、三级指标48个。

结论

本研究构建了基于IMOI模型的北京市家庭医生签约服务团队有效性评估指标，从团队视角反映了家庭医生签约服务团队的有效性，可为北京市家庭医生签约服务团队的考评与发展提供参考。

关键词: 家庭医生签约服务, IMOI模型, 评估指标

Wenhan MA,Yi CHANG,Chao XU, et al. Development of an IMOI Model-based Evaluation System for Effectiveness of a Family Doctor Team in Beijing[J]. Chinese General Practice, 2022, 25(19): 2404-2413. DOI: 10.12114/j.issn.1007-9572.2022.0173.
马文翰,常艺,徐超等. 基于IMOI模型的北京市家庭医生签约服务团队有效性评估指标构建[J]. 中国全科医学, 2022, 25(19): 2404-2413. DOI: 10.12114/j.issn.1007-9572.2022.0173.

Figures/Tables 7

References 51

[1]	KEBE N N M K，CHIOCCHIO F，BAMVITA J M，et al. Variables associated with interprofessional collaboration：a comparison between primary healthcare and specialized mental health teams[J]. BMC Fam Pract，2020，21（1）：4. DOI：10.1186/s12875-019-1076-7.
[2]	MITCHELL P，WYNIA M K，GOLDEN R，et al. Core principles & values of effective team-based health care[J]. J Interprof Care，2014，28（1）：79-80. DOI：10.3109/13561820.2013.820906.
[3]	MULVALE G，EMBRETT M，RAZAVI S D. "Gearing Up" to improve interprofessional collaboration in primary care：a systematic review and conceptual framework[J]. BMC Fam Pract，2016，17：83. DOI：10.1186/s12875-016-0492-1.
[4]	国家卫生健康委老龄健康司.全国老龄办关于做好老年人冬春季新冠肺炎疫情防控工作的通知[A/OL].（2021-02-08）[2021-12-05].
[5]	国家卫生健康委基层卫生健康司. 关于做好2020年基本公共卫生服务项目工作的通知[A/OL].（2020-06-16）[2021-12-05].
[6]	国家卫生健康委医政医管局.关于印发长期处方管理规范（试行）的通知[A/OL].（2021-08-12）[2021-12-05].
[7]	国家卫生健康委办公厅关于进一步加强贫困地区卫生健康人才队伍建设的通知[A/OL].（2019-04-18）[2021-12-05].
[8]	KUMRA T，HSU Y J，CHENG T L，et al. The association between organizational cultural competence and teamwork climate in a network of primary care practices[J]. Health Care Manage Rev，2020，45（2）：106-116. DOI：10.1097/HMR.0000000000000205.
[9]	ROSEN M A，DIAZGRANADOS D，DIETZ A S，et al. Teamwork in healthcare：key discoveries enabling safer，high-quality care[J]. Am Psychol，2018，73（4）：433-450.
[10]	DONNELY C，ASHCROFT R，MOFINA A，et al. Measuring the performance of interprofessional primary health care teams：understanding the teams perspective[J]. Prim Health Care Res Dev，2019，20：e125. DOI：10.1017/S1463423619000409.
[11]	BAKER D P，GALLO J. Measuring and diagnosing team performance[M]. Oxford：Oxford University Press，2013：234-238.
[12]	杨肖锋.团队有效性研究进展综述[J].管理观察，2018，38（4）：35-39.
[13]	SUDESHIKA T，NAUNTON M，PETERSON G M，et al. Evaluation of general practice pharmacists：study protocol to assess interprofessional collaboration and team effectiveness[J]. Int J Environ Res Public Health，2021，18（3）：966.
[14]	DIAZGRANADOS D，DOW A W，APPELBAUM N. Interprofessional practice in different patient care settings：a qualitative exploration[J]. J Interprof Care，2018，32（2）：151-159. DOI：10.1080/13561820.2017.1383886.
[15]	SHOEMAKER S J，PARCHMAN M L，FUDA K K，et al. A review of instruments to measure interprofessional team-based primary care[J]. J Interprof Care，2016，30（4）：423-432.
[16]	RICHARD L，CHIOCCHIO F，ESSIEMBRE H，et al. Communities of practice as a professional and organizational development strategy in local public health organizations in Quebec，Canada：an evaluation model[J]. Healthc Policy，2014，9（3）：26-39.
[17]	FLEURY M J，GRENIER G，BAMVITA J M，et al. Variables associated with perceived work role performance among professionals in multidisciplinary mental health teams overall and in primary care and specialized service teams，respectively[J]. Eval Health Prof，2019，42（2）：169-195.
[18]	ILGEN D，HOLLENBECK J，JOHNSON M，et al. Teams in organizations：from input-process-output models to IMOI models[J]. Annu Rev Psychol，2005，56（1）：517-543. DOI：10.1146/annurev.psych.56.091103.070250.
[19]	MARKON M P，CHIOCCHIO F，FLEURY M J. Modelling the effect of perceived interdependence among mental healthcare professionals on their work role performance[J]. J Interprof Care，2017，31（4）：520-528.
[20]	马文翰，史大桢，赵亚利.基于IMOI模型构建家庭医生签约服务团队评估指标的系统综述[J].中国全科医学，2022，25（7）：797-802. DOI：10.12114/j.issn.1007-9572.2021.00.235.
[21]	王华芬，王惠琴，宋剑平，等.护理绩效独立考核指标体系的建立[J].中华护理杂志，2015，50（3）：262-266. DOI：10.3761/j.issn.0254-1769.2015.03.001.
[22]	DRUCKER P F. 管理的实践[M]. 北京：机械工业出版社，2009．
[23]	WANG Y，WANG T，WANG A，et al. Identifying the competencies of China's paediatric residents：a modified Delphi method study[J]. BMJ Open，2021，11：e041741. DOI：10.1136/bmjopen-2020-041741.
[24]	张宇斐，柴建军，胡冰水，等. 基于德尔菲法和层次分析法的现代医院门诊医疗质控指标体系构建与应用[J]. 中国医院，2021，25（3）：36-39. DOI：10.19660/j.issn.1671-0592.2021.3.11.
[25]	SAATY T L. Axiomatic foundation of the analytic hierarchy process[J]. Manag Sci，1986，32（7）：841-855. DOI：10.1287/mnsc.32.7.841.
[26]	贺纯纯，王应明.网络层次分析法研究述评[J].科技管理研究，2014，34（3）：204-208，213.
[27]	MARCARELLI G. Evaluating healthcare organizations by a network model which integrates ANP with a revised-BSC[J]. IJAHP，2017，9（1）：443. DOI：10.13033/ijahp.v9i1.443.
[28]	LAI J H K，HOU H C，EDWARDS D J，et al. An analytic network process model for hospital facilities management performance evaluation[J]. Facilities，2021，12：82. DOI：10.1108/F-09-2021-0082.
[29]	杨练，张雪莉，景琳，等.基于网络层次分析法的乡村医生政府补助性收入策略指标体系研究[J].中国全科医学，2016，19（16）：1943-1945，1950. DOI：10.3969/j.issn.1007-9572.2016.16.020.
[30]	吴卫. 大型公立医院后勤管理绩效评价研究[D]. 北京：北京建筑大学，2020.
[31]	KANNAN D，KHODAVERDI R，OLFAT L，et al. Integrated fuzzy multi criteria decision making method and multi-objective programming approach for supplier selection and order allocation in a green supply chain[J]. J Clean Prod，2013，47（9）：355-367. DOI：10.1016/j.jclepro.2013.02.010.
[32]	SAATY T L. Modeling unstructured decision problems：the theory of analytical hierarchies[J]. Math Comput Simulat，1978，20（3）：88-102.
[33]	LI Y，LI J，LI B，et al. An evaluation index system for research efficiency of research-oriented hospitals in China[J]. Inquiry，2021，58：469580211059469.
[34]	邓雪，李家铭，曾浩健，等.层次分析法权重计算方法分析及其应用研究[J].数学的实践与认识，2012，42（7）：93-100.
[35]	肖跃.网络安全服务项目质量评价体系研究[D]. 北京：北京邮电大学，2020.
[36]	SULLIVAN G M. A primer on the validity of assessment instruments[J]. J Grad Med Educ，2011，3（2）：119-120. DOI：10.4300/JGME-D-11-00075.1.
[37]	朱光兴，郭东强. 高校科技创新团队绩效评价体系构建：基于AHP-IMOI模型[J].教育评论，2019，37（6）：71-77.
[38]	张颖，季聪华，李秋爽，等. 中医临床实践指南制修订中德尔菲法的统计分析方法[J]. 中华中医药杂志，2018，33（1）：249-251.
[39]	KILPATRICK K，PAQUETTE L，BIRD M，et al. Team functioning and beliefs about team effectiveness in inter-professional teams：questionnaire development and validation[J]. J Multidiscip Healthc，2019，12：827-839.
[40]	毛强，茅宁. 影响团队有效性的团队组合因素和中介因素：基于"IMOI"模型的评述[C]. 大连：第五届中国管理学年会（MAM2010）论文集，2010：2544-2553.
[41]	ROCKETT T L，OKHUYSEN G A. Familiarity in groups：exploring the relationship between inter-member familiarity and group behavior[J]. Research on Managing Groups and Teams，2002，4：173-201. DOI：10.1016/S1534-0856(02)04008-2.
[42]	TROSTER C，MEHRA A，VAN KNIPPENBERG D. Structuring for team success：the interactive effects of network structure and cultural diversity on team potency and performance[J]. OBHDP，2014，124（2）：245-255. DOI：10.1016/j.obhdp.2014.04.003.
[43]	GOH T T，ECCLES M P，STEEN N. Factors predicting team climate，and its relationship with quality of care in general practice[J]. BMC Health Serv Res，2009，9：138.
[44]	北京市卫生健康委员会. 北京市卫生健康委员会关于印发2020年北京市家庭医生签约服务绩效评价工作方案的通知[A/OL]. （2020-10-13）[2021-12-06].
[45]	北京市卫生健康委员会北京市中医管理局关于开展2019年度社区卫生与基本公共卫生服务绩效考核的通知[A/OL]. （2021-02-01）[2021-12-06].
[46]	江燕燕. 跨期视角下的高校科研创新团队绩效综合评价研究[J]. 产业科技创新，2020，2（11）：26-28.
[47]	JOHNSTON S，GREEN M，THILLE P，et al. Performance feedback：an exploratory study to examine the acceptability and impact for interdisciplinary primary care teams[J]. BMC Fam Pract，2011，12：14. DOI：10.1186/1471-2296-12-14.
[48]	WAGNER D J，DURBIN J，BARNSLEY J，et al. Measurement without management：qualitative evaluation of a voluntary audit & feedback intervention for primary care teams[J]. BMC Health Serv Res，2019，19（1）：419. DOI：10.1186/s12913-019-4226-7.
[49]	AAFP. Vision and principles of a quality measurement strategy for primary care（position paper）[EB/OL].[2021-12-06].
[50]	侯进. 全科医疗服务团队有效性评价及提升策略[J]. 中国全科医学，2020，23（4）：419-423. DOI：10.12114/j.issn.1007-9572.2020.00.056.
[51]	汪洋，韩建军，许岩丽. 大洋彼岸的涛声：美国新版初级卫生保健质量评估策略对中国全科医疗服务质量评估体系的启示[J]. 中国全科医学，2019，22（16）：1889-1899. DOI：10.12114/j.issn.1007-9572.2019.00.293.

标度	定义
1	i元素与j元素同等重要
3	i元素比j元素略重要
5	i元素比j元素较重要
7	i元素比j元素非常重要
9	i元素比j元素绝对重要
2，4，6，8	分别代表上述相邻判断的中间值
倒数	j元素对i元素的重要性标度

标度	定义
1	i元素与j元素同等重要
3	i元素比j元素略重要
5	i元素比j元素较重要
7	i元素比j元素非常重要
9	i元素比j元素绝对重要
2，4，6，8	分别代表上述相邻判断的中间值
倒数	j元素对i元素的重要性标度

基本情况		例数	基本情况		例数
性别			学历
	男	6（28.6）		本科	7（33.3）
	女	15（71.4）		硕士研究生	8（38.1）
年龄（岁）				博士研究生	5（23.8）
	30~39	1（4.8）		其他	1（4.8）
	40~49	15（71.4）	专业
	≥50	5（23.8）		临床医学	13（61.9）
工作年限（年）				护理	2（9.5）
	10~19	7（33.3）		公共卫生	4（19.0）
	20~29	9（42.9）		管理学	2（9.5）
	≥30	5（23.8）	工作领域
职称				卫生行政管理单位	4（19.0）
	副高级	8（38.1）		社区卫生服务机构	11（52.4）
	正高级	13（61.9）		高校	4（19.0）
				其他	2（9.5）

基本情况		例数	基本情况		例数
性别			学历
	男	6（28.6）		本科	7（33.3）
	女	15（71.4）		硕士研究生	8（38.1）
年龄（岁）				博士研究生	5（23.8）
	30~39	1（4.8）		其他	1（4.8）
	40~49	15（71.4）	专业
	≥50	5（23.8）		临床医学	13（61.9）
工作年限（年）				护理	2（9.5）
	10~19	7（33.3）		公共卫生	4（19.0）
	20~29	9（42.9）		管理学	2（9.5）
	≥30	5（23.8）	工作领域
职称				卫生行政管理单位	4（19.0）
	副高级	8（38.1）		社区卫生服务机构	11（52.4）
	正高级	13（61.9）		高校	4（19.0）
				其他	2（9.5）

一级指标	熟悉程度	判断系数	权威系数
团队建设	0.97	0.84	0.90
成员素质	0.95	0.83	0.89
团队关系	0.86	0.90	0.88
团队过程	0.93	0.89	0.91
团队服务结果	0.98	0.81	0.90
认知及满意度	0.96	0.83	0.90
团队再发展	0.92	0.89	0.90