External Validation of Risk Prediction
Models for Postpartum Stress Urinary Incontinence

doi:10.12114/j.issn.1007-9572.2021.02.129

Abstract

Abstract: Background

Our research team developed two prediction models of postpartum stress urinary incontinence (PSUI) , one for primiparas, and the other for multiparae, aiming at early identifying women at high risk of PSUI, and providing effective interventions, but they have not yet been externally validated.

Objective

To externally validate the risk prediction models of PSUI previously developed by us to assess their clinical applicability.

Methods

This study was conducted between July and September 2020. Participants were 6-month postpartum women (validation group) who were selected from the electronic medical record system of Shenzhen Hospital of Southern Medical University, and the University of Hong Kong-Shenzhen Hospital. Information about age, height, pre-pregnancy weight, abortion history, and delivery history was collected from the electronic medical record system of the two hospitals. A telephone follow-up was conducted to investigate the incidence of stress urinary incontinence within 6-month postpartum. The area under the receiver operating characteristic curve (AUC) was computed to estimate the value of the predictive models in discriminating PSUI. Hosmer-Lemeshow goodness-of-fit test was used to examine the calibration of the prediction models.

Results

A total of 298 cases were included, and 203 of them (68.1%) were primiparas (158 with PSUI, and other 45 without) , other 95 (31.9%) were multiparae (72 with PSUI, and other 23 without) . The AUC of the risk prediction model for PSUI in primiparas was 0.719〔95%CI (0.643, 0.795) 〕, and that of the risk prediction model for PSUI in multiparae was 0.833〔95%CI (0.738, 0.928) 〕. Hosmer-Lemeshow goodness-of-fit test suggested that the PSUI risk prediction model for primiparas had poor calibration (χ²=34.11, P<0.001) , while that for multiparae had satisfactory calibration (χ²=9.62, P=0.293) .

Conclusion

The PSUI risk prediction model for primiparas could effectively distinguish PSUI, but its applicability needs to be further improved. The PSUI risk prediction model for multiparae had acceptable performance, which may be used and promoted as an evaluation tool for early pelvic floor rehabilitation in multiparae.

Key words: Urinary incontinence, stress, Postpartum period, Predictive model, External validation, Maternal health

摘要： 背景

本研究团队前期分别开发了针对初产妇和经产妇的产后压力性尿失禁（SUI）风险预测模型，旨在早期识别孕产妇SUI的高危人群并提供有效干预，但尚未进行外部验证。

目的

外部验证前期开发的产后SUI风险预测模型，探索该模型在临床应用的可能性。

方法

于2020年7—9月在南方医科大学深圳医院、香港大学深圳医院进行电话随访，通过电子病历系统选取产后6个月的产妇作为验证组进行产后SUI风险预测模型的外部验证。使用电子医疗记录收集研究对象年龄、身高、妊娠前体质量、流产史和分娩史的相关信息；并通过电话随访调查研究对象产后6个月SUI发生情况。采用受试者工作特征（ROC）曲线下面积（AUC）和Hosmer-Lemeshow拟合优度检验分别评价产后SUI风险预测模型区分度和校准度。

结果

最终纳入298例研究对象为验证组，其中初产妇203例（68.1%），经产妇95例（31.9%）。初产妇队列中，非SUI者158例，SUI者45例。经产妇队列中，非SUI者72例，SUI者23例。产后SUI风险预测模型在初产妇外部验证人群中AUC为0.719〔95%CI（0.643，0.795）〕，在经产妇外部验证人群中AUC为0.833〔95%CI（0.738，0.928）〕。Hosmer-Lemeshow拟合优度检验提示产后SUI风险预测模型在初产妇人群中校准欠佳（χ²=34.11，P<0.001），而在经产妇人群中拟合度良好（χ²=9.62，P=0.293）。

结论

初产妇产后SUI预测模型能有效区分患者是否发生产后SUI，但尚需进一步更新以提高模型的外部适用性；经产妇产后SUI预测模型具有可接受的外部效能，鼓励将其作为产后早期盆底康复干预的评估工具进行推广。

关键词: 尿失禁, 压力性, 产后期, 预测模型, 外部验证, 孕产妇健康

CLC Number:

R694.54

ZHANG Danli, HU Fengxin, WANG Jia, CHEN Ling, LIU Sha, CAI Wenzhi.

External Validation of Risk Prediction Models for Postpartum Stress Urinary Incontinence [J]. Chinese General Practice, 2022, 25(09): 1088-1092.

张丹莉,胡凤欣,王佳等. 产后压力性尿失禁风险预测模型的外部验证研究[J]. 中国全科医学, 2022, 25(09): 1088-1092. DOI: 10.12114/j.issn.1007-9572.2021.02.129.

Figures/Tables 5

References 24

[1]	HAYLEN B T，DE RIDDER D，FREEMAN R M，et al. An International Urogynecological Association （IUGA）/International Continence Society （ICS） joint report on the terminology for female pelvic floor dysfunction[J]. Neurourol Urodyn，2010，29(1):4-20. DOI：10.1002/nau.20798.
[2]	NOVO R，PEREZ-RIOS M，SANTIAGO-PÉREZ M I，et al. Prevalence and associated risk factors of urinary incontinence and dyspareunia during pregnancy and after delivery[J]. Eur J Obstet Gynecol Reprod Biol，2020，245:45-50. DOI：10.1016/j.ejogrb.2019.10.020.
[3]	XUE K K，PALMER M H，ZHOU F. Prevalence and associated factors of urinary incontinence in women living in China：a literature review[J]. BMC Urol，2020，20(1):159. DOI：10.1186/s12894-020-00735-x.
[4]	JIA G，JIANG C，WANG K，et al. Epidemiological investigation of urinary incontinence in peri-and postpartum women from Nanjing，China[J]. Low Urin Tract Symptoms，2021，13(4):481-489. DOI：10.1111/luts.12399.
[5]	SHI W，NIU X Y，CHEN Y Y，et al. A study on the risk factors for early postpartum urinary incontinence in Chengdu[J]. Sichuan Da Xue Xue Bao Yi Xue Ban，2019，50(4):598-603.
[6]	ZWOLSMAN S，KASTELEIN A，DAAMS J，et al. Heterogeneity of cost estimates in health economic evaluation research. A systematic review of stress urinary incontinence studies[J]. Int Urogynecol J，2019，30(7):1045-1059. DOI：10.1007/s00192-018-3814-0.
[7]	MENDES A，HOGA L，GONÇALVES B，et al. Adult women's experiences of urinary incontinence：a systematic review of qualitative evidence[J]. JBI Database System Rev Implement Rep，2017，15(5):1350-1408. DOI：10.11124/jbisrir-2017-003389.
[8]	ROGO-GUPTA L，LITWIN M S，SAIGAL C S，et al. Trends in the surgical management of stress urinary incontinence among female Medicare beneficiaries，2002—2007[J]. Urology，2013，82(1):38-41. DOI：10.1016/j.urology.2012.10.087.
[9]	MØRKVED S，BØ K. Effect of pelvic floor muscle training during pregnancy and after childbirth on prevention and treatment of urinary incontinence：a systematic review[J]. Br J Sports Med，2014，48(4):299-310. DOI：10.1136/bjsports-2012-091758.
[10]	CHEN L，LUO D，CHEN X M，et al. Development of predictive risk models of postpartum stress urinary incontinence for primiparous and multiparous women[J]. Urol Int，2020，104(9/10):824-832. DOI：10.1159/000508416.
[11]	JELOVSEK J E，PICCORELLI A，BARBER M D，et al. Prediction models for postpartum urinary and fecal incontinence in primiparous women[J]. Female Pelvic Med Reconstr Surg，2013，19(2):110-118. DOI：10.1097/spv.0b013e31828508f0.
[12]	COLLINS G S，REITSMA J B，ALTMAN D G，et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis （TRIPOD）：the TRIPOD statement[J]. Ann Intern Med，2015，162(1):55-63. DOI：10.7326/M14-0697.
[13]	BØ K，FLETEN C，NYSTAD W. Effect of antenatal pelvic floor muscle training on labor and birth[J]. Obstet Gynecol，2009，113(6):1279-1284. DOI：10.1097/aog.0b013e3181a66f40.
[14]	STEYERBERG E W，MOONS K G，VAN DER WINDT D A，et al. Prognosis Research Strategy （PROGRESS） 3：prognostic model research[J]. PLoS Med，2013，10(2):e1001381. DOI：10.1371/journal.pmed.1001381.
[15]	BLEEKER S E，MOLL H A，STEYERBERG E W，et al. External validation is necessary in prediction research：a clinical example[J]. J Clin Epidemiol，2003，56(9):826-832. DOI：10.1016/s0895-4356(03)00207-5.
[16]	SIONTIS G C，TZOULAKI I，CASTALDI P J，et al. External validation of new risk prediction models is infrequent and reveals worse prognostic discrimination[J]. J Clin Epidemiol，2015，68(1):25-34. DOI：10.1016/j.jclinepi.2014.09.007.
[17]	RAMSPEK C L，JAGER K J，DEKKER F W，et al. External validation of prognostic models：what，why，how，when and where?[J]. Clin Kidney J，2021，14(1):49-58. DOI：10.1093/ckj/sfaa188.
[18]	王俊峰，章仲恒，周支瑞，等. 临床预测模型：模型的验证[J]. 中国循证心血管医学杂志，2019，11(2):141-144. DOI：10.3969/j.issn.1674-4055.2019.02.04.
[19]	ALBA A C，AGORITSAS T，WALSH M，et al. Discrimination and calibration of clinical prediction models：users' guides to the medical literature[J]. JAMA，2017，318(14):1377-1384. DOI：10.1001/jama.2017.12126.
[20]	DEBRAY T P，VERGOUWE Y，KOFFIJBERG H，et al. A new framework to enhance the interpretation of external validation studies of clinical prediction models[J]. J Clin Epidemiol，2015，68(3):279-289. DOI：10.1016/j.jclinepi.2014.06.018.
[21]	VERGOUWE Y，MOONS K G，STEYERBERG E W. External validity of risk models：use of benchmark values to disentangle a case-mix effect from incorrect coefficients[J]. Am J Epidemiol，2010，172(8):971-980. DOI：10.1093/aje/kwq223.
[22]	JANSSEN K J，VERGOUWE Y，KALKMAN C J，et al. A simple method to adjust clinical prediction models to local circumstances[J]. J Can D'anesthesie，2009，56(3):194-201. DOI：10.1007/s12630-009-9041-x.
[23]	GAO J J，LIU X R，ZUO Y，et al. Risk factors of postpartum stress urinary incontinence in primiparas：What should we care[J]. Medicine （Baltimore），2021，100(20):e25796. DOI：10.1097/MD.0000000000025796.
[24]	VAN CALSTER B，VAN HOORDE K，VERGOUWE Y，et al. Validation and updating of risk models based on multinomial logistic regression[J]. Diagn Progn Res，2017，1:2. DOI：10.1186/s41512-016-0002-x.

临床资料	初产妇（n=203）				经产妇（n=95）
临床资料	非SUI者（n=158）	SUI者（n=45）	χ²（t）值	P值	非SUI者（n=72）	SUI者（n=23）	χ²（t）值	P值
年龄（±s，岁）	29.3±3.3	29.7±2.5	-0.688^a	0.492	-	-	-	-
妊娠前BMI（±s，kg/m²）	-	-	-	-	20.8±2.5	20.6±2.5	0.216^a	0.829
流产史〔n（%）〕	32（20.2）	12（26.7）	0.849	0.357	27（37.5）	8（34.8）	0.055	0.814
妊娠期SUI〔n（%）〕	43（27.2）	23（51.1）	9.115	0.003	19（26.4）	18（78.3）	19.725	<0.001
阴道分娩〔n（%）〕	116（73.4）	42（93.3）	8.052	0.005	49（68.1）	21（91.3）	4.859	0.028

临床资料	初产妇（n=203）				经产妇（n=95）
临床资料	非SUI者（n=158）	SUI者（n=45）	χ²（t）值	P值	非SUI者（n=72）	SUI者（n=23）	χ²（t）值	P值
年龄（±s，岁）	29.3±3.3	29.7±2.5	-0.688^a	0.492	-	-	-	-
妊娠前BMI（±s，kg/m²）	-	-	-	-	20.8±2.5	20.6±2.5	0.216^a	0.829
流产史〔n（%）〕	32（20.2）	12（26.7）	0.849	0.357	27（37.5）	8（34.8）	0.055	0.814
妊娠期SUI〔n（%）〕	43（27.2）	23（51.1）	9.115	0.003	19（26.4）	18（78.3）	19.725	<0.001
阴道分娩〔n（%）〕	116（73.4）	42（93.3）	8.052	0.005	49（68.1）	21（91.3）	4.859	0.028

临床资料	初产妇				经产妇
临床资料	建模组（n=393）	验证组（n=203）	χ²（t）值	P值	建模组（n=334）	验证组（n=95）	χ²（t）值	P值
年龄（±s，岁）	28.9±3.6	29.4±3.2	-1.672^a	0.095	-	-	-	-
妊娠前BMI（±s，kg/m²）	-	-	-	-	21.1±2.8	20.7±2.5	1.087^a	0.278
流产史〔n（%）〕	99（25.2）	44（21.7）	0.907	0.341	162（48.5）	35（36.8）	4.050	0.044
妊娠期SUI〔n（%）〕	100（25.4）	66（32.5）	3.327	0.068	138（41.3）	37（38.9）	0.172	0.678
阴道分娩〔n（%）〕	273（69.5）	158（77.8）	4.681	0.031	196（58.7）	70（73.7）	7.065	0.008
产后SUI〔n（%）〕	49（12.5）	45（22.2）	9.479	0.002	67（20.1）	23（24.2）	0.769	0.381

临床资料	初产妇				经产妇
临床资料	建模组（n=393）	验证组（n=203）	χ²（t）值	P值	建模组（n=334）	验证组（n=95）	χ²（t）值	P值
年龄（±s，岁）	28.9±3.6	29.4±3.2	-1.672^a	0.095	-	-	-	-
妊娠前BMI（±s，kg/m²）	-	-	-	-	21.1±2.8	20.7±2.5	1.087^a	0.278
流产史〔n（%）〕	99（25.2）	44（21.7）	0.907	0.341	162（48.5）	35（36.8）	4.050	0.044
妊娠期SUI〔n（%）〕	100（25.4）	66（32.5）	3.327	0.068	138（41.3）	37（38.9）	0.172	0.678
阴道分娩〔n（%）〕	273（69.5）	158（77.8）	4.681	0.031	196（58.7）	70（73.7）	7.065	0.008
产后SUI〔n（%）〕	49（12.5）	45（22.2）	9.479	0.002	67（20.1）	23（24.2）	0.769	0.381

人群	临界值	约登指数	灵敏度	特异度	阳性预测值	阴性预测值	阳性似然比	阴性似然比
初产妇	0.078	0.38	0.87	0.51	0.33	0.93	1.78	0.26
经产妇	0.261	0.59	0.74	0.85	0.61	0.91	4.83	0.31