대한중환자의학회

목적 : 많은 기계 학습(ML) 모델들이 중환자실(ICU)에서의 응용 프로그램(application)을 위해 개발되었지만, 외부 검증을 받은 모델은 거의 없다. 연구의 목표는 ICU 퇴원 후 7일 이내의 재입원 또는 사망을 예측하는 ML 모델 기반의 기존 의사 결정 지원 도구의 성능을 평가하는 것이다. 모델 성능의 평가는 재교육 및 재교정(retraining and recalibration)을 거치기 전, 중간, 그리고 후에 이뤄졌다.

방법 : 경사 부스팅 기계 학습(gradient boosting ML, GBM)모델이 2004년부터 2021년까지의 전자 건강 기록 데이터를 바탕으로 개발되고 검증되었다. 이 모델을 독립적으로 검증하기 위해 다른 3차 의료 센터의 2011년부터 2019년까지의 전자 건강 기록 데이터에서 검증을 수행하였다. 네덜란드의 제3급 의료 센터에 있는 두 개의 중환자실에서 ICU에 입원하고 12시간 이상 머물렀던 성인 환자가 연구 대상이었다.

측정 항목과 주요 결과 : AUC(Area Under the ROC Curve)을 통한 식별력과 캘리브레이션을 평가하였다. 원래 모델을 재교육하고 재교정한 후 시간적 검증 디자인을 통해 성능을 평가하였다. 최종 재교육된 모델은 모든 데이터에 대해 교차 검증되었다. 중환자실 입원 중 7일 이내의 재입원 또는 사망은 10,052건의 중환자실 입원 중 577건 (5.7%)에서 발생하였다. 외부 검증 결과, AUC가 0.72 (95% 신뢰 구간 0.67-0.76)로 중간 정도의 식별력을 보였으나. 재교육된 모델은 최종 검증 모델의 AUC가 0.79 (95% 신뢰 구간 0.75-0.82)로 향상되었다. 캘리브레이션은 처음에는 좋지 않았지만 등장성 회귀(isotonic regression)를 통해 재교정 후에 성능이 좋아졌다.

결론 : ML 모델의 가용성이 확장되는 시대에서는 새로운 환경에 ML 모델을 적용하기 전에 외부 검증과 재교육이 고려해야 할 중요한 단계이다. 의사와 의사 결정자(decision-makers)들은 지역 환경에 새로운 ML 모델을 적용할 때 이를 고려해야 한다.

요약 : 중환자실(ICU)을 위한 기계 학습 응용 프로그램은 엄격한 외부 검증이 부족하다. 이 논문에서는 인증된 기계 학습 모델의 외부 타당성과 재교육이 예측 성능에 미치는 영향을 평가하였다. 환자 인구, 의료 환경 및 모델 사양 간의 명백한 유사성에도 불구하고 이 기계 학습 모델의 일반화가 어려웠다. 질병 심도 모니터링 및 중환자실 전문성에 중점을 둔 재교육은 예측 성능을 향상시켰다. 새로운 환경에서 기계 학습 모델을 적용하기 전에 외부 검증과 재교육은 고려해야 할 핵심 단계이다.