하버드 의과대학(Harvard Medical School)과 베스 이스라엘 디코네스 의료센터(Beth Israel Deaconess Medical Center) 연구팀이 진행한 최신 연구 결과, 인공지능(AI) 모델이 응급실(ER)의 복잡한 진단 상황에서 인간 의사와 대등하거나 오히려 더 높은 정확도를 보인 것으로 나타났다. 이번 연구는 대규모 언어 모델(LLM)이 실제 의료 현장의 다양한 맥락에서 어느 정도의 성능을 발휘할 수 있는지 검증하기 위해 수행되었다.

응급실 초기 진단에서의 AI 성능

연구팀은 베스 이스라엘 응급실을 방문한 76명의 환자 데이터를 바탕으로 실험을 진행했다. 실험의 핵심은 내과 전문의(Internal Medicine Attending Physicians) 2명의 진단 결과와 OpenAI의 o1 및 GPT-4o 모델이 생성한 진단 결과를 비교하는 것이었다. 진단의 정확성을 평가하기 위해, 어떤 진단이 인간의 것인지 혹은 AI의 것인지 알지 못하는 별도의 전문의 2명이 교차 검증을 담당했다.

연구 결과, 초기 응급실 분류(ER Triage) 단계에서 AI의 성능이 두 전문의와 대등하거나 소폭 상회하는 결과가 도출되었다. 특히 환자에 대한 정보가 가장 적고 신속하고 정확한 결정이 요구되는 초기 단계에서 이러한 차이가 두드러졌다. o1 모델은 초기 분류 사례 중 67%에서 정확하거나 매우 근접한 진단을 제시했다. 이는 실험에 참여한 첫 번째 전문의의 정확도인 55%와 두 번째 전문의의 50%를 상회하는 수치다.

모델별 진단 정확도 비교

연구팀은 실험 과정에서 데이터 전처리(Pre-processing)를 전혀 수행하지 않았음을 강조했다. AI 모델에는 각 진단 시점에 전자 의료 기록(EMR)을 통해 가용했던 정보와 동일한 데이터만을 제공했다.

기술적 한계와 책임 소재 문제

이번 연구는 AI가 응급실의 생사 결정권을 즉각적으로 대체할 수 있음을 의미하지는 않는다. 연구진은 현재의 연구가 텍스트 기반 정보만을 활용했다는 점을 명시하며, 텍스트 이외의 입력값(Non-text inputs)에 대한 추론 능력은 여전히 제한적일 수 있다고 지적했다. 또한, 향상된 기술력을 실제 환자 진료 환경에 적용하기 위해서는 향후 전향적 임상 시험(Prospective trials)이 시급하다는 점을 강조했다.

의료 현장에서는 AI 진단에 대한 책임 체계(Accountability framework)가 아직 마련되지 않았다는 우려도 제기된다. 베스 이스라엘의 아담 로드만(Adam Rodman) 의사는 환자들이 생사가 걸린 중대한 결정 과정에서는 여전히 인간 의사의 안내를 원한다는 점을 언급했다. 또한, 이번 연구가 응급의학과 전문의(ER Physicians)가 아닌 내과 전문의의 능력을 기준으로 AI를 비교했다는 점을 들어, 실제 응급 의료 현장과의 괴리가 있을 수 있다는 지적도 존재한다.

향후 과제

연구팀은 AI 기술의 의료 현장 도입을 위해 실제 환자 케어 환경에서의 평가를 위한 후속 연구가 필요하다고 밝혔다. 향후 연구는 텍스트를 넘어선 멀티모달(Multimodal) 데이터 활용 능력과 실제 임상 환경에서의 안전성 검증에 집중될 예정이다.