사업 개요
빠르게 발전하는 의료 분야에서 생성 AI, 특히 LLM(Large Language Models)을 사용하여 임상 보고서에서 질병 상태를 예측하는 것은 상당한 도약을 의미합니다. 건강 분석 분야의 선구자인 이 고객은 질병 상태 예측 모델을 개선하는 임무에 착수했습니다. 오픈 소스 MIMIC CXR 데이터베이스를 활용하고 초기 분석을 위해 생성 AI 예측을 통합한 다음 Label Studio로 수동 검증을 수행하여 임상 보고서 분석, 특히 방사선학 보고서에 대한 모델 정확도와 신뢰성을 높이는 것이 목표였습니다.
도전
생성적 AI 예측을 의료 워크플로에 통합하는 데는 수많은 과제가 있었습니다.
데이터 액세스 및 보안
MIMIC-CXR과 같은 고품질의 오픈소스 의료 데이터 세트에 대한 액세스를 보장하려면 개인정보 보호 및 윤리 기준을 준수하는 엄격한 자격 증명 절차가 필요했습니다.
예측 정확도
생성 AI 모델의 초기 출력은 가끔 질병 상태 예측에 부정확한 결과를 보였으며, 이로 인해 정확도를 높이기 위해 수동으로 검사해야 했습니다.
복합 질병 상태 식별
특히 생성 AI를 사용하는 경우 임상 보고서의 미묘한 언어에서 질병 상태를 정확하게 분류하는 것은 상당한 장애물이 되었습니다.
주석 품질
Label Studio 도구에서 정확한 고품질 주석을 보장하려면 전문 지식과 의학적 질병 상태에 대한 이해가 필요했습니다.
해법
샤이프는 이러한 과제를 해결하기 위해 포괄적인 전략을 채택했습니다.
- 간소화된 자격 증명: 이 팀은 MIMIC-CXR 접근을 위한 자격 증명 절차를 신속하게 진행하여 효율성과 윤리적인 연구 관행에 대한 헌신을 입증했습니다.
- 지침 개발: LLM 예측에 주석을 달 때 일관성과 품질을 보장하기 위해 수동 검증자에 대한 통찰력 있는 가이드라인을 개발했습니다.
- AI 예측에 대한 전문가 주석: 의학적 전문 지식을 바탕으로 Label Studio를 사용하여 LLM 예측에 대한 꼼꼼한 수동 검증 및 수정을 실시했습니다.
- 성능 지표 : 샤이프는 세부적인 분석을 통해 일치도, 정밀도, 재현율, F1 점수와 같은 LLM 성과 지표를 계산하여 지속적인 개선이 가능했습니다.
결과
- 향상된 정확도 방사선학 보고서를 통해 질병 상태를 예측합니다.
- 개발 의 고품질의 실제 사실 향후 제품 개발 및 생성적 AI 예측 평가를 위한 데이터 세트입니다.
- 이해력 향상 질병 상태를 식별하여 더욱 신뢰할 수 있는 예측이 가능해졌습니다.
사례 1: 머신 러닝 모델 검증
시나리오 : 생성 AI로 폐렴 예측 정확도 향상 이 사례에서 생성 AI 모델은 흉부 X선 보고서를 걸러 폐렴 징후를 감지했습니다. "우측 하엽의 불투명도 증가, 감염 과정을 시사함"이라는 보고서가 모호한 표현으로 인해 AI가 처음에 "불확실" 분류를 내렸습니다.
검증 프로세스:
- 의료 전문가가 Label Studio에서 보고서를 검토하면서 AI가 강조한 텍스트에 집중했습니다.
- 임상적 맥락을 평가하고 방사선 지식을 적용하여 전문가는 보고서를 폐렴에 대한 확실한 "긍정적"으로 재분류했습니다.
- 이러한 전문가의 수정 사항은 AI 모델에 다시 통합되어 지속적인 학습과 개선이 용이해졌습니다.
결과 :
- 향상된 모델 정확도
- 성능 지표 정확도 및 재현율 개선
사례 2 사용: 실제 데이터 세트 생성
시나리오 : 생성 AI를 사용한 암 TNM 병기 분류를 위한 벤치마크 데이터 세트 제작
암 진행 제품 개발을 진전시키고자 하는 목적으로, 클라이언트는 포괄적인 지상 진실 데이터 세트를 조립하고자 했습니다. 이 데이터 세트는 임상적 서술에서 암의 TNM 병기를 정확하게 예측하기 위한 새로운 AI 모델의 훈련 및 평가를 벤치마킹합니다.
데이터 세트 생성 프로세스:
- 병리학적 소견과 진단 개요를 포함한 광범위한 암 관련 보고서가 수집되었습니다.
- 생성 AI 모델은 학습된 패턴과 지식을 활용해 각 보고서에 대한 초기 TNM 병기 예측을 제공했습니다.
- 의료 전문가들은 이러한 AI가 생성한 예측의 정확성을 검토하여 오류를 수정하고, AI 예측이 불완전하거나 부정확한 경우 정보를 보완했습니다.
결과 :
- 고품질 실제 데이터 세트 생성.
- 차세대 암 진단 및 병기 분류 모델을 개선하기 위한 미래 제품 기반.
Shaip과 협력하면서 질병 예측에 대한 접근 방식이 혁신되었습니다. Shaip의 도메인 전문가가 수행한 주석으로 모델의 정확도와 신뢰성이 크게 향상되었습니다. 세심한 검증 프로세스 덕분입니다.
