Yeni bir araştırma, yapay zeka sistemlerinin sağlık hizmetlerinde ne kadar etkili olabileceğini test etti.
Yapay Zeka ve Sağlık Hizmetleri
Yapay zekanın sağlık ve sağlık hizmetlerini dönüştürme potansiyeli büyük. Ancak, bu sistemlerin klinik akıl yürütme yeteneklerini anlamlı bir etkiye dönüştürebilmek için titiz bir şekilde değerlendirilmesi gerekiyor. Bu çalışmada, iki temel unsur tanıtıldı: Sequential Diagnosis Benchmark (SDBench), aşamalı tanı akıl yürütmesini test ederken, Microsoft AI Diagnostic Orchestrator (MAI-DxO) bu benchmark üzerinde test edilen önde gelen yapay zeka sistemi oldu.
Tanı Değerlendirme Süreçleri
Amerika Birleşik Devletleri Tıp Lisans Sınavları (USMLE) gibi tıbbi lisans sınavları, doktorların bilgi seviyelerini ölçmeyi amaçlıyor. Ancak bu sınavlar, klinik tanı sürecinin gerçeklerini yansıtmaz. Sınavlarda tüm bilgiler önceden sunulmakta ve tek bir yanıt seçilmektedir. Oysa klinik pratikte, doktorlar durumu adım adım değerlendirir ve hangi soruları sormaları gerektiğine, hangi testleri istemeleri gerektiğine karar verirler.
SDBench ve MAI-DxO’nun Performansı
SDBench, iki tamamlayıcı vaka seti üzerinden performansı değerlendiriyor: The New England Journal of Medicine (NEJM) dergisinden alınan 304 karmaşık vaka ve MIMIC-IV-ED veri setinden daha tipik acil servis sunumları. Her vaka, yapay zeka modellerinin ve/veya doktorların sınırlı bilgiyle başladığı etkileşimli bir vaka haline geliyor. Bu benchmark, tanı doğruluğunu, talep edilen kanıtları ve tahmini test maliyetlerini ölçüyor.
MAI-DxO’nun Başarı Oranları
MAI-DxO, karmaşık NEJM vakalarında %83 tanı doğruluğu sağladı. Doktorlar, dış kaynaklar olmadan %22, bu kaynaklarla ise %36 doğruluk oranına ulaşabildi. Bu da MAI-DxO’nun sırasıyla 3.7 ve 2.3 kat daha doğru olduğu anlamına geliyor. MIMIC-IV-ED veri setindeki daha tipik acil servis vakalarında ise MAI-DxO %80 doğruluk oranı elde ederken, doktorlar %47 doğrulukta kaldı.
Maliyet Etkinliği ve Gelecek Araştırmalar
MAI-DxO, maliyet açısından optimize edildiğinde bile güçlü bir performans sergiledi. NEJM vakalarında, bir yapılandırma %81 doğruluk sağlarken, karşılaştırmalı sistemlerin maliyetinin yarısından daha az bir maliyetle bu başarıyı elde etti. Her iki veri setinde de MAI-DxO’dan daha doğru ve daha az maliyetli başka bir insan veya yapay zeka yaklaşımı bulunamadı.
Açık Kaynak Proje İmkanları
Değerlendirmeyi tekrarladığımızda, daha yeni modellerle, özellikle GPT-5.5 ile, bu kazanımlar devam etti ve gelişti. Bu, yaklaşımın tek bir model nesline bağlı olmadığını gösteriyor. SDBench’i, belirli NEJM vakaları için açık kaynak olarak sunmayı planlıyoruz. Araştırmacılar, değerlendirmeyi yeniden üretip, diğer modelleri test edebilecek ve bulguları sorgulayıp genişletebilecekler.
