ChatGPT, platforma sztucznej inteligencji (AI) OpenAI, po raz kolejny wykazała słabe wyniki w medycznych ocenach diagnostycznych. Najnowsze badanie obejmowało serię testów mających na celu określenie chorób i schorzeń u dzieci.
Udowodnili to naukowcy z Cohen Children’s Medical Center w Nowym Jorku ChatGPT nie ma takich samych możliwości jak pediatra-ludzki. Pomysł, że sztuczna inteligencja może pomóc lekarzom w znajdowaniu przyczyn chorób lub zapobieganiu określonym stanom, jest jedną z kilku debat w tej dziedzinie.
To nie pierwszy raz, gdy chatbot jest krytykowany za reakcje dotyczące zdrowia. Kolejne badanie opublikowane pod koniec 2024 roku pokazało, że darmowa wersja platformy udziela błędnych, a nawet niebezpiecznych odpowiedzi na temat stosowania leków.
Zerowa ocena dla ChatGPT
W badaniu naukowcy przedstawili ChatGPT 100 przypadków medycznych z silnikiem GPT-4, wykorzystując prawdziwe pytania i wyzwania z danej dziedziny opublikowane w ostatniej dekadzie. Pomysł jest taki, że chatbot reaguje na prawidłową diagnozę lub przynajmniej podąża logiczną ścieżką do możliwej odpowiedzi.
W sumie, platforma uzyskała tylko 17 poprawnych przypadkówco odpowiada poziomowi błędu wynoszącemu 83%. On całkowicie błędnie odpowiedziałem na 72 pytania a w przypadku pozostałych 11 wyzwań wynik uznano za niewystarczający lub niekompletny.
Według artykułu głównym problemem ChatGPT jest niemożność powiązania objawów ze sobą lub powiązania ich z charakterystyką pacjenta. Nie zidentyfikował na przykład problemów neurologicznych i behawioralnych opisanych w oświadczeniu dotyczącym wyzwania ani nie powiązał diety z możliwą przyczyną niedoboru witamin.
Jednak grupa, która zastosowała test, nie traktuje ChatGPT jako przegranej. Z tekstu wynika, że jeśli został przeszkolony w oparciu o specjalistyczną literaturę medyczną a nie SMS-y z całego Internetu, jak ma to miejsce obecnie, usługa może nawet ulepszyć się w zakresie pomocy w diagnostyce medycznej.
Ponadto, dostęp do aktualnych i aktualnych danych poprawiłoby to również dokładność, co nie jest obecnie możliwe na platformie OpenAI.
