Chatbot stworzony w 1960 roku przekroczył ChatGPT w teście Turinga w badaniach przeprowadzonych na Uniwersytecie Kalifornijskim w San Diego w Stanach Zjednoczonych. Eksperyment ma na celu ocenę, jak dobrze sztuczna inteligencja (AI) podszywa się pod człowieka.
W teście przeprowadzonym na uniwersytecie wykorzystano chatbota ELIZA, opracowanego w połowie lat 60. XX wieku przez naukowca z MIT Josepha Weizenbauma, przeciwko ChatGPT obsługiwanemu przez GPT-3.5, bezpłatną wersję sztucznej inteligencji.
Zasadniczo Test Turinga próbuje ocenić zdolność maszyny do podszywania się pod człowieka. Analiza nie uwzględnia „świadomości” sztucznej inteligencji, ale raczej jej zdolność do naśladowania komunikacji człowieka.
Ocena została opracowana przez informatyka Alana Turinga w 1950 roku. W teście bierze udział trzech uczestników: dwie osoby i oceniana maszyna. Jedna z osób wciela się w rolę przesłuchującego, odpowiedzialnego za zadawanie pytań pozostałym, ale nie wiedząc, kto jest kim.
W przypadku oceny przeprowadzonej na Uniwersytecie Kalifornijskim do oceny interakcji z chatbotem potrzebnych było 652 ludzi. ELIZA zdołała podszyć się pod człowieka w 27% przypadków, podczas gdy GPT-3.5 zdołała podszyć się pod człowieka jedynie w 14%.
W swojej decyzji oceniający wzięli pod uwagę styl językowy maszyny i cechy społeczno-emocjonalne.
GPT-4 jest lepszy niż ELIZA
Chociaż ELIZA jest lepsza od GPT-3.5, chatbot nie jest tak przekonujący jak GPT-4. Płatny chatbot OpenAI był w stanie częściej oszukiwać uczestników testów – wskaźnik sukcesu wynosił około 41%.
