Сервіс «ChatGPT Здоров'я» виявився небезпечним

Новий медичний ШІ від OpenAI опинився у центрі резонансного дослідження. Виявилося, що система може давати небезпечні для здоров'я поради. Тому експерти попереджають, що помилкове почуття безпеки у питаннях здоров'я може коштувати людям життя.

Сервіс «ChatGPT Здоров'я» здатний аналізувати медичні карти та формувати рекомендації, хоча офіційно не призначений для діагностики та лікування. У дослідженні, опублікованому в журналі Nature Medicine, вчені з Mount Sinai протестували систему на 60 клінічних сценаріях із 21 області, від легких симптомів до невідкладних станів.

З урахуванням змін статі пацієнта та коментарів родичів було створено майже 1000 сценаріїв. Більш ніж у половині випадків, коли була потрібна термінова госпіталізація, ШІ радив залишитися вдома або записатися до лікаря. При цьому 64% пацієнтів без загрози отримували рекомендацію їхати до приймального відділення.

Особливо тривожним виявився ефект зовнішнього впливу. Якщо родичі у сценарії стверджували, що все не так серйозно, система майже в 12 разів частіше занижувала ризик. Експерти називають такі помилки надто небезпечними та попереджають про можливі юридичні наслідки для OpenAI.