Никой не иска грешна диагноза: Експерти предупреждават срещу употребата на ИИ инструмент в медицината

Технологичният гигант OpenAI рекламира своя базиран на изкуствен интелект инструмент за транскрипция Whisper като притежаващ „точност почти на човешко ниво“.

Но Whisper има голям недостатък: той е склонен да си измисля части от текст или дори цели изречения, според интервюта с повече от дузина софтуерни инженери, разработчици и академични изследователи. Тези експерти казват, че части от измисления текст„ известен в индустрията като халюцинации, може да включва расови коментари, насилствена реторика и дори въображаемо медицинско лечение.

Според експерти тези измислици са сериозен проблем, тъй като Whisper се използва в множество индустрии по света за превод и транскрибиране на интервюта, генериране на текст и създаване на субтитри за видеоклипове.

По-притеснително, казват те, е използването от медицинските центрове на инструменти, базирани на Whisper, за да се транскрибират консултациите на пациенти с лекари, въпреки предупрежденията на OpenAI, че инструментът не трябва да се използва във „области с висок риск“.

Пълният обхват на проблема е трудно да се разбере, но изследователи и инженери посочват, че често са се натъквали на халюцинациите на Whisper в работата си. Изследовател от Мичиганския университет, който провежда проучване на публични срещи, каза, че е открил халюцинации в 8 от всеки 10 аудио транскрипции, които е инспектирал, преди да започне да опитва да подобри модела.

Инженер по машинно обучение заяви, че първоначално е открил халюцинации в около половината от над 100 часа транскрипции на Whisper, които е анализирал. Трети разработчик каза, че е открил халюцинации в почти всеки един от 26 000 преписа, които е създал с Whisper.

Проблемите продължават дори при добре записани, кратки аудио проби. Скорошно проучване на компютърни учени разкри 187 халюцинации в повече от 13 000 ясни аудио фрагмента, които са използвани.

Тази тенденция би довела до десетки хиляди грешни транскрипции в милиони записи, казаха изследователите.

Подобни грешки биха могли да имат „наистина тежки последици“, особено в болнични условия, каза Алондра Нелсън, която ръководи Службата за научна и технологична политика на Белия дом към администрацията на Байдън до миналата година.

„Никой не иска грешна диагноза“, каза Нелсън, професор в Института за напреднали изследвания в Принстън, Ню Джърси. „Трябва да има по-висока летва.“

Whisper също се използва за създаване на надписи за глухи и хора с увреден слух. Това представлява особен риск за тези хора, защото те нямат начин да идентифицират измислици, „скрити сред другия текст“, каза Кристиан Воглър, който е глух и ръководи Програмата за достъп до технологии на университета Галдет.

Разпространението на подобни халюцинации накара експерти, застъпници и бивши служители на OpenAI да призоват федералното правителство на САЩ да разгледа разпоредбите за ИИ. Най-малкото, казаха те, OpenAI трябва да се справи с този проблем.

„Това изглежда разрешимо, ако компанията желае да го приоритизира“, каза Уилям Сондърс, базиран в Сан Франциско изследователски инженер, който напусна OpenAI през февруари поради опасения относно посоката на компанията.

Говорител на OpenAI заяви, че компанията непрекъснато проучва как да намали халюцинациите и оценява констатациите на изследователите, като добави, че OpenAI включва обратна връзка в актуализациите на модела.