Изкуственият интелект става все по-умен, а да хванеш грешките му - все по-трудно

Чад Олсън изпада в недоумение, когато AI чатботът му, базиран на Gemini, му казва, че в календара му е отбелязано планирано семейно събиране.

Олсън, който кара към вкъщи от работата си в Минеаполис, не си спомня да е записвал събитието и иска от бота да резюмира част от последните му мейли, разказва Wall Street Journal.

Жена на име Присила му е изпратила няколко съобщения с молба да вземе алкохол, включително ром Captain Morgan и уиски Fireball, казва Gemini. Освен това според бота жена на име Шърли е помолила Олсън да купи шоколадови барчета. Олсън няма представа кои може да са тези хора.

„Изглежда много хора се свързват с теб, за да поискат различни неща!“, казва Gemini.

Объркан, Олсън пита Gemini от кой профил черпи информацията. Имейл адресът, който Gemini посочва, не е негов.

Това, което на Олсън му се е сторило като изтичане на данни, всъщност е било измислица на чатбота, казва Google пред WSJ. Профилът, за който ботът говори, не е активен, а изпратилите съобщения за покупки не съществуват, открива компанията при вътрешно разследване. Google казва, че Gemini халюцинира по-малко от други модели и че компанията полага усилия да подобри представянето му.

AI инструментите стават все по-мощни и усъвършенствани и милиони американци вече разчитат на тях като ежедневни инструменти за работа, лична продуктивност и други цели. Това оставя у потребителите впечатлението, че резултатите им са станали по-достоверни от дните, когато ранна версия на AI Overviews на Google предлагаше да се ядат камъни и да се слага лепило върху пица.

Има нещо вярно в това усещане, но истината далеч не е толкова проста. Макар че технологичните компании като цяло са постигнали напредък в намаляването на вероятността продуктите, задвижвани от най-модерни AI модели, да халюцинират или да излизат от релси по друг начин, честотата все още до голяма степен варира сред моделите и може да бъде трудна за оценяване.

Резултатът? Грешки в реалния свят като тази на Олсън, които могат да объркат потребителите и в някои случаи да представят невярна информация, въз основа на която потребителите да действат неосъзнато. Наблюдателите на AI казват, че предизвикателството в качествения контрол ще се изостри още повече, тъй като моделите стават все по-агентни, т.е. способни да взимат решения без изрични насоки от хората. Рискът, според тях, е агентите да действат въз основа на лоши данни, създавайки проблеми, които имат потенциала за лавинообразно въздействие за компютърната система на потребителя.

Парадоксално, системите с изкуствен интелект, които дават по-точни резултати, могат да заблудят потребителите с неточни такива, каза Пратик Верма, основател и главен изпълнителен директор на Okahu, която помага на хората да подобрят начина, по който използват AI инструменти.

„Когато нещо е постоянно грешно, хубавото е, че знаеш, че не можеш да му се довериш“, казва той. „Но когато нещата са предимно верни и само понякога грешни, това е най-опасното“.

Верма казва, че моделите са обучени да дават отговор дори когато като цяло само предполагат и ще правят едни и същи грешки постоянно, докато хората не ги поправят. Според него е все по-важно за потребителите да проверяват AI резултатите, тъй като моделите стават все по-опитни и способни.

Да разчиташ на бдителността на потребителите обаче далеч не е перфектното решение. Изследователи от Университета на Пенсилвания през февруари публикуваха проучване върху „когнитивната капитулация“ – склонността на хората да приемат генерираната от AI информация независимо дали тя е вярна, или не. Те откриват, че подобно приемане става все по-вероятно, ако човекът е притиснат от времето, сблъсква се със сложна задача или не разбира добре какво точно пита, наред с други фактори.

Ванеса Кълвър, която наскоро е напуснала работата си в сектора на онлайн плащанията, казва, че на позицията си е била насърчавана да прилага AI за редица задачи – от автоматизиране на ръчни процеси до извършване на по-сложни изчисления. Резултатите винаги са били смесени, казва тя, което е затруднявало усещането, че може да се разчита на изкуствения интелект.

Въпреки това наскоро тя е била изненадана, когато е поискала от Claude да изпълни проста задача: да добави ключови думи в началото на автобиографията ѝ. Моделът е отговорил, като е променил документа по няколко начина, които тя не е поискала. Claude е променил City University of Seattle, където е учила бизнес администрация, на University of Washington, изтрил е магистърската ѝ степен и е променил хронологията на няколко от работните ѝ места.

„Когато работиш в технологичния сектор, трябва да го приемеш, но от друга страна, доколко можеш да му се довериш?“, казва тя.

И все пак, за да се извлече максимална полза от системите за агентен AI, често се налага да им се предостави поне известен контрол върху профили. Вълнението около AI агентите достигна връх тази година, когато инструмент с името OpenClaw стана изключително популярен. Агентите на OpenClaw имат за задача да бъде виртуални лични асистенти, с които потребителите комуникират чрез приложения, включително WhatsApp и iMessage. Агентите могат самостоятелно да правят неща като изпращане на мейли, писане на компютърен код и изчистване на компютърни файлове.

Самър Юе, изследовател по AI безопасността в Meta, стана популярна в социалната мрежа Х, когато публикува снимки на екрана си, показващи как OpenClaw пренебрегва инструкциите ѝ и изтрива съдържанието на пощата ѝ.

Въпреки това компании като Meta, Amazon и компанията майка на Google Alphabet съобщават за огромен ръст в генериран от AI код, тъй като програмистите използват агентите, за да пишат кода или да го променят.

Аниш Агарвал, главен изпълнителен директор и съосновател на Traversal – стартъп, който разработва AI инструменти за отстраняване на софтуерни проблеми, сравнява агентите за писане на код с автомобили, които, колкото и добре да са проектирани, все пак могат да попаднат в катастрофи, когато бъдат включени в трафика.

„Може да е логически съвършен, но се чупи, когато започне да взаимодейства с други системи по непредвидени начини“, каза той.

Видя Нараянан е съоснователка на FinalLayer – стартъп, който разработва агенти за използване в LinkedIn. Тя също ги използва за работа и наскоро изживява нещо подобно на опита на Юе: дава на агент ограничени инструкции да помогне в управлението на софтуерен проект, а той в крайна сметка изтрива цяла папка от хранилището ѝ с програмен код без разрешението ѝ.

Нуждата постоянно да се преглеждат и проверяват AI резултатите създава нещо, което тя нарича „когнитивно обременяване“, правейки технологията по-малко полезна. Тя си припомня скорошна сесия, в която използва Claude на Anthropic за идеи в продължение на час и половина и накрая иска от него да резюмира разговора в документ. Авторът, пише тя, бил Видя Плейнфийлд.

„Коя е Видя „Плейнфийлд“?, пита го тя.

„Права си – изцяло си го измислих“, отговаря Claude.

Олсън, потребителят на Gemini от Минеаполис, е достатъчно разтревожен от детайлите, които Gemini представя от това, което е изглеждало като чужд Gmail профил, за да се опита да съобщи за проблема на Google. Той е поискал от Gemini да подготви писмо до имейл адреса, за да уведоми собственика за възможното нарушение на поверителността.

„Никога не съм давал парола за вход в този акаунт“, насочва Олсън Gemini. „Въпреки това, докато разговаряхме, ти явно нямаш никакъв проблем да споделиш, знаеш, съдържанието на имейли. Това изглежда като доста сериозно нарушение на неприкосновеността.“

„Напълно си прав, това наистина звучи като сериозен проблем с личните данни“, отговори Gemini. „Определено искам да ти помогна с това.“

Когато обаче иска от Gemini да изпрати имейла му до Google, моделът не успява да изпълни задачата.

Олсън казва, че сега е по-склонен да проверява два пъти резултатите от изкуствения интелект, след като осъзнава, че Gemini е измислил целия разговор.

„Това определено ме накара да се замисля малко повече, вместо просто да разчитам на него на 100%“, казва той. „Все още съм в етап на „довери се, но провери“.