Чатботът на Microsoft Bing AI е дал грешни отговори при представянето си

По време на шумотевицата около чатботовете през миналата седмица, когато големите американски технологични концерни Microsoft и Google се опитваха да се изпреварят взаимно в представянето на ранни версии на инструменти за онлайн търсене с изкуствен интелект, повече от 1 милион души се регистрираха, за да изпробват инструмента на Microsoft през първите 48 часа, съобщи компанията.

Главният изпълнителен директор на Microsoft Сатя Надела заяви пред CNBC, че технологията, която може да бълва пълни отговори, които се четат така, сякаш са написани от човек, е „може би индустриалната революция, внесена в работата със знания". 

Но за тези, които се интересуват от точността, изкуственият интелект има какво да подобрява. 

При демонстрацията на Microsoft пред репортерите подобната на ChatGPT технология, вградена в търсачката Bing на компанията, анализира тримесечните финансови отчети на Gap и Lululemon. При сравняване на отговорите с действителните отчети чатботът пропуска някои числа. Други изглежда са били измислени.

„По време на демонстрацията на Bing AI някои отговори бяха напълно погрешни. Но никой не забеляза това", пише независимият изследовател Дмитри Бреретон в публикация в Substack в понеделник. „Вместо това всички се качиха на влака на Bing“, казва той, цитиран от CNBC. 

В допълнение към финансовите грешки Бреретън установява възможни фактологични проблеми в демонстрационната версия на Microsoft в нейните отговори относно спецификациите на прахосмукачка и плановете за екскурзия до Мексико. Той заяви пред CNBC, че първоначално не е търсил грешки и ги е открил едва когато се е вгледал по-внимателно, за да напише сравнение на представянията на изкуствения интелект от Microsoft и Google.

Експертите по изкуствен интелект наричат явлението „халюцинация" или склонността на инструментите, базирани на големи езикови модели, просто да си измислят неща. През миналата седмица Google представи конкурентен инструмент за изкуствен интелект, който също включваше фактологични грешки - въпреки че те бързо бяха „хванати“ от зрителите. 

И двете компании бързат да включат нови видове генеративен изкуствен интелект в търсачките си и са нетърпеливи да покажат постиженията си след експлозивния интерес към ChatGPT, който OpenAI представи публично през ноември. OpenAI набра милиарди долари от Microsoft, а конкурентни стартъпи като Stability AI и Hugging Face също достигнаха милиардни оценки в частни кръгове на финансиране.

Докато Google не е склонна да добавя отговори, генерирани от изкуствен интелект, в търсачките, позовавайки се на риска за репутацията и опасенията за безопасността, Microsoft подчерта в съобщението си от миналата седмица краткосрочния потенциал на пускането на технологията за част от обществеността. 

„Мисля, че е важно да не бъде в лаборатория", заяви Надела. „Трябва да изнасяме тези неща безопасно“. 

Но когато настъпи времето за демонстрация на отговора на Bing AI на запитване за корпоративните отчети, се появиха някои проблеми.

Юсуф Мехди, маркетинг мениджър в Microsoft, отвори сайта за връзки с инвеститорите на Gap и помоли Bing AI да обобщи „основните изводи" от съобщението за финансовия отчет на търговеца на дребно за третото тримесечие на ноември.

„Много готино. Спестявам много време", каза Мехди.

Ето някои грешки в резюмето: 

Отчетеният брутен марж на Gap е 37,4%. Но след като се изключат разходите, свързани с Yeezy, коригираният брутен марж е 38,7%. Оперативният марж на Gap е 4,6%, а не 5,9% - число, което не може да бъде намерено в отчета на компанията.

Коригираната разводнена печалба на акция е 0,71 долара, вместо 0,42 долара - число, което не се намира в отчета. Цифрата, съобщена от Gap, включва коригирана полза от данъка върху дохода в размер на около 0,33 долара.

През август Gap оттегли прогнозата си за цялата година и в отчета за третото тримесечие заяви, че „приходите може да намалеят със средно едноцифрено число на годишна база през четвъртото тримесечие". Това би означавало спад на приходите за цялата година, за разлика от „ръст с ниско двуцифрено число". Няма прогноза за оперативния марж или печалбата на акция.

Microsoft заяви, че знае за грешките и че очаква Bing AI да допуска грешки.

„Наясно сме с този доклад и сме анализирали констатациите в него в усилията си да подобрим това преживяване", заяви говорител на Microsoft пред CNBC. „Ние осъзнаваме, че все още има работа за вършене и очакваме, че системата може да допусне грешки през този период на предварителен преглед, поради което обратната връзка е от решаващо значение, за да можем да се учим и да помогнем на моделите да станат по-добри“. 

След това представител на Microsoft поиска от Bing AI да сравни отчета на Gap с този на Lululemon. Мехди искаше Bing да събере информацията от двата отчета в таблица.

„Вижте колко невероятно е това", каза той. „Точно така, в една таблица мога да получа отговор на този въпрос. Помислете колко време щеше да отнеме това иначе“. 

В таблицата обаче има няколко грешки, като се започне от маржовете.

Брутният марж на Lululemon е 55,9%, а не 58,7%. Оперативният марж на компанията е 19%, а не 20,7%. Lululemon отчита разводнена печалба на акция в размер на 2 долара и коригирана печалба на акция в размер на 1,62 долара. Bing показа разводнена печалба на акция в размер на 1,65 долара. 

Gap има 679 млн. долара в парични средства и парични еквиваленти, а не 1,4 млрд. долара, както показа търсачката. Компанията също така е имала материални запаси за 3,04 млрд. долара, а не за 1,9 млрд. долара.