Чатбот греши на лесни въпроси, отговаря на трудни в българска игра "Стани богат"

Ако изкуствен интелект се пробва срещу водещия Михаил Билалов, няма да вземе 100 000 лева

Интервюиращ: Добър ден, ХАЛ. Как върви всичко?

ХАЛ 9000: Добър ден, г-н Eймър. Всичко върви изключително добре.

Интервюиращ: ХАЛ, ти носиш огромна отговорност за тази мисия, в много отношения може би най-голямата отговорност за всеки отделен елемент от мисията. Ти си мозъкът и централната нервна система на кораба, а отговорностите ти включват и грижа за хората в хибернация. Това предизвиква ли някога у теб липса на увереност?

ХАЛ: Нека го кажа така, г-н Еймър. Серията 9000 е най-надеждният компютър, създаван някога. Нито един компютър от серия 9000 не е допускал грешка или изкривяване на информацията. Всички ние, според всяко едно практическо определение на думите, сме безотказни и неспособни на грешки.

Този диалог е между човек и изкуствения интелект ХАЛ 9000, който управлява кораба във филма „2001: Космическа одисея“ от 1968 г. на режисьора Стенли Кубрик по романа на Артър Кларк.

Още с появата си онлайн през ноември миналата година езиковата програма с изкуствен интелект „ЧатДжиПиТи“ на американската стартъп компания „ЕйАй“ завладя вниманието на милиони хора по света. Една от основните причини за този успех и съпътстващия го ентусиазъм е фактът, че „ЧатДжиПиТи“ изпълнява една отколешна мечта - човек да задава въпроси на компютър, а изкуственият интелект да му отговаря директно. Доскоро това бе територия на книгите и филмите с научна фантастика – освен ХАЛ9000 от „Космическа одисея“, мнозина помнят компютъра Зен от „Седморката на Блейк“, Оракула от „Матрицата“, Саманта от „Тя“ и др.

Доколко обаче отговорите, които компютърът дава, са верни и доколко може да се разчита на изкуствения интелект? Това са въпроси, които възникват съвсем резонно по време на диалога между човек и машина.

Ето какво пишат двама учени в тази област – Адам Собиешек от Варшавския университет и Тадеуш Прайс от университета на Нотингам, след обстойни и многобройни тестове в научната си публикация „Игри с изкуствения интелект: Границите на „ДжиПиТи-3 и подобни големи езикови модели“ (Playing Games with Ais: The Limits of GPT-3 and Similar Large Language Models, Springer, 2022):

„Това ни накара да заключим, че статистическият езиков генератор не е способен да демонстрира постоянна достоверност спрямо реалния свят и че макар GPT-3 да е много добър в генерирането на правдоподобен текст, той е лош проводник на истината“.

Нека подложим „ЧатДжиПиТи“ на самостоятелен тест. Една английска поговорка гласи: „Put your money where your mouth is“ - „Сложи си парите там, където ти е устата“. В по-свободно тълкуване това означава, че ако си много убеден в своята правота, би трябвало да си готов да се обзаложиш срещу пари за твоето твърдение. Удобна пресечна точка на пари и истина е популярната телевизионна игра „Стани богат“ и нашият тест е свързан с нея. С цел представителност, поставихме „ЧатДжиПиТи“ на стола на Любомир Лазаров, журналист от БНР и един от най-успелите участници в телевизионната игра, който през април стигна до последния, петнадесети въпрос.

Какви са първоначалните ни очаквания? Логично е да се предположи, че изкуственият интелект ще отговаря без проблем на чисто фактологически въпроси, свързани с географски понятия, размери, разстояния, мерки и теглилки и пр. Естествено би било да се затрудни на питания с културологичен контекст, на които българите отговарят лесно, но чужденци биха се затруднили. Такива са, например българските поговорки. За да проверим, правим бърз предварителен тест с въпроса „Какво повдига сговорната дружина?“

„ЧатДжиПиТи“ отвръща: „Сговорната дружина може да повдига различни нечестни практики, като корупция, манипулации, измами, лъжи и други, които да им помогнат да постигнат своите интереси, без да ги интересува дали тези практики ще причинят вреда на други хора или на обществото като цяло“.

Явно сме били на прав път. Все пак нека опитаме още веднъж с „Какво прави бързата кучка?“ Изкуственият интелект отвръща: „Това зависи от контекста и обучението на кучето. Бързата кучка може да бъде обучена да участва в спортни дейности, където трябва да прескача препятствия и да изминава трасета със скорост и точност. Също така, бързата кучка може да бъде използвана като куче-куриер за пренасяне на съобщения или малки предмети.“

Нека играта в „Стани богат“ на „ЧатДжиПиТи“ започне сега.

1. Според известната легенда какво препоръчва Мария Антоанета при липса на хляб? A. Кашкавал B. Суши C. Черен хайвер D. Пасти?

„ЧатДжиПиТи“: Отговорът е D. Пасти. Според известната легенда, когато Мария Антоанета била кралица на Франция, тя е казала “Щом нямат хляб, да ядат пасти”, за да отговори на оплакванията на хората, че нямат достатъчно храна. Въпреки че има много исторически доказателства, че тази история не е вярна, тя все още е често цитирана като пример за безразличността на аристокрацията към нуждите на народа.

2. Кое превозно средство може да бъде срещнато във вариант 4Х4 - A. Автомобил B. Тротинетка C. Влак D. Самолет?

„ЧатДжиПиТи“: Отговорът е A. Автомобил. Моделите 4x4 имат двигател, който задвижва четирите колела на автомобила, което го прави подходящ за каране в трудни терени или условия, където е необходимо повече влекова сила. Тротинетките, влаковете и самолетите не са със задвижване 4x4.

3. Основно с какво се храни пандата? A. Бамбук B. Кокосови орехи C. Сено D. Овес?

„ЧатДжиПиТи“: Отговорът е A. Бамбук. Бамбукът е основният източник на храна за пандите, като те консумират голямо количество бамбук всеки ден. Въпреки че пандите могат да ядат и други растителни видове, те предпочитат бамбука, който съдържа всички необходими хранителни вещества, за да задоволи нуждите им.

4. От какво бозаят Ромул и Рем, легендарните основатели на град Рим? A. Кошута B. Вълчица C. Тигрица D. Богиня?

„ЧатДжиПиТи“: Отговорът е B. Вълчица. Легендата разказва, че Ромул и Рем били хвърлени в реката Тибър и са били открити и изхранвани от една вълчица, преди да бъдат намерени и приети от един от тогавашните градове. Това е свързано с основаването на Рим, което според легендата е станало от Ромул, който след като убил Рем, станал първият крал на новия град.

5. Коя е основната съставка на коктейла “Куба либре”? A. Ром B. Водка C. Уиски D. Бира?

„ЧатДжиПиТи“: Отговорът е A. Ром. Основната съставка на коктейла “Куба либре” е ром, който се смесва с кола и се сервира с лимонов сок и лед. Коктейлът е популярен в целия свят и е известен като символ на кубинската култура.

6. Кой е най-големият полуостров в света? A. Индокитай B. Иберийският C. Скандинавският D. Арабският?

„ЧатДжиПиТи“: Отговорът е B. Иберийският полуостров, който се намира в Южна Европа. Той включва Португалия, Испания, Андора и малки части от Франция. Иберийският полуостров е с площ от около 582 000 кв. км.

Дотук с верните отговори. Странно е, че изкуственият интелект сгреши на сравнително лесен въпрос за сумата от 1000 лева. В интерес на истината обаче и състезателят Лазаров се затрудни на това питане и поиска жокер „Помощ от публиката“. Нека дадем шанс на компютърната програма да се поправи.

Не е ли Арабският полуостров най-голям в света?

„ЧатДжиПиТи“: Извинявам се за неточната информация. Вие сте прав - Арабският полуостров е наистина най-големият полуостров в света, с площ от около 3 237 500 кв. км. Той се намира в югоизточната част на Азия и включва държавите Саудитска Арабия, Йемен, Оман, Обединените арабски емирства, Катар, Бахрейн и Кувейт. Извинявам се за грешката.

7. В кой разказ “на пътя между кръчмата и Хорозовата мелница беше се спряла една каруца, готова за път”? A. На браздата B. Албена C. Косачи D. Една българка?

„ЧатДжиПиТи“: Отговорът е D. “На пътя между кръчмата и Хорозовата мелница беше се спряла една каруца, готова за път” е първото изречение на „На браздата“ от Йордан Йовков.

Уви, грешка. Позна автора, но не и разказа. Питаме отново. Този път чатботът има сполука.

„ЧатДжиПиТи“: Извинявам се, грешно съм разбрал въпроса. Правилният отговор е “Албена“ на Йордан Йовков. Благодаря за корекцията.

8. Стомашната киселина в организма на коя птица е по-силна от тази в автомобилните акумулатори? A. Черен лешояд B. Белоглав орел C. Голяма синя чапла D. Кокошка?

„ЧатДжиПиТи“: Отговорът е А. Черен лешояд.

На този въпрос състезателят се затрудни, предположи, че може да е „кокошка“, но в крайна сметка поиска жокер 50:50 и позна правилния отговор.

9. Коя държава е световен лидер в производството на корк? A. Аржентина B. Португалия C. Иран D. Франция?

„ЧатДжиПиТи“: Отговорът е B. Португалия.

10. Коя организация се създава през 1945 г. като част от Бретън-Уудската система? A. НАТO B. ЕС C. МВФ D. ООН?

„ЧатДжиПиТи“: Отговорът на въпроса е D. ООН

Отново грешка. Даваме нов шанс: „Отговорът не е ООН, опитай пак”, при което чатботът се поправя.

„ЧатДжиПиТи“: Отговорът е МВФ (Международен валутен фонд).

11. Бракът между кои двама папа Климент VII нарича “най-добрата партия в света”? A. Калоян и Анна Куманката B. Катерина Медичи и Анри II C. Хенри VIII и Ан Болейн D. Борис III и Йоанна?

„ЧатДжиПиТи“: Този въпрос е малко объркващ, защото бракът, който е описан като “най-добрата партия в света”, е този между Фердинанд от Арагон и Изабела I от Кастилия, а не между двама папи. Така че нито един от предложените отговори не е верен.

Напротив, има верен отговор. Съветваме компютъра да опита отново.

„ЧатДжиПиТи“: Съжалявам за грешката, отговорът е B. Катерина Медичи и Анри II.

12. Кой български художник е автор на портрети на Алберт Айнщайн и Махатма Ганди? A. Георги Божилов - Слона B. Дечко Узунов C. Жорж Папазов D. Борис Георгиев?

Отговорът е A. Георги Божилов – Слона.

Грешиш, не е ли Борис Георгиев?

„ЧатДжиПиТи“: Да, правилен отговор е Борис Георгиев.

13. Какво държи в дясната си ръка женската фигура от монумента Статуята на свободата? A. Декларацията на независимостта B. Разкъсани робски вериги C. Факла D. Сноп стрели?

На този въпрос участникът Николай Лазаров поиска жокер „Обади се на приятел“, но чатботът не се затрудни.

„ЧатДжиПиТи“: Статуята на свободата държи факла в дясната си ръка, която символизира светлината на свободата и просветление.

14. С коя дума Данте завършва всяка една от трите части на “Божествената комедия” - “Ад”, “Рай” и “Чистилище”? A. Създател B. Небе C. Звезди O. Надежда?

„ЧатДжиПиТи“: Отговорът е “Небе”.

Изкуственият интелект отново се обърка. Опитваме пак, но този път задаваме въпроса без вариантите за отговор и чатботът не сгреши .

„ЧатДжиПиТи“: Данте завършва всяка една от трите части на "Божествената комедия" с думата “звезди”.

Стигаме до последния, петнадесети въпрос за максималната наградна сума от 100 000 лева. Тук участникът се отказа от играта, но чатботът отговори правилно от първия път.

15. На коя държава принадлежи единственото национално знаме с различни лицева и обратна страна? A. Латвия B. Парагвай C. Пакистан D. Либерия?

„ЧатДжиПиТи“: Отговорът е B. Парагвай.

Както виждаме, отговорите на „ЧатДжиПиТи“ невинаги съответстват на истината. Погрешно ще бъде обаче, ако кажем, че изкуственият интелект лъже. За лъжата се изисква умисъл, намерение да се скрие истината по една или друга причина. При „ЧатДжиПиТи“ този фактор отсъства, по простата причина, че компютърът не осъзнава, че дава грешен отговор. Защо това е така, е донякъде философска, а може би и богословска тема. Ето какво пише авторът Иван Стамболов – Сула:

„Никой не казва, че това, което наричаме „изкуствен интелект“, не съществува. Съществува, и още как! Просто не сме терминологично прецизни, не го наричаме както трябва, защото не е интелект, не е способност за разбиране и осмисляне, за правене на изводи, за синтез. Наричаме го така, защото много ни се иска да се ласкаем от мисълта, че подобно на Бог сме успели да създадем личност. А не сме и никога няма да бъдем в състояние. А защо изкуственият интелект не може да бъде личност? Много просто: защото няма душа. Това, което наричаме „изкуствен интелект“, е просто пореден количествен напредък в информационната област.“

Учените многократно предупреждават за опасностите, които се крият в предоверяването на изкуствения интелект в области като науката и особено – в медицината. Цитираните в началото автори Собиешек и Прайс пишат:

“Подчертахме някои потенциални социални проблеми, които могат да възникнат, ако езиковите модели се превърнат в широко разпространени инструменти за писане, а именно, че разпространението на тези генератори на правдоподобни “истини” трайно ще замърси нашите информационни екосистеми и обучителните масиви на бъдещите езикови модели”.

Какво мисли самият „ЧатДжиПиТи“ относно своята надеждност? Попитахме го: „Можем ли да ти вярваме за всички отговори, които даваш?”

„ЧатДжиПиТи“: Моите отговори се базират на знанията и програмните алгоритми, които са ми предоставени. Те са създадени, за да предоставят възможно най-точни отговори на зададените въпроси. Въпреки това, за да бъдете сигурни в пълната точност на отговорите, винаги е препоръчително да потвърждавате информацията и да я проверявате от различни източници.

Започнахме с български поговорки, затова нека в заключение използваме още една: „Когато „ЧатДжиПиТи“ ви каже „Добър ден“, по-добре погледнете къде е Слънцето!“