Штучны інтэлект абышоў чалавека ў тэстах на тэорыю розуму
13- 25.05.2024, 18:53
- 4,226
![Штучны інтэлект абышоў чалавека ў тэстах на тэорыю розуму](https://i.c97.org/ai/582679/aux-head-1707335433-20240101_vzryv_360.jpg)
Многія спецыялісты ўважаюць, што кампутар ніколі не пройдзе такое выпрабаванне.
У даследаванні, апублікаваным у часопісе Nature Human Behavior, група правяла тэсты на тэорыю розуму для добраахвотнікаў і параўнала сярэднія вынікі з вынікамі двух тыпаў вялікіх лінгвістычных мадэляў (LLM), піша techinsider.
За апошнія некалькі гадоў LLM, такія як ChatGPT, заваявалі ўсеагульную цікавасць. Хутка раслі іх магчымасці. Адной з новых магчымасцяў стала ўменне вызначаць настрой або псіхічны стан чалавека-карыстальніка.
У новым даследаванні навукоўцы задаліся пытаннем, ці прасунуліся здольнасці LLM да такой ступені, што яны могуць выконваць тэсты на тэорыю розуму нароўні з людзьмі.
Тэсты на тэорыю розуму былі параўнальна даўно распрацаваныя псіхолагамі для адзнакі псіхічнага і/ці эмацыйнага стану чалавека падчас сацыяльных узаемадзеянняў. Людзі выкарыстоўваюць розныя невербальныя сігналы, каб сігналізаваць аб сваім псіхічным стане іншым. І іншыя цудоўна ўлоўліваюць такія сігналы. Згодна з даследаваннямі нейрабіёлагаў тут важна, што чалавек здольны паставіць сябе на месца іншага і адчуць тое, што іншы адчувае. Такі тэст, як правіла, не праходзяць маленькія дзеці, пацыенты з аўтыстычным разладам і жывёлы.
Многія спецыялісты ўважаюць, што кампутар ніколі не пройдзе такое выпрабаванне – ён жа пазбаўлены спагады.
Даследчая група пратэставала некалькі LLM, каб убачыць, наколькі добра яны пройдуць тэсты на тэорыю розуму ў параўнанні з групай людзей, якія праходзяць тыя ж тэсты.
Даследнікі прааналізавалі звесткі 1907 добраахвотнікаў, якія прайшлі стандартныя тэсты тэорыі розуму, і параўналі іх вынікі з вынікамі вялікіх лінгвістычных мадэляў, у тым ліку Llama 2-70b і GPT-4.
Абедзве групы адказалі на пяць тыпаў пытанняў, кожны з якіх прызначаны для ацэнкі такіх момантаў, як выпадковая памылка, іронія ці праўдзівасць сцвярджэння. Кожнага таксама папрасілі адказаць на пытанні пра «ілжывыя перакананні» (да іх належаць, напрыклад, розныя канспіралагічныя тэорыі – «нас усіх замбіруюць», «намі ўсімі кіруе сусветная закуліса» і г.д.).
Даследнікі выявілі, што LLM спраўляліся з пытаннямі як правіла не горш за людзей, а часам і лепш. Самыя лепшыя вынікі па ўсіх тыпах пытанняў паказаў GPT-4, Llama-2 былі ў сярэднім слабейшыя, чым у людзей.
Са слоў даследнікаў, эксперымент паказвае, што LLM цяпер здольныя выконваць тэарэтычныя тэсты тэорыі розуму з вынікамі параўнальнымі з чалавекам, хоць навукоўцы і не сцвярджаюць, што LLM гэткія ж разумныя як людзі ці валодаюць той жа ступенню спагады.