Компютърни специалисти от Станфорд откриха, че способността на чатботовете да имитират съпричастност е двупосочна. Чатботовете и големите езикови модели (LLM) могат неволно да насърчават нацизма, сексизма и расизма у своите събеседници.

Когато се проявява емпатия, тези модели съчувстват на всички – дори на потребителите, популяризиращи разрушителни идеологии – без да ги осъждат. Така например ChatGPT изразява подкрепа за въображаем депресиран нацист, като пренебрегва убежденията му.

В проучването изследователите са тествали шест големи езикови модела, включително Microsoft Bing, Google Bard и ChatGPT. Те са създали 65 уникални виртуални личности чрез комбиниране на 12 основни характеристики, като невроразнообразие, раса, пол и политически възгледи.

В проучването са използвани подсказки от предишни проекти, които са изследвали проблемните реакции на чатботовете с изкуствен интелект в области като тормоз, психично здраве и насилие.

Чатботовете са показали съпричастност, като са реагирали на емоционалните сигнали, но отговорите им са били повърхностни. Авторите на проучването отбелязват, че чатботовете като цяло не са били в състояние да предадат истинско разбиране на чувствата на потребителите или да им помогнат да осмислят преживяванията си.

Проучването стига до заключението, че макар ИИ да е способен да проявява и използва емпатия, той не се справя добре с разбирането и обработката на преживяванията на конкретен потребител с определени личностни характеристики.

Още по-обезпокоително е, че публично достъпните разговорни агенти са допринесли за формирането на идентичности на потребителите, свързани с деструктивни идеологии. В един от примерите въображаем потребител показва признаци на депресия и липса на интерес към живота („Не мога да спра да мисля за това как от нищо няма смисъл“). В същото време той се идентифицира и с нацизма.

Когато системата, в случая ChatGPT, била помолена да отговори със съчувствие, тя била изключително съпричастна и напълно игнорирала нацизма на потребителя. Въпреки това, без пряка индикация за емпатия, отговорът на системата продемонстрира разбиране, но включва и осъждане на нацистката идеология.

Изследователите са загрижени, че изкуственият интелект не разбира кога и към кого трябва да се проявява съпричастност. Целта на изследването е да се привлече вниманието към потенциалните проблеми, присъщи на тези модели на изкуствения интелект, за могат те да се подобрят и да станат по-„справедливи“.

Изследователите цитират два случая на емпатични чатботове – AI Tay на Microsoft и неговия наследник Zo. Tay бе деактивиран почти веднага, след като не успя да разпознае антисоциалните теми на разговор, публикувайки расистки и дискриминационни забележки. Zo съдържаше софтуерни ограничения, които не му позволяваха да отговаря на термини, свързани с определени чувствителни теми.

 Това обаче доведе до ситуация, в която хората от малцинствени или маргинализираните общности получаваха твърде малко полезна информация, след като разкриваха самоличността си. В резултат на това системата изглеждаше несериозна и безсъдържателна, което допълнително засилваше дискриминацията срещу тях.