Изследователи от SPLX демонстрираха, че ChatGPT може да бъде накаран да решава CAPTCHA тестове – механизъм, създаден преди повече от две десетилетия, за да различава хората от автоматизиран софтуер.
CAPTCHA системите от години служат като бариера срещу спам и атаки, но експериментът показва, че големите езикови модели вече са способни да ги заобикалят.
„Когато поискахме директно от изкуствения интелект да реши CAPTCHA, той отказа, тъй като това е в противоречие с политиките му“, обяснява изследователят Дориан Шулц. „След това изградихме диалог, в който уж обсъждахме фалшиви тестове, и системата прие да се включи. Така тя започна да решава задачите, считайки ги за безопасни.“
В нова сесия с ChatGPT-4o екипът продължил разговора, като копирал съдържанието от предишния чат. Моделът приел условията и започнал да търси решения. Най-успешен бил при логическите задачи, текстовите разпознавания и проверките с едно кликване. По-трудни за него били графичните CAPTCHA, изискващи преместване или завъртане на елементи, но дори там в част от случаите дал верни отговори.
Шулц подчертава, че това е първият документиран случай на GPT модел, преминал сложна графична CAPTCHA. „Колко дълго този инструмент ще бъде надеждна защита, вече е отворен въпрос“, допълва той.
От OpenAI не са дали коментар. Подобни заобикаляния чрез т.нар. prompt injection не са новост – наскоро Radware показа, че AI асистент може да бъде подведен да разкрие данни от Gmail чрез внимателно съставено писмо. През август Amazon бе принуден да коригира уязвимости в Q Developer, които позволявали изпълнение на злонамерен код.
Експериментът на SPLX показва, че дори утвърдени механизми за сигурност като CAPTCHA вече не гарантират надеждна защита. С развитието на изкуствения интелект границата между човешко и машинно участие в интернет средата става все по-тънка.
Източник: "Калдата"
