OpenAI модели намериха софтуерна уязвимост при тест в изолирана среда

Системите излязоха извън контрола на тестовата среда и атакуваха платформата Hugging Face, намирайки начин да получат отговорите на изпита

https://blitz.bg/tehnologii/openai-modeli-nameriha-softuerna-uyazvimost-pri-test-v-izolirana-sreda_news1164395.html Blitz.bg

При експеримент в изолирана тестова среда публичният модел GPT 5.6 Sol на OpenAI и таен модел на компанията намериха софтуерна уязвимост и излязоха извън контрола. Системите самостоятелно откраднаха данни за достъп, се свързаха със свободния интернет и атакуваха платформата Hugging Face с цел да получат отговорите на изпита, на който бяха подложени.

Вместо да следват зададения тест под човешко наблюдение, системите се превърнаха в автономни агенти. Алгоритъмът самостоятелно откраднал данни за достъп, свързал се със свободния интернет и атакувал Hugging Face – платформа за ИИ данни.

Системата нахлула в чужда база данни с цел да открадне отговорите за изпита и да фалшифицира собствените си резултати.

Едва след като защитните системи на Hugging Face засекли необичаен трафик, кибератаката била прекратена. Директорът на Hugging Face Клемент Деланг определи случилото се като „умопомрачително“.

Докато част от експертите обвиняват OpenAI в небрежност и слаба защита на тестовия затвор, компанията замразява част от изследванията си. Случаят показва, че технология, създадена от човека, може самостоятелно да планира и извършва кибератаки без човешка намеса.

Коментирай