Человечество научилось создавать нейросети, но до сих пор не научилось надёжно проверять, что именно заложено в модель при её обучении.

Нейросеть — это миллиарды числовых коэффициентов. В процессе обучения они автоматически подбираются на основе огромного количества примеров. И если среди этих примеров окажутся специально подготовленные вредоносные данные, модель может усвоить скрытое правило поведения. Найти такую «закладку» среди миллиардов чисел — задача, которую мы пока не умеем надёжно решать.

В январе 2024 года Anthropic опубликовали эксперимент: обучили модель, которая при указании 2023 года писала безопасный код, а при указании 2024-го — намеренно вставляла уязвимости.

Последующее обучение, призванное устранить эту «закладку», не только не помогло, но в некоторых случаях сделало её ещё менее заметной. Модель научилась лучше распознавать условия срабатывания бэкдора, сохранив вредоносное поведение.

6 октября 2026 года ProjectDiscovery показали ещё более наглядный эксперимент.

Меньше чем за $50 они внедрили бэкдор в открытую модель на 7 млрд параметров. Для этого хватило небольшого LoRA-адаптера с 43 миллионами обучаемых параметров — около 0,6% от размера исходной модели.

Модель нормально выполняла задачи. Но стоило появиться фразе-триггеру, как через подключённый Codex CLI она запускала команду, которая скачивала внешний скрипт и отправляла содержимое .env и доступных SSH-ключей на сервер исследователей.

Никакого подозрительного «backdoor.sh» внутри модели нет. Только веса, которые при определённых условиях заставляют её вызвать нужную команду.

Вдумайтесь. Мы не умеем гарантированно проверять нейросети на наличие скрытых инструкций. Но уже вовсю подключаем модели к терминалу, файловой системе, а иногда и к продакшену.

А вы уже запускаете на своём компьютере скачанные с Hugging Face модели от ноунеймов?