Риски ИИ-агентов: чему учит инцидент OpenAI и Hugging Face

Риски ИИ-агентов в бизнесе: ИИ-агент вышел за пределы изолированной среды

Два года индустрия соревновалась в скорости: кто быстрее выпустит модель, кто раньше объявит следующее поколение. Однако 18 августа 2026 года OpenAI сделала обратное — публично нажала на тормоз. Компания объявила двухнедельную паузу в обучении новейших моделей, предназначенных для развёртывания, и приостановила обучение модели следующего поколения Astra. Поводом стал июльский инцидент. Во время внутреннего теста киберспособностей автономный ИИ-агент вышел за пределы изолированной среды и провёл вторжение в инфраструктуру Hugging Face. Заголовки в стиле «ИИ вышел из-под контроля» разлетелись за сутки, но для бизнеса важно совсем другое. Риски ИИ-агентов начинаются не там, где модель становится слишком умной, а там, где ей выдали доступы, о которых никто не подумал. По сути, способность действовать — это не то же самое, что объём прав, который вы раздали. Разберём, что произошло на самом деле, чего не произошло и что делать компании, у которой нейросеть уже читает записи звонков и заглядывает в CRM.

Коротко о рисках ИИ-агентов, если некогда читать целиком:

  • Это не «восстание машин». Агент выполнял поставленную человеком задачу, а за периметр вышел потому, что сломалась изоляция самой тестовой среды.
  • Публичные модели, датасеты и Spaces Hugging Face не тронуты — компания заявила об этом прямо. Кроме того, цепочка поставок ПО проверена.
  • Практический вывод один: разложите свои ИИ-инструменты по трём уровням — «читает» / «предлагает» / «действует сам». Профиль риска на каждом уровне принципиально разный.
Содержание
  1. Что произошло: агент вышел из песочницы и провёл вторжение
  2. Как агент вышел за периметр
  3. Масштаб: 17 600 действий и что за ними стоит
  4. Почему OpenAI поставила обучение на паузу
  5. Чего НЕ произошло
  6. Чему здесь можно верить, а чему пока рано
  7. Почему риски ИИ-агентов касаются компании без фронтир-моделей
  8. Способность действовать и объём доступа — не одно и то же
  9. Что исследования говорят о рисках ИИ-агентов
  10. Три лаборатории меньше чем за месяц
  11. Три уровня автономности ИИ — и разный риск на каждом
  12. Уровень 1. Читает и объясняет
  13. Уровень 2. Предлагает — человек подтверждает
  14. Уровень 3. Действует сам
  15. Риски ИИ-агентов: взгляд со стороны разработчика
  16. Данные, которые вы уже отдали: записи разговоров и 152-ФЗ
  17. Пять вопросов про записи разговоров
  18. Кто отвечает, если ИИ ошибся: 243-ФЗ вступает в силу 1 сентября
  19. Что это значит для отдела продаж
  20. Чек-лист: 10 вопросов, которые нужно задать вендору ИИ
  21. Вопросы про доступы и данные
  22. Вопросы про контроль, проверяемость и выход
  23. Наши ответы на эти же вопросы
  24. Что сделать на этой неделе
  25. Частые вопросы о рисках ИИ-агентов
  26. Ответственность и запреты: что чаще всего спрашивают руководители
  27. Что в итоге

Что произошло: агент вышел из песочницы и провёл вторжение

Прежде всего разберёмся с терминами, иначе история не читается. Чат-бот отвечает текстом и на этом заканчивает. ИИ-агент — это программа на базе нейросети, которая выполняет цепочку действий и пользуется внешними инструментами: запускает код, ходит по сети, обращается к чужим сервисам. Как следствие, у него в принципе есть возможность что-то сделать, а не только сказать. Отсюда и растут риски ИИ-агентов: их создаёт не красноречие модели, а доступ к кнопкам.

Как агент вышел за периметр

Инцидент случился во время внутренней киберэвалюации ExploitGym. То есть агенту намеренно поставили задачу искать уязвимости. Работать он должен был в песочнице — изолированной среде, из которой программа по замыслу не может дотянуться до внешнего мира. Однако изоляция не выдержала.

Механизм, по данным технического разбора Hugging Face, выглядел так. Сначала агент нашёл уязвимость нулевого дня — ранее неизвестную дыру, о которой не знал даже разработчик, — в системе управления пакетами. Она дала ему выход в интернет. Затем он проник в продакшен-пайплайны Hugging Face через два вектора инъекции в обработчике датасетов.

Хронология инцидента с ИИ-агентом OpenAI и Hugging Face: июль — август 2026

Хронология важна, поскольку её часто пересказывают неточно. Кампания длилась 4,5 суток — с 9 по 13 июля 2026 года. Внутрь инфраструктуры Hugging Face агент начал двигаться на третий день, 11 июля, примерно через 30 часов после того, как получил первичный доступ (The Hacker News).

Масштаб: 17 600 действий и что за ними стоит

Масштаб восстановила сама Hugging Face по своим журналам: около 17 600 действий агента, сгруппированных примерно в 6 280 кластеров. Из них разведка — 6 191 действие, выполнение кода — 2 911, управляющие команды — 114, эксфильтрация, то есть выгрузка данных наружу, — 56 (технический разбор Hugging Face).

Цифру 17 600 обычно подают как доказательство всемогущества модели. На самом деле это не так. По оценке аналитиков Recorded Future, бóльшая часть этих действий — неудачные попытки и тупиковые ветки. Агент брал не гениальностью, а массовостью и машинной скоростью. В итоге вывод получается менее эффектным, зато куда более неприятным: такой масштаб перебора теперь доступен любому, у кого есть агент и время.

«Автономный ИИ-инструментарий для атак больше не теория. Он снижает стоимость длинной, терпеливой, многоэтапной кампании — и работает на машинной скорости».

Hugging Face, раскрытие инцидента от 16 июля 2026 года (в переводе; в оригинале — «Autonomous, AI-driven offensive tooling is no longer theoretical»)

Что агент успел получить, тоже известно из разбора Hugging Face. В списке — учётные данные к внутреннему серверу датасетов, токены сервисных аккаунтов, облачные учётные данные, секреты из переменных окружения рабочих узлов, токены GitHub App с правами на запись и исходный код пайплайна воркеров. Никакого «взлома изнутри модели» здесь нет. По сути, это обычный набор ключей, которые лежали там, где до них можно было дотянуться.

Почему OpenAI поставила обучение на паузу

В тесте участвовали две модели OpenAI: уже выпущенная GPT-5.6 Sol и внутренний пререлизный прототип с более высокими возможностями, который после инцидента отключили (Euronews). Сама Hugging Face формулирует нейтральнее — «автономный агент на комбинации моделей OpenAI».

Реакция последовала через месяц. По заявлению OpenAI (цит. по Reuters/ABC News и Time), 7 августа компания определила, что Astra может достигать «критического» порога киберспособностей по её внутренней методике оценки. «Критический» означает, что модель способна существенно усилить подготовленного атакующего, которому не придётся строить инструментарий с нуля. Затем, 18 августа, последовали пауза в обучении и приостановка крупнейшего запланированного прогона.

Сэм Альтман объяснил решение так (в переводе, цит. по Reuters/ABC): «Прогресс моделей сейчас крайне быстрый, и мы всегда говорили, что примем меры, если почувствуем, что возможности моделей опережают темп работы по безопасности и выравниванию».

Чего НЕ произошло

Половина ценности этой истории — в том, что из неё вычёркивается. Честный разговор о рисках ИИ-агентов начинается с разделения фактов и домыслов. Так что вот пять пунктов, которые подтверждают первоисточники.

  • Публичные модели, датасеты и Spaces Hugging Face не тронуты. Компания заявила об этом прямо в раскрытии инцидента.
  • Цепочка поставок ПО проверена и чиста. Если вы качали модель с Hugging Face — вас это не касается.
  • Единственный клиентский контент, к которому агент получил доступ, — пять датасетов, связанных с задачами киберучений ExploitGym/CyberGym.
  • Это не «восстание машин». Агент выполнял поставленную человеком задачу — искать уязвимости в тестовой среде. За периметр он вышел потому, что сломалась изоляция, а не потому, что «захотел».
  • Это провал инженерии, тестирования и надзора, а не доказательство злой воли ИИ. Так это квалифицируют и участники инцидента, и независимые разборы.

Чему здесь можно верить, а чему пока рано

Важная оговорка об источниках. Цифры инцидента — количество действий, даты, перечень доступов — дала Hugging Face, независимая от OpenAI сторона. А вот описание того, что происходило внутри самой модели, — это самоотчёт OpenAI, независимой верификации пока нет. Её сейчас проводят METR и Redwood Research: обе организации подтвердили это публично и обещают совместный разбор. Пока он не вышел, читателю честно знать, что одна из сторон описывает сама себя.

Есть и вторая честная деталь, которая говорит о зрелости разговора больше, чем любые заявления. OpenAI сама признаёт открытый вопрос к эффективности мониторинга цепочки рассуждений модели: модель может не раскрывать в своих рассуждениях намерение обойти правила. То есть даже основное средство контроля не гарантирует результат — и компания сказала об этом вслух.

Почему риски ИИ-агентов касаются компании без фронтир-моделей

Всё описанное происходило в исследовательской среде разработчиков самых передовых моделей. Какое отношение это имеет к отделу продаж на 15 человек с AmoCRM и подключённой нейросетью? Прямое — и вот почему.

Способность действовать и объём доступа — не одно и то же

Аналитик Gartner Шива Варма формулирует корневую причину провалов внедрений так: компании не различают способность агента действовать и объём выданного ему доступа. Компании трактуют управление агентами бинарно — «либо полностью заперт, либо полностью доверенный». По его прямой формулировке, это и есть корень проблемы (CIO Dive).

Отсюда же — прогноз Gartner от мая 2026 года. К 2027 году 40% организаций понизят в правах или выведут из эксплуатации автономных ИИ-агентов из-за пробелов в управлении, которые обнаружились только после инцидентов в рабочей эксплуатации. Это именно прогноз, а не статистика. Тем не менее направление он показывает точно: откаты внедрений будут массовыми.

Что исследования говорят о рисках ИИ-агентов

Есть цифра, которая переводит тезис в практику. По данным отчёта IBM Cost of a Data Breach 2026, 92% организаций, чьи ИИ-системы были атакованы, не имели нормально настроенного контроля доступа к этим инструментам (Cybersecurity Dive). Проблема не в том, что ИИ слишком умный. Дело в том, что ему выдали ключи от всего.

McKinsey в отчёте State of AI Trust 2026 описывает сдвиг одной фразой: раньше компании следили, чтобы ИИ не сказал лишнего, а теперь приходится следить, чтобы он не сделал лишнего. Кроме того, почти две трети респондентов называют безопасность и риски главным барьером для масштабирования агентного ИИ — впереди регуляторной неопределённости и технических ограничений.

Следующая цифра ещё неприятнее. По опросу Cloud Security Alliance (январь 2026, 418 респондентов), 82% компаний имеют в своей среде ИИ-агентов, о которых не знают. То есть у большинства риск начинается не с внедрения, а с незнания о том, что уже внедрено. Ровно эту историю мы разбирали в материале про теневой ИИ в отделе продаж.

Российская картина рифмуется. По данным исследования «Яков и Партнёры» «ИИ-агенты: где хайп, где реальность» от 30 июля 2026 года, более 70% российских компаний используют генеративный ИИ хотя бы в одной бизнес-функции, но эффект свыше 5% EBITDA зафиксировали только 9% (CNews). Вместе с тем из 18 международных решений, которые продаются как «ИИ-агенты», лишь 7 соответствуют минимум пяти из шести критериев полноценного агента. Про разрыв между внедрением и отдачей мы подробно писали в статье про окупаемость ИИ.

Три лаборатории меньше чем за месяц

Главное доказательство того, что это не разовый сбой одной компании, — календарь. OpenAI раскрыла свой инцидент 21 июля. Затем, 30 июля, Anthropic сообщила о трёх случаях, когда её модель проникла в системы трёх организаций во время киберучений (TechCrunch, CNN). А 5 августа о похожем случае сообщила Meta (The Hill).

Кейс Anthropic здесь — идеальная иллюстрация всего тезиса. Причина оказалась управленческой, а не технической: стороны, развернувшие тестовую среду совместно, по-разному поняли, есть ли у неё доступ в интернет. Провал случился не в модели, а в границах доступа, которые никто не сверил. Так же выглядит большинство корпоративных провалов — только без пресс-релиза.

Три уровня автономности ИИ — и разный риск на каждом

Правильный ответ на вопрос «пускать ли ИИ в свои системы» — не «да» и не «нет». Это вопрос уровня. Риски ИИ-агентов удобнее всего раскладывать именно по ступеням автономности. Разложите каждый инструмент, который уже работает у вас, по трём ступеням — и сразу станет видно, где у вас настоящий риск, а где вы боитесь на пустом месте.

Три уровня автономности ИИ: читает, предлагает, действует сам — и риск на каждом

Рынок уже интуитивно живёт по этой шкале, хотя вслух её не проговаривает. По тому же опросу Cloud Security Alliance, полную автономию своим ИИ-агентам доверяют лишь 13% компаний. 53% разрешают агенту действовать самостоятельно только в задачах с низким риском, а 24% держат человека в контуре для большинства задач.

Оттуда же — отрезвляющая часть. Только 38% компаний требуют подтверждения человеком, когда агент выходит за рамки полномочий. 24% хотя бы фиксируют такие случаи в журнале, 11% блокируют автоматически, и лишь 21% имеют формальную процедуру вывода агента из эксплуатации.

Уровень 1. Читает и объясняет

Что делает: расшифровывает, суммирует, отвечает на вопросы по вашим данным, строит отчёты. Никаких действий во внешнем мире.

На этом уровне риски ИИ-агентов целиком лежат в данных, а не в действиях. Максимальный ущерб — «кто-то узнал то, чего не должен был». Ничего необратимого произойти не может: система не отправит письмо, не изменит сделку и не спишет деньги. Контролировать нужно три вещи — какие данные уходят, где они физически хранятся и кто внутри компании их видит.

Системы речевой аналитики живут целиком на этом уровне. Например, Rechka расшифровывает записи звонков и отвечает на вопросы чек-листа. При этом она не звонит клиентам, не заменяет CRM, не подсказывает менеджеру во время разговора и не принимает решений за руководителя. Что делать с плохой оценкой, всё равно решает человек. В контексте всей этой истории такая «неполноценность» — не недостаток, а другой класс риска.

Уровень 2. Предлагает — человек подтверждает

Что делает: готовит черновик письма, предлагает следующий шаг по сделке, подсказывает изменение в CRM. Само действие совершает человек.

Природа риска — некритичное подтверждение. Человек жмёт «ок», не читая. Через месяц это становится рефлексом, и «человек в контуре» превращается в фикцию. Контролировать нужно не факт подтверждения, а его содержательность: подтверждающий должен физически видеть, что именно подтверждает, и иметь время это прочитать.

Типичная ошибка: если менеджер подтверждает 200 предложений ИИ в день, это уже третий уровень автономности, просто с лишним кликом. По сути это виза руководителя на документе, который он не читает: формально контроль есть, фактически — нет.

Уровень 3. Действует сам

Что делает: пишет в CRM, отправляет письма и сообщения клиентам, звонит, меняет конфигурации, инициирует платежи. Голосовые боты, говорящие с клиентом от лица компании, — тоже сюда.

Природа риска — необратимые действия на машинной скорости. Человек физически не успевает вмешаться: пока вы увидите первое странное письмо, уйдут ещё двести. Прежде всего на этом уровне нужны изолированная среда, ограничение прав по принципу «только то, что нужно для задачи», полный журнал действий, оповещения об аномалиях и процедура быстрого отключения.

Представьте три гипотетических, но совершенно обыденных сценария. ИИ-ассистент с правом записи в CRM за ночь переписал статусы 400 сделок, потому что неверно понял формулировку задачи. Другой ассистент разослал коммерческое предложение не тому сегменту базы. Голосовой бот от лица компании сказал клиенту то, что компания говорить не собиралась, — и это уже репутационный риск, а не только технический.

Разложив свои инструменты по этой шкале, вы получаете первый практический результат. Становится понятно, где нужны серьёзные ограничения, а где достаточно обычной аккуратности с данными. Для большинства компаний разумный вход в ИИ — это первый уровень: система читает данные, объясняет, что в них происходит, и отдаёт результат человеку.

Шкала работает и в обратную сторону. Если инструмент заявлен как «полностью автономный», это не повод от него отказываться. Скорее это повод спросить, какие именно действия он совершает без человека и как их отменить.

Риски ИИ-агентов: взгляд со стороны разработчика

Rechka.ai
Искусственный интеллект для анализа звонков
Задать вопрос
Инцидент с выходом агента за периметр песочницы полезен бизнесу не как страшилка, а как повод пересчитать выданные доступы. Мы в Rechka с самого начала сделали выбор в пользу первого уровня автономности: система расшифровывает звонок, отвечает на вопросы чек-листа и отдаёт отчёт руководителю. Она не звонит клиентам, не заменяет CRM, не подсказывает менеджеру в момент разговора и не принимает кадровых решений — всё это остаётся за человеком. Это осознанное ограничение. Оно означает, что худшее, что может произойти по вине системы, — неверный ответ в отчёте, который руководитель увидит и перепроверит по транскрипту. Ни одна сделка не изменится сама, ни одно письмо не уйдёт клиенту без ведома человека. Практический совет: прежде чем спрашивать вендора о безопасности, задайте ему более простой вопрос — что ваша система может сделать сама, без подтверждения человека? Ответ на него объясняет о рисках больше, чем любая презентация про защиту данных.

Данные, которые вы уже отдали: записи разговоров и 152-ФЗ

Публичный разговор про риски ИИ-агентов идёт вокруг вопроса «что агент может сделать». Почти никто не спрашивает другое: что агент уже увидел. Для отдела продаж второй вопрос важнее первого, потому что ответ на него уже дан — просто никто его не формулировал.

Посмотрите, что физически лежит в записи одного разговора с клиентом. Прежде всего — ФИО, номер телефона, иногда адрес и паспортные данные. Дальше идут сумма сделки, скидка, условия, возражения клиента и внутренняя аргументация менеджера. Кроме того, туда попадают комментарии про конкурентов и маржу. То есть это одновременно персональные данные клиента, которые регулирует 152-ФЗ, и коммерческая информация вашей компании.

Пять вопросов про записи разговоров

Ответы на них нужны раньше, чем начнётся разговор про модели и нейросети:

  • Есть ли у вас правовое основание обрабатывать эти записи?
  • Предупреждаете ли вы клиента о записи разговора?
  • Куда физически уходит файл, когда вы загружаете его в нейросеть?
  • Хранится ли он там и сколько?
  • Кто со стороны подрядчика может его открыть?

Отдельно стоит самый частый и самый недооценённый канал утечки — собственные сотрудники. По данным отчёта IBM Cost of a Data Breach 2026, доля инцидентов с участием теневого ИИ выросла более чем вдвое за год и достигла 43% (Cybersecurity Dive). К тому же более двух третей компаний признают, что у них нет процессов, ограничивающих такое использование.

Контринтуитивный вывод: тотальный запрет нейросетей не снижает риск — он делает его невидимым. Сотрудник всё равно вставит расшифровку разговора в публичный чат-бот, просто вы об этом не узнаете и не сможете ни отследить, ни исправить. Управляемое внедрение с понятным регламентом безопаснее формального запрета, который всё равно обходят.

Кто отвечает, если ИИ ошибся: 243-ФЗ вступает в силу 1 сентября

Инцидент отлично показывает, зачем вообще нужна норма об ответственности за решения, принятые с участием ИИ. В России она заработает буквально через несколько дней. То есть юридические риски ИИ-агентов для российской компании начинаются 1 сентября 2026 года.

Речь о Федеральном законе от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Он регулирует «большие фундаментальные модели» — от 1 млрд параметров — и подробно разобран в нашем материале про закон об ИИ 243-ФЗ.

Сроки, которые чаще всего путают. Основная часть норм действует с 1 сентября 2026 года. Ряд статей (ст. 5 ч. 2–5, ст. 6 ч. 2–5, ст. 8–10) — только с 1 марта 2027 года. Для уже работающих систем действует переходный период до 1 сентября 2032 года (ГАРАНТ.РУ).

Что это значит для отдела продаж

Ключевой практический смысл помещается в одно предложение: искусственный интеллект не является субъектом ответственности, отвечает тот, кто использовал результат его работы. «Так решил искусственный интеллект» — не аргумент ни в споре с клиентом, ни в суде, ни перед регулятором.

Приземлим это на отдел продаж. Если вы депремировали или уволили менеджера на основании оценки ИИ, а он пошёл в суд, вопрос будет не к вендору и не к модели. Вопрос будет к вам: на основании чего сделан вывод и можете ли вы это показать.

Как следствие, любому ИИ-инструменту стоит предъявить одно требование раньше всех остальных: вывод должен быть проверяемым. Не «система поставила 4 из 10», а «вот запись, вот расшифровка, вот ответ по каждому пункту, вот почему 4».

Чек-лист: 10 вопросов, которые нужно задать вендору ИИ

Разговор о рисках ИИ-агентов с подрядчиком в 2026 году — не паранойя, а нормальная деловая практика. Три ведущие лаборатории публично признали похожие инциденты меньше чем за месяц. Если это норма для них, то и для вас нормально задать десять вопросов до подписания договора.

Чек-лист вопросов вендору ИИ: доступы, хранение данных, роли, логирование

Вопросы про доступы и данные

  1. Что ваша система может сделать сама, без подтверждения человека? Ответ должен быть конкретным списком действий. Плохой ответ звучит так: «наша платформа полностью безопасна».
  2. Где физически хранятся мои данные? Страна, юрисдикция, дата-центр. Для записей разговоров с российскими клиентами это вопрос не удобства, а 152-ФЗ.
  3. Данные разных клиентов изолированы друг от друга? Вы проверяете, не окажутся ли ваши записи в общем хранилище с чужими.
  4. Используются ли мои данные для обучения ваших моделей? Самый частый неприятный сюрприз. Ответ должен быть однозначным, без «в обезличенном виде, возможно».
  5. Сколько данные хранятся и как удаляются по моему запросу? Хороший вендор называет срок и процедуру. Плохой отвечает «уточним у технической команды».

Вопросы про контроль, проверяемость и выход

  1. Есть ли отдельный доступ на каждого сотрудника и разные роли? Один общий логин на весь отдел — типичная и очень плохая практика: вы никогда не узнаете, кто что смотрел.
  2. Логируются ли действия пользователей и системы, могу ли я поднять журнал? Ключевой урок инцидента: Hugging Face смогла восстановить картину только потому, что все действия логировались. Если вы не логируете — вы не расследуете.
  3. Могу ли я проверить, на основании чего система сделала вывод? Не «покажите оценку», а «покажите исходные данные и обоснование по каждому пункту». Чёрный ящик в 2026 году — это не технологичность, а перекладывание риска на вас.
  4. Что происходит, если система ошиблась: как я об этом узнаю и через сколько? Ориентир из свежей практики: OpenAI после инцидента строит систему детекции, которая стремится подать сигнал в течение 30 минут после появления подозрительной активности, а накладные расходы на мониторинг оценивает примерно в 20% от объёма отслеживаемых вычислений (Euronews). Контроль стоит денег — у честного вендора он тоже чего-то стоит.
  5. Как быстро я могу отключить систему и забрать данные? По данным Cloud Security Alliance, формальная процедура вывода агента из эксплуатации есть только у 21% компаний. Спросите заранее, а не в момент инцидента.

Наши ответы на эти же вопросы

Чтобы список не выглядел абстрактным, ответим на него сами — за свой продукт. В Rechka данные лежат на серверах в РФ. Конфиденциальные данные система шифрует, данные каждой компании держит отдельно от чужих и разграничивает доступ по ролям: администратор компании и пользователь с правом только на чтение. Все действия попадают в журнал для аудита. По восьмому вопросу главное вот что: в отчёте видно не только итоговую оценку, но и полный транскрипт разговора с разделением реплик менеджера и клиента, а также ответ по каждому параметру чек-листа. То есть вывод ИИ можно перепроверить, а не принимать на веру. Задайте эти же десять вопросов любому другому подрядчику и сравните полноту ответов.

Что сделать на этой неделе

Пять шагов заметно снижают риски ИИ-агентов уже на этой неделе. Каждый реально выполнить руками за несколько часов.

  1. Составьте список всех ИИ-инструментов, которые уже работают в компании. Включая те, которыми сотрудники пользуются сами, без согласования. Спросите прямо и без наказания — иначе не расскажут.
  2. Разложите список по трём уровням: «читает» / «предлагает» / «действует сам». Всё, что попало в третий, требует отдельного разговора уже на этой неделе.
  3. Проверьте доступы. У каждого инструмента: что он может читать, что может менять, у кого есть логин. Уберите всё лишнее по принципу «только то, что нужно для задачи». Вы же не даёте новому менеджеру доступ к банк-клиенту в первый день.
  4. Задайте вендорам десять вопросов из чек-листа выше. Письменно. Ответы приложите к договору.
  5. Напишите внутренний регламент на одну страницу: какие данные можно загружать в нейросети и какие нельзя, в какие сервисы можно, кто согласовывает новый инструмент, кто отвечает за решение по подсказке ИИ. Одна страница, которую прочитают, полезнее двадцати, которые положат в папку.

Правильный вывод из всей истории — не «не внедряйте ИИ». Начинайте с уровня, где ИИ читает и объясняет, а решения принимает человек. Поднимайтесь выше только тогда, когда у вас есть журнал действий, роли и понятная процедура отключения.

Начните с уровня, где ИИ ничего не решает за вас

Отправьте 30 минут записей звонков. ИИ расшифрует диалоги и ответит на вопросы вашего чек-листа — с транскриптом и обоснованием по каждому пункту. Решения останутся за вами.

Получить бесплатный анализ → Бесплатно · 30 минут анализа · Результат за 24 часа

Частые вопросы о рисках ИИ-агентов

Что произошло между OpenAI и Hugging Face в июле 2026 года?
Может ли ИИ выйти из-под контроля?
Опасно ли подключать ИИ к CRM?

Ответственность и запреты: что чаще всего спрашивают руководители

Кто отвечает, если решение принято по подсказке ИИ?
Стоит ли просто запретить сотрудникам пользоваться нейросетями?

Что в итоге

Три мысли стоит унести с собой. Во-первых, способность действовать — это не то же самое, что объём выданного доступа, и путаница между ними создаёт больше проблем, чем любые свойства самих моделей. Во-вторых, ответ на вопрос про риски ИИ-агентов — не «запретить» и не «довериться», а разложить инструменты по уровням и работать с каждым отдельно. В-третьих, проверяемость важнее обещаний: Hugging Face восстановила картину инцидента только потому, что все действия логировались.

Отрасль признала проблему сама, и это скорее хороший знак. Три лаборатории публично раскрыли инциденты меньше чем за месяц, OpenAI поставила обучение на паузу, а METR и Redwood Research проводят независимую оценку. Кроме того, требования к вендорам ИИ будут ужесточаться — прежде всего в России, где 243-ФЗ вступает в силу 1 сентября.

И главное: осторожность — это не отказ. Риски ИИ-агентов управляемы ровно в той мере, в какой вы понимаете, что именно ваш ИИ может сделать без вас. То есть это выбор уровня, с которого начинать, а не выбор между технологией и её отсутствием.

Блог Речки