У злоумышленников появился новый объект интереса — данные, обеспечивающие доступ к корпоративным ИИ-агентам, установили аналитики сервиса Smart Business ALert (SBA) компании ЕСА ПРО (входит в ГК «Кросс технолоджис»). С результатами исследования о новой цели мошенников ознакомилась «Лента.ру».

В зоне риска прежде всего находятся компании, активно внедряющие искусственный интеллект в работу с клиентами, документами, почтой и внутренними информационными системами, предупредили эксперты.

Поводом для анализа специалистов стало распространение сервисов, предлагающих бесплатный аудит ИИ-агента. Для проведения процедуры они запрашивают его название, e-mail владельца, API Endpoint, API-ключ и System Prompt. В совокупности эти сведения представляют собой цифровой портрет агента: адрес системы, средство авторизации и инструкции, определяющие ее поведение, указывают аналитики.

По словам экспертов, получив действующий API-ключ, третьи лица могут отправлять запросы за счет владельца и расходовать оплаченные токены. Если ключ открывает доступ к корпоративному агенту, последствия могут быть еще серьезнее: злоумышленник получает возможность взаимодействовать с подключенными файлами, историей обращений, базами данных и рабочими инструментами — в пределах прав, предоставленных агенту.

При этом System Prompt помогает понять функции агента, установленные ограничения и логику обработки запросов. Эти знания позволяют точнее подбирать команды для обхода защитных инструкций и изменения поведения модели. Такая атака называется prompt injection, или перехватом управления агентом: модель пытаются заставить выполнять задачу злоумышленника вместо задачи пользователя. Гарантированно заставить любую модель выдавать нужные ответы только с помощью этих данных невозможно, однако знание System Prompt вместе с доступом к API позволяет многократно тестировать и адаптировать вредоносные запросы, повышая вероятность успеха.

Особую опасность ситуация представляет для компаний, в которых ИИ уже подключен к CRM, корпоративной почте, облачным хранилищам, финансовым операциям или технической инфраструктуре, предостерегли эксперты. В таком случае похищается не просто доступ к чат-боту, а потенциальная возможность действовать от имени организации, уточнили они.

«Знание системного промта дает атакующему карту поведения агента: какие формулировки он воспринимает как приоритетные, какие исключения допускает и какие действия способен выполнять. Вместе с API-доступом это позволяет проводить серию адаптивных атак и добиваться не только раскрытия информации, но и заранее заданных ответов — например, рекомендации нужного мошеннику поставщика, передачи ложных реквизитов или одобрения действия, которое в обычной ситуации агент должен был отклонить», — прокомментировал руководитель сервиса Сергей Трухачев.

Ранее сообщалось, что мошенники начали притворяться заботливыми соседями, присылая вредоносные файлы под видом записей с камер видеонаблюдения.