ИИ-безопасность

Использование ИИ в бизнесе создает новые риски информационной безопасности: конфиденциальные данные могут попасть во внешние AI-сервисы, сотрудники могут получить доступ к информации, которая им не предназначена, а сами AI-системы могут стать объектом атак и попыток обхода установленных ограничений.

В решениях CorpSoft.AI безопасность учитывается как часть архитектуры AI-системы. Мы предусматриваем механизмы контроля доступа, защиты чувствительных данных, противодействия злоумышленным запросам и централизованного управления политиками безопасности.

Контролируем, кто и к чему имеет доступ

AI-системы должны предоставлять пользователю только те возможности и данные, которые соответствуют его полномочиям.

Для этого используются:

• аутентификация пользователей, AI-продуктов и интегрируемых систем;

• ролевая модель доступа;

• разграничение полномочий по подразделениям, продуктам, группам пользователей и другим объектам;

• централизованное управление политиками безопасности.

Администратор определяет, какие правила действуют для конкретного AI-продукта, категории данных или группы сотрудников и какое действие необходимо выполнить при нарушении политики.

Защищаем персональные и конфиденциальные данные

Перед передачей информации в языковую модель или внешний AI-сервис система может автоматически обнаруживать чувствительные данные и применять заданную политику обработки.

Поддерживается контроль:

• персональных данных;

• российских идентификационных документов и реквизитов;

• банковских и финансовых данных;

• паролей, API-ключей, токенов и других учетных данных;

• названий компаний, подразделений и информационных систем;

• финансовой, коммерческой, технической, кадровой и другой конфиденциальной корпоративной информации.

В зависимости от политики данные могут быть заблокированы, замаскированы или заменены псевдонимами до передачи в AI-систему. При необходимости и наличии соответствующих прав исходные значения могут быть безопасно восстановлены в полученном ответе.

Предотвращаем злонамеренное использование AI

Политики безопасности позволяют контролировать нежелательные сценарии использования AI и ограничивать работу с запрещенным или недопустимым контентом.

Система может классифицировать запросы и ответы по различным категориям, включая насилие, наркотики, экстремизм, политику и другие типы нежелательного контента.

Для каждой категории можно настроить собственную реакцию: разрешить запрос, предупредить пользователя, зарегистрировать событие, замаскировать данные или заблокировать операцию.

Защищаем AI от Prompt Injection и Jailbreak

AI-системы могут подвергаться атакам, цель которых — изменить поведение модели, раскрыть системные инструкции или заставить её обойти установленные ограничения.

Механизмы защиты позволяют выявлять:

• Prompt Injection — попытки изменить или раскрыть системные инструкции;

• Jailbreak — попытки обойти ограничения модели;

• косвенные атаки через документы, вложения и источники корпоративной базы знаний;

• попытки скрыть атаку с помощью кодирования, замены символов, разбиения текста и других методов обфускации.

При обнаружении атаки система выполняет действие, установленное политикой безопасности, и регистрирует событие для дальнейшего анализа.

Централизованное управление и мониторинг

Администратор получает единый контур управления безопасностью AI-систем.

В нём можно:

• создавать и изменять политики безопасности;

• управлять правилами обнаружения и маскирования данных;

• вести корпоративные справочники защищаемых сущностей;

• контролировать срабатывания политик;

• отслеживать блокировки, маскирования и попытки атак;

• управлять сроками хранения журналов и данных;

• получать оповещения о критических событиях и аномальной активности;

• передавать события безопасности во внешние корпоративные системы мониторинга.

Это позволяет не просто установить набор защитных механизмов, а постоянно контролировать, как сотрудники и информационные системы используют AI.

Безопасность как часть решений CorpSoft.AI

Механизмы AI Security могут использоваться совместно с продуктами и инфраструктурными сервисами CorpSoft.AI.

Для наших AI-продуктов политики безопасности могут быть встроены непосредственно в пользовательские сценарии и процессы работы с корпоративными данными.

Для инфраструктурных услуг, включая LLMaaS и GPU IaaS, может быть предусмотрен отдельный защищенный контур и настройка необходимых механизмов информационной безопасности с учетом требований заказчика.

Платформа защиты проектируется независимо от конкретной языковой модели, AI-провайдера или AI Gateway и может использоваться как в облачной инфраструктуре, так и в выделенном контуре заказчика.

Результат — корпоративный AI, в котором нужные пользователи получают нужный доступ, чувствительная информация остается под контролем, а попытки атак и обхода правил обнаруживаются и фиксируются.