Microsoft нанимает израильских хакеров для взлома своего ИИ

Microsoft разворачивает в Израиле «красную команду» (Red Team) для взлома собственных ИИ-продуктов и начинает активно нанимать людей. Локация выбрана не случайно — Израиль с его опытом в разведке, ИБ и кибербезопасности, подходит на эту роль идеально, потому что здесь есть подходящие кадры и менталитет. Довольно цинично, но и подход максимально серьёзный — компания создавала подразделение ещё в 2018 году, а именно сейчас планирует большое расширение. Само подразделение замаскировано под R&D, но из тысяч сотрудников половина заняты в кибербезопасности. Так что, по сути, это не R&D центр, а большой ИБ-полигон

По планам Microsoft, специалисты в компании автоматизированных агентов будут круглосуточно атаковать инфраструктуру Azure и Copilot, имитируя реальных противников. Пока в соцсетях вполне оправданно смеются над галлюцинациями (придуманными фактами и лишними пальцами на картинках), для бизнеса это проблема куда серьёзнее. Ведь ИИ перестал быть просто чат-ботом и стал прослойкой между сотрудником и корпоративными данными. Главный риск теперь — не глупый ответ, а успешная атака (например, с инъекцией собственных инструкций злоумышленника), когда модель, имеющая доступ к рабочей почте или базам данных, сливает секреты наружу и уничтожает корпоративные данные.

Microsoft на этом пути не единственные. Те же Google в марте прошлого года совершили рекордную сделку — купили стартап в области облачной безопасности Wiz. Удивительным образом так вышло, что тоже израильский. И чем дальше, тем больше индустрия признаёт, что логика работы языковых моделей предполагает взлом, навязывание ролей, подмену инструкций и прочие подобные неприятности. А учитывая, с какой скоростью технологию сегодня интегрируют в CRM, ERP, корпоративные сервисы и итоговые продукты, вокруг каждого «умного помощника» приходится строить второй невидимый продукт — жёсткую систему инструкций, ограничений и надзора.