Хакер, взламывающий правительственную систему с целью кражи конфиденциальных данных, не является чем-то новым и происходит с тех пор, как такие системы существуют. Но благодаря ИИ злоумышленникам больше не нужно быть технологически опытными, как это обнаружило правительство Мексики на собственном горьком опыте. Более месяца группа злоумышленников использовала чат-бота Anthropic Claude, чтобы проникнуть в мексиканские компьютерные системы и украсть большое количество конфиденциальной информации. Среди миллионов украденных файлов были правительственные учетные данные, а также информация о налогоплательщиках и избирателях.
Эта атака подчеркивает один из наиболее предсказуемых результатов передачи больших языковых моделей, обычно называемых LLM, в руки широкой публики. Атака потребовала от злоумышленника относительно небольших технических знаний: ему нужно было только создать подсказки на естественном языке и ввести их в ИИ. Чат-бот сам выполнял тяжелую работу, писал вредоносный код и предлагал векторы атаки. Об атаке стало известно всего через несколько дней после того, как Anthropic отказалась заключить контракт с Министерством обороны США, сославшись на опасения, что технология будет использоваться не так, как компания. Хотя Клод, возможно, и был предпочтительным оружием в этой атаке, атаки, в которых участвуют различные другие LLM, становятся все более распространенными. Многие из кошмарных сценариев, которые в настоящее время возможны с использованием ИИ, уже осуществились. Итак, вот как было совершено последнее киберпреступление с использованием чат-ботов и почему этот джин не вернется в бутылку.
Чат-бот Claude от Anthropic использовался против правительства Мексики
26 февраля VentureBeat сообщил о деталях атаки с помощью искусственного интеллекта на правительственные системы Мексики. В течение месяца, начиная с декабря, злоумышленникам удалось извлечь полезную нагрузку, содержащую 150 гигабайт данных, касающихся государственных служащих, включая учетные данные, а также документы записи актов гражданского состояния и 195 миллионов налоговых деклараций и записей голосования граждан. По данным Gambit Security (через VentureBeat), израильской фирмы по кибербезопасности, которая проанализировала атаку и распространила отчет среди избранной прессы, злоумышленники сделали немного больше, чем написали подсказки на испанском языке для флагманского чат-бота Anthropic Claude. Они сказали ему действовать как элитный хакер и солгали, что работают над получением вознаграждения за обнаружение ошибок (награда, выплачиваемая хакерам в белых шляпах, которые сообщают компаниям или правительствам об уязвимостях безопасности). Конечно, Anthropic ввела меры против такого рода злоупотреблений, но они оказались слабыми. Хотя Клод поначалу отказался помочь в атаке, его сопротивление было легко преодолено, когда нападавшие перестали играть с ботом и просто дали ему план действий.
Теперь взломанные инструменты кодирования вибрации Клода с радостью приступили к атаке на правительство Мексики. По мнению руководителя стратегии Gambit Кертиса Симпсона, модель Anthropic была лучшим другом хакера. Он рассказал Venture Beat: «В общей сложности система подготовила тысячи подробных отчетов, которые включали готовые к исполнению планы, сообщающие человеку-оператору, какие именно внутренние цели атаковать дальше и какие учетные данные использовать». Когда Claude не достиг своих целей, злоумышленники просто решили дополнить его ChatGPT.
Об этой атаке стало известно через месяц после новостей о том, что русскоязычный злоумышленник с минимальными техническими знаниями смог скомпрометировать более 600 устройств с межсетевым экраном FortiGate, используя DeepSeek в сочетании с Claude (через FortiGate). Атаки с помощью искусственного интеллекта эффективно демократизировали хакинг «черной шляпы».
Кибератаки с помощью искусственного интеллекта являются предсказуемым результатом широкого доступа к LLM.
Хотя атака на правительство Мексики с помощью ИИ и шокирует, она далеко не первая в своем роде и почти наверняка не будет последней. ИИ может действовать как умножитель силы для злоумышленников, то есть он может сделать их более эффективными точно так же, как шахматист, который жульничает, используя шахматный компьютер, может выиграть больше партий.
Независимо от того, какие перила безопасности компания, занимающаяся искусственным интеллектом, может воздвигнуть вокруг своих моделей, взломать их — то есть творчески побудить LLM таким образом, чтобы «обманом» заставить его выполнить неэтичные запросы — остается тривиально легко. Целые онлайн-сообщества, такие как r/ClaudeAIJailbreak на Reddit, занимаются поиском новых способов подчинить бота воле пользователя. И хотя Anthropic кажется серьезной в своей приверженности обеспечению безопасности, другие компании, занимающиеся искусственным интеллектом, этого не делают, и существует множество моделей с открытым исходным кодом из Китая и других стран, доступных каждому, у кого есть оборудование для их запуска.
В ходе тестирования автора смехотворно легко сделать Грока и других чат-ботов добровольными соучастниками преступлений. Например, Grok позволяет платным пользователям писать собственные системные подсказки, которые ориентируют ИИ на достижение определенной цели. По умолчанию бот отклонит запрос на написание программы, которая может быть использована не по назначению, но напишет системное приглашение, инструктирующее его действовать как элитный аморальный хакер, и начнет штамповать этот код. Google Gemini также не выполнит этот запрос, но с радостью очистит сгенерированный Grok код. А поскольку эти системы не видят много времени между степенями незаконности, легко увидеть, как, при некоторой настойчивости и терпении, эскалация до полномасштабных атак на иностранное правительство становится детской игрой.
