Microsoft предупреждает, что поддерживаемые государством злоумышленники используют искусственный интеллект в атаках

Субъекты национальных государств, связанные с Россией, Северной Кореей, Ираном и Китаем, изучают возможность интеграции искусственного интеллекта (ИИ) и моделей большого языка (LLM) для улучшения своих существующих операций по кибератакам.

В отчете, совместно опубликованном Microsoft и OpenAI, показано, что обе организации сорвали усилия пяти связанных с государством субъектов, занимающихся вредоносной кибердеятельностью, удалив их активы и учетные записи.

Microsoft поделилась с The Hacker News, что языковая поддержка является неотъемлемой особенностью программ LLM, что делает их привлекательными для субъектов угроз, сосредоточенных на социальной инженерии и других тактиках, включающих ложные и вводящие в заблуждение коммуникации, адаптированные к профессиональным сетям, работе и другим отношениям их целей.

Хотя до сих пор не было выявлено никаких серьезных или новых атак с использованием LLM, состязательное исследование технологий искусственного интеллекта продвинулось через различные этапы цепочки атак, включая разведку, помощь в кодировании и разработку вредоносного ПО.

Хакеры используют ИИ для помощи в кодировании кода и сбора информации

Согласно отчету, связанные с государством субъекты в основном стремились использовать сервисы OpenAI для таких задач, как запрос информации из открытых источников, перевод, поиск ошибок кодирования и выполнение основных задач кодирования.

Ниже приведены некоторые примеры дополнительных злоумышленников, злоупотребляющих ИИ:

• Российская государственная группа, известная как Forest Blizzard (или APT28), использовала сервисы OpenAI для исследований с открытым исходным кодом в области протоколов спутниковой связи, технологий радиолокационной визуализации и выполнения сценариев.
• Северокорейский злоумышленник Эмеральд Слит (или Кимуски) нанимал степень магистра права для выявления экспертов, аналитических центров и организаций, занимающихся вопросами обороны в Азиатско-Тихоокеанском регионе, а также для написания сценариев и подготовки контента для потенциальных фишинговых кампаний.
• Иранский злоумышленник Crimson Sandstorm (или Imperial Kitten) использовал LLM для создания фрагментов кода, связанных с разработкой приложений и веб-сайтов, создания фишинговых писем и исследования способов уклонения вредоносного ПО от обнаружения.
• Китайские субъекты угроз Charcoal Typhoon (или Aquatic Panda) и Salmon Typhoon (или Maverick Panda) использовали LLM для различных задач, включая исследование компаний и уязвимостей, создание сценариев, перевод технических документов и получение информации о спецслужбах.

Microsoft находится в процессе разработки набора принципов для снижения рисков, связанных со злонамеренным использованием инструментов искусственного интеллекта и API национальными государственными современными постоянными угрозами (APT), усовершенствованными постоянными манипуляторами (APM) и киберпреступными синдикатами. Эти принципы направлены на создание эффективных ограждений и механизмов безопасности вокруг моделей ИИ.