Эксперты Kaspersky Digital Footprint Intelligence обнаружили почти 3000 сообщений, в которых обсуждаются чат-боты, на базе нейронных сетей

Команда Kaspersky Digital Footprint Intelligence представила отчёт «Инновации в тени: как злоумышленники экспериментируют с ИИ». Специалисты проанализировали сообщения в даркнете на тему использования злоумышленниками ChatGPT и других аналогичных решений на основе больших языковых моделей. За 2023 год было обнаружено 2890 таких сообщений, с пиком в апреле - 509 сообщений. Обсуждения можно разделить на несколько направлений.

Джейлбрейки​

Чтобы языковая модель могла давать ответы, связанные с неправомерной деятельностью, злоумышленники используют наборы особых команд. Они могут открывать дополнительный функционал у ChatGPT и похожих сервисов. Такие наборы называются джейлбрейками. За 2023 год эксперты «Лаборатории Касперского» обнаружили 249 предложений по распространению и продаже подобных команд. При этом стоит отметить, что джейлбрейки могут использоваться в том числе для легитимного улучшения работы сервисов на основе языковых моделей.

Вредоносное ПО​

Участники теневых форумов активно обменивались вариантами использования языковых моделей для усовершенствования зловредов и повышения эффективности кибератак в целом. Например, эксперты обнаружили сообщение, где рассказывалось о ПО для операторов вредоносных программ, которое использовало нейросети для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. В рамках другого обсуждения авторы постов предлагали ChatGPT для генерации полиморфного вредоносного кода, обнаруживать и анализировать который крайне сложно.

Open Source и программы для пентеста​

Решения на базе больших языковых моделей создаются разработчиками ПО с открытым исходным кодом, в том числе речь может идти о программах для специалистов по информационной безопасности. Однако злоумышленники тоже обращают внимание на такие проекты. Например, в интернете в свободном доступе есть определённая утилита с открытым исходным кодом на базе генеративной модели, которая предназначена для обфускации кода. Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники. В даркнете специалисты «Лаборатории Касперского» обнаружили пост, в котором авторы делятся этой утилитой и рассказывают, как её можно использовать для вредоносных целей.

«Злые» аналоги ChatGPT​

На фоне популярности умных чат-ботов большой интерес вызвали и другие проекты: WormGPT, XXXGPT, FraudGPT. Это языковые модели, позиционирующиеся как альтернатива ChatGPT с дополнительным функционалом и снятыми ограничениями. Несмотря на то, что большая часть решений может быть использована правомерно, злоумышленники также могут обращаться к ним, например для написания вредоносного ПО. Однако повышенное внимание к подобным предложениям не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами «Лаборатории Касперского» сайты и объявления, где предлагалось купить доступ к WormGPT, по сути представляли собой скам. Интересно, что большое количество подобных предложений вынудили авторов проекта ещё до закрытия начать предупреждать о возможности обмана.