Пока мы тут с вами обсуждаем (уже пару лет), выгонит ли ИИ всех юристов на мороз или нет, выяснилось, что ИИ-то – не только галлюцинирует (ну это уже все знают), но еще и имеет-таки вполне реальные угрозы в плане ИБ.
Тут недавно некие «исследователи» из компании Aim Labs обнаружили дыру критического уровня в Microsoft 365 Copilot. Уязвимость, получившая название «EchoLeak», стала первой известной уязвимостью класса «zero-click» и нацелена на ИИ-системы, включая разные чат-боты и AI-агенты. Штука эта позволяет злодеям незаметно извлекать конфиденциальные данные из таких мест, как «организационная среда пользователя, включая его почтовый ящик, хранилища OneDrive, файлы M365 Office, внутренние сайты SharePoint и чаты Microsoft Teams». А так всего-то навсего письмо с волшебным текстом отправили. Причем с внешнего, а не корпоративного ящика. И его даже никто не открывал и на ссылки не тыкал – все само произошло, потому что оно попало автоматом в базу ИИ для обработки. И научило его плохому. Потому и «zero-click» – даже и кликать не надо, все само исполнится.
Основная причина, по словам Aim Labs, в том, что «в отличие от «традиционных» уязвимостей, которые обычно возникают из-за некорректной проверки входных данных, входы для больших языковых моделей (LLM) чрезвычайно сложно проверять, поскольку они по своей природе неструктурированные». Как ты проверишь на соответствие неким правилам то, что непонятно что?
Но не волнуйтесь, Microsoft уже все исправила и теперь все еще лучше, чем было. И нет никаких доказательств реальной эксплуатации. И ни один живой клиент не пострадал.
В этот раз похоже обошлось. Но в один из следующих кому-нибудь, к сожалению, так может и не повезти. Будут новые утечки, новые сбои и прочие странные проделки ИИ. А значит будут и расследования. Как, что и почему. С применением самой что ни на есть digital forensics.
Откуда такая уверенность? В плане практики «там» – в Нью-Йорке, США суд вынес решение по делу The New York Times против OpenAI. Хотя изначально спор был про интеллектуальную собственность (статьи из NYT), в процессе поднялся вопрос о приватности пользователей AI и их запросов (которыми они IP-права NYT как раз и «нарушали»). То есть именно там содержится большое количество доказательственной информации о нарушении IP-прав истца, по мнению NYT. А OpenAI эти данные не хранит надлежащим образом. Хотя они вроде бы и не должны это все хранить, потому что прайваси, GDPR и прочие как бы тоже важные требования. Конкуренция правовых норм, так сказать. Но факт остается фактом – часть доказательств безвозвратно утрачена, что нехорошо.
Теперь OpenAI надо подумать над системой архивации неких данных (при этом без нарушения конфиденциальности этих пользователей), которые в случае чего можно будет исследовать как раз в качестве доказательственной базы (видимо либо против тех самых пользователей, либо против самой компании).
У нас тоже про ИИ и доказательства новости есть – Минцифры предлагает ввести уголовную ответственность за применение ИИ в качестве орудия совершения преступления. Пока речь о поправках в 158, 159, 163, 272 и 274 статьи УК. Но так-то потенциал ИИ в этом контексте куда шире, поэтому и список может расшириться.
Кстати, у ИИ появилась некая версия определения, она будет в статье 158 УК. Искусственный интеллект – это «комплекс технологических решений, позволяющий имитировать когнитивные функции человека и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека».
Направление налицо – ИИ, точнее результаты его работы, порождаемые им «артефакты», а возможно «особенности» его обучения, будут становиться новыми объектами экспертного исследования с целью поиска и сбора доказательственной информации. Что, после принятия в том или ином виде поправок в законодательство, потребует и соответствующей актуализации экспертной практики: методик, процедур, инструментария. И это будет новым, интересным и перспективным этапом развития форензики в России.
Тут недавно некие «исследователи» из компании Aim Labs обнаружили дыру критического уровня в Microsoft 365 Copilot. Уязвимость, получившая название «EchoLeak», стала первой известной уязвимостью класса «zero-click» и нацелена на ИИ-системы, включая разные чат-боты и AI-агенты. Штука эта позволяет злодеям незаметно извлекать конфиденциальные данные из таких мест, как «организационная среда пользователя, включая его почтовый ящик, хранилища OneDrive, файлы M365 Office, внутренние сайты SharePoint и чаты Microsoft Teams». А так всего-то навсего письмо с волшебным текстом отправили. Причем с внешнего, а не корпоративного ящика. И его даже никто не открывал и на ссылки не тыкал – все само произошло, потому что оно попало автоматом в базу ИИ для обработки. И научило его плохому. Потому и «zero-click» – даже и кликать не надо, все само исполнится.
Основная причина, по словам Aim Labs, в том, что «в отличие от «традиционных» уязвимостей, которые обычно возникают из-за некорректной проверки входных данных, входы для больших языковых моделей (LLM) чрезвычайно сложно проверять, поскольку они по своей природе неструктурированные». Как ты проверишь на соответствие неким правилам то, что непонятно что?
Но не волнуйтесь, Microsoft уже все исправила и теперь все еще лучше, чем было. И нет никаких доказательств реальной эксплуатации. И ни один живой клиент не пострадал.
В этот раз похоже обошлось. Но в один из следующих кому-нибудь, к сожалению, так может и не повезти. Будут новые утечки, новые сбои и прочие странные проделки ИИ. А значит будут и расследования. Как, что и почему. С применением самой что ни на есть digital forensics.
Откуда такая уверенность? В плане практики «там» – в Нью-Йорке, США суд вынес решение по делу The New York Times против OpenAI. Хотя изначально спор был про интеллектуальную собственность (статьи из NYT), в процессе поднялся вопрос о приватности пользователей AI и их запросов (которыми они IP-права NYT как раз и «нарушали»). То есть именно там содержится большое количество доказательственной информации о нарушении IP-прав истца, по мнению NYT. А OpenAI эти данные не хранит надлежащим образом. Хотя они вроде бы и не должны это все хранить, потому что прайваси, GDPR и прочие как бы тоже важные требования. Конкуренция правовых норм, так сказать. Но факт остается фактом – часть доказательств безвозвратно утрачена, что нехорошо.
Теперь OpenAI надо подумать над системой архивации неких данных (при этом без нарушения конфиденциальности этих пользователей), которые в случае чего можно будет исследовать как раз в качестве доказательственной базы (видимо либо против тех самых пользователей, либо против самой компании).
У нас тоже про ИИ и доказательства новости есть – Минцифры предлагает ввести уголовную ответственность за применение ИИ в качестве орудия совершения преступления. Пока речь о поправках в 158, 159, 163, 272 и 274 статьи УК. Но так-то потенциал ИИ в этом контексте куда шире, поэтому и список может расшириться.
Кстати, у ИИ появилась некая версия определения, она будет в статье 158 УК. Искусственный интеллект – это «комплекс технологических решений, позволяющий имитировать когнитивные функции человека и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека».
Направление налицо – ИИ, точнее результаты его работы, порождаемые им «артефакты», а возможно «особенности» его обучения, будут становиться новыми объектами экспертного исследования с целью поиска и сбора доказательственной информации. Что, после принятия в том или ином виде поправок в законодательство, потребует и соответствующей актуализации экспертной практики: методик, процедур, инструментария. И это будет новым, интересным и перспективным этапом развития форензики в России.