Хорошо это или не очень, но в крупных городах практически не осталось мест, которые не попадали бы в полe зрения одной или нескольких камер - полицейские и городские камеры на улицах, частные системы видеонаблюдения в магазинах и кафе, регистраторы в автомобилях, камеры смартфонов. Зачастую, на нас одновременно нацелено сразу несколько объективов одновременно. Добавьте к этому алгоритмы распознавания лиц в социальных сетях и системы аналитики, наподобие созданной компанией Hitachi Kokusai Electric (способной распознавать 36 миллионов лиц в секунду) — получится, что почти каждый наш шаг записывается и анализируется. Что в свою очередь вызывает нарастающее недовольство отдельных граждан, обеспокоенных бесцеремонным вторжением в их личную жизнь. И как следствие - разработку различных методов, направленных на ввод в заблуждение этих систем.
Недавно китайские исследователи создали устройство, помогающее не только скрыть личность, но и выдать себя за другого человека.
В этой статье мы и рассмотрим, предложенный ими метод - пример этой, своего рода новой атаки против системы распознавания, которая реализуются путем освещения объекта с помощью инфракрасного света. Таким образом, сталкиваются алгоритмы системы распознавания в результате чего они могут быть обойдены или введены в заблуждение. При этом инфракрасные возмущения не могут наблюдаться невооруженным глазом и не видны для окружающих.
Благодаря запуску такого рода атаки, злоумышленник может не только уклоняться от камер наблюдения, но что самое главное - он может выдать себя за другого человека - свою целевую жертву, если у него имеется её фото. Напомню - атака полностью незаметна для находящихся по поблизости людей, потому, что не только свет невидим, но и само устройство для атаки достаточно маленького размера. Согласно проведенному исследованию на большом наборе данных, злоумышленники имеют очень высокую вероятность успеха - более 70%.
I. ВВЕДЕНИЕ
С развитием глубокого машинного обучения и шаблонов распознавания, технологии распознавание лица
стремительно развиваются, становятся все более и более работоспособным. Сегодня системы искусны настолько, что уже превосходят людей с точки зрения точности распознавания . Это позволяет их широкое внедрение в реальный мир, где различные приложения, такие как посещаемость, запись, авторизация, и даже пограничный осмотр проводятся без участия человека. Однако существуют
проблемы в реальном мире состязательного обучения. Несмотря на улучшение точности, существующие методы, на самом деле не так надежны, как ожидалось. Проведенные исследования показывают, что картинка, лишь с незначительными изменениями пикселей, может обмануть систему распознавания, выдавая один субъект за другой.
Такая атака, известна как состязательное обучение. Было обнаружено, что трудно защитить систему, если противник способен произвольно редактировать каждый пиксель на картинке. В действительности, он может в конечном итоге лишь ограничить контроль камеры, к которой не имеет прямого доступа, так как выполнять множество попыток нереально.
Для того, чтобы преодолеть разрыв между теоретическими результатами и результатами в реальном мире
были предприняты усилия на практическое состязательное обучение.
Недавние исследование показывают, что это возможно. Чтобы применить состязательные приемы может помочь стеклянная рамка с внесением изменений, сделанных вокруг глаз, так что один индивидуум может олицетворять другой во время аутентификации.
По аналогии, другое исследование сообщает о возможности стратегически возмущать изображения дорожных знаков, с использованием 3D печати или наклеек, чтобы ввести в заблуждение систему классификации, которая ограничена в скорости обработки.
Несмотря на первые шаги в этих исследованиях нападения они все еще мало применимы на практике. 3D печатные очки на сколько хороши, на столько и заметны, что может легко вызвать подозрения. Печатные знаки и наклейки работают только на простых целях.
Подобные методы могут применяться для создания реалистичного грима для обмана системы. Но, согласитесь, не каждый выйдет на улицу в таком виде:
Поэтому вопрос как вызвать ошибки распознавания менее заметным способом остается открытым.
В этой статье мы рассмотрим подход, который позволяет применять автоматически идентифицированные, уникальные состязательные примеры человеческого лица, полностью невидимые для человеческого глаза. Вследствие чего злоумышленник замаскированный под другого человека сможет спокойно ходить по улице, без каких-либо заметных аномалий лица, но являясь при этом для камер наблюдения совершенно другим человеком.
Это достигается с помощью инфракрасного света (ИК), который не может быть виден человеческим глазом но по-прежнему может быть захвачен большинством уличных камер видеонаблюдения, и даже смартфон- камерами. Учитывая крошечные размеры ИК-светодиодов, мы покажем, что они могут быть легко встроены, например в кепку, а также могут быть скрыты в зонтик и возможно, даже волосы или парик. После включения устройства инфракрасные точки будут проецироваться на стратегические участки лица клиента, тонко изменяя черты его лица, вызывая ошибочную классификацию в системе. Это позволит атакующему избежать обнаружения или путем корректировки размеров и позиции опорных точек, олицетворять другого человека, при прохождении аутентификации.
Атака называется - IMA (invisible mask attack).
Для того, чтобы определить, как стратегически развернуть светодиоды и установить их параметры, мы будем искать состязательные примеры, которые подходят по форме, размеру, и цвету инфракрасных отпечатков которые эти устройства способны генерировать.
Для этой цели был разработан алгоритм, который ищет состязательные примеры для пары, в которой сочетание вызывает возмущение точек, освещенных инфракрасными светодиодами.
Кроме того было разработано устройство, которое состоит из трех инфракрасных светодиодов на козырьке обычной бейсболки, с которой злоумышленник может реализовать состязательные примеры для атаки системы в реальном мире. Для того, чтобы облегчить реализацию примеров решаемых данным алгоритмом был разработан калибровочный инструмент, с помощью которого злоумышленник может легко настроить светодиоды на головном уборе.
В эксперименте с данным алгоритмом и устройством была успешно запущена атака на систему распознавания. Шанс уклонения от идентификации превысил 70% .
Резюмируем наши исследования следующим образом:
- Инфракрасная подсветка на основе незаметного морфинга лица, способна скрытно изменить черты лица, чтобы избежать обнаружения или выдавать себя за другого человека. Наше исследование показывает, что это вполне возможно. Исследования позволили сделать важный шаг на пути к практическому состязательному обучению, показывая, что нападения на Системы FR( Face Recognition) действительно реалистичны.
- Разработан новый алгоритм поиска осуществимых состязательных примеров, в соответствии с
установленными ограничениями.
Светодиоды коммерчески доступны. Вы может найти их в свободной продаже. Кроме того, было показано, что такие атаки могут быть практически проведены путем размещения светодиодов вблизи лица и регулируя их яркость и позицию.
- Мы реализовали нападение на FaceNet популярной системы FR ( Face Recognition) и продемонстрировали эффективность наших методов против этой реальной системы. Кроме того было проведено детальное исследование на больших массивах данных LFW (Labeled Faces in the Wild) для демонстрации возможностей разработки состязательных примеров.
II. Вложение лица
Face embeddings (Вложение лица) - метод, который использует DNN (Deep Neural Network- Глубокая Нейронная Сеть), чтобы отобразить фотографию в векторе, что позволяет сравнить пару фотографий лица с помощью вычисления расстояния между их векторами, так как все они находятся в общем векторном пространстве. Вложение лица позволяет провести поиск лица, его аутентификацию и кластеризацию через пороговые расстояния между фотографиями, вычисляя ближайших соседей.
Самая известная система встраивания лица FaceNet, построенная Schroff в Google в 2015 году, которая достигла 99,63% точности на наборе данных LFW.
Рисунок 1:. Кривая частоты отклика датчиков камеры.
Используя данную технику, проверка подлинности лица может быть выполнена следующим образом аутентификации :
Система в первую очередь берет фотографию пользователя в качестве входных данных, а затем
определяет лицо на фотографии, обрезает его и устанавливает, учитывая размер. Обрезанное изображение затем будет помещено на позицию глаз и губ по центру изображения и становится входом к лицу.
Вложение DNN и вектор затем могут быть сгенерированы и сохранены как профиль для пользователя.
Каждый раз, когда пользователи проверяются на аутентификацию система берет фотографию и проходит через вышеупомянутые шаги, чтобы создать вектор. Проводится сравнение между вектором и профилем затем рассчитывают не превышает ли сходство заранее определенного порогового значения. Пользователь проходит аутентификацию или терпит неудачу.
Инфракрасный свет имеет большую длину волны, чем видимый свет. Он может быть получен с помощью светодиодов. Есть два вида распространенных ИК-светодиодов доступных на рынке - 850nm и 940nm.
ИК излучаемый ими обоими не может непосредственно наблюдаться людьми, зато успешно может быть захвачен датчиками камеры.
Эти датчики подразделяются на три типа единиц: R, G и В, которые чувствительны к красному, зеленому и синему свету соответственно.
В то же время, они также могут обнаруживать и другой свет. В результате, датчики камеры наблюдения могут формировать изображение очень сильно отличающееся от того, что видят люди, если объект подвергался воздействию инфракрасного излучения.
Рис. 1 показывает чувствительность трех типов датчиков в зависимости от длины волны (изображения, получены от Quora). Как мы можем видеть, даже для голубого, который является самым дальним от инфракрасного диапазона (На 850nm для наших светодиодов) уровень чувствительности все еще остается значительным. В результате синий блок может быть запутан инфракрасным для синего света. Кроме того, красный блок берет и ошибки для зеленого элемента .
Состязательность примеров, намеренно разрабатывалась для машинного обучения моделей, в ожидании, что модель ошибется. Входы здесь называют состязательными.
Примечание: (Из-за сложности написания и форматирования математических символов прошу прощения, если где- то мною допущена ошибка – важен результат, а в нем сомневаться не приходится – китайцы считать умеют).
Хотя такой вход обычно генерируется путем добавления малого возмущения к законному входу, возмущение может быть рассчитано в соответствии с моделью, законного входа. Обычно градиентные оптимизаторы решаются уравнением (1) помогающим вычислить возмущение,
где F – модель обучения , X - законный вход, R - возмущение, Y – целевой выходной сигнал модели и J(-,-) это функция потерь в паре с моделью.
Если только оптимизатор обнаружит, потери ниже порогового значения, заданного для системы аутентификации, то атакующий может передать аутентификацию с возмущением.
III. Теория
Мы рассмотрим атакующие сценарии, которые могут произойти в нашей повседневной жизни.
Благодаря hi-tech устройствам, развернутым вокруг нас, наши города становятся более безопасными, чем когда-либо прежде. Давным-давно, поимка преступников была гораздо сложнее и требовала ручного труда. Для сравнения, на сегодняшний день, тысячи камер наблюдения установлены в городах и каждый шаг преступника может быть записан.
Более того, с увеличением вычислительной мощности, полиция может быстро найти преступников путем простого просмотра видеопотоков от камер наблюдения.
Тем не менее, преступник может легко уйти от наблюдения, если он понимает механизмы, лежащие в его основе, применив некоторые способы состязательного обучения .
В частности, предположим, что он знает, что полицейские охотятся за ним с помощью инструментов распознавания лица, а не вручную воспроизводя и исследовав каждый кадр, каждого видео, снятого камерами наблюдения, он должен только использовать состязательное обучение, чтобы обмануть модели DNN. Как следствие, на видео, он не будет распознан, что делает автоматический поиск бесполезным.
В то же время, преступник не хочет изменять себя слишком радикально, иначе люди вокруг него усилят подозрение и уделят больше внимания пока наконец не опознают его.
Предлагаемый метод предполагает крепление на кепке светодиодов размером с кнопку.
Методами аутентификации сегодня оборудованы все виды мобильных устройств и устройств безопасности, таких как смартфоны и ноутбуки, входные двери и даже наблюдение за жильцами.
Атака должна быть в режиме реального времени, так как обычно, у злоумышленника не так много времени, чтобы взломать проверку подлинности. Например, в библиотеке, студент просто хочет разблокировать чей то ноутбук и скопировать некоторые файлы в то время, как владелец идет в туалетную комнату. Атака также должна быть незаметной, иначе люди вокруг могут заметить атаку. Скрытность является более важным моментом, иначе сценарии, где аутентификация находится под ручным контролем, могут быть остановлены наблюдателями. Например, в электронных каналах пенсионной инспекции, где пользователи находятся под контролем должностных лиц.
В этой работе, в отличие от большинства предыдущих работ по состязательному обучению, мы рассмотрим атаки, которые могут быть реализованы на практике.
Важный показатель, что целостность систем и целевые устройства не будут нарушены во время атаки:
то есть, злоумышленник не имеет доступ к устройству, используемому для наблюдения или проверки подлинности. При этом предположении состязательные примеры, представленные в ранних атаках, где
требуется изменить входные данные на уровне точности пикселей, не могут быть
выполнены на практике , потому что такое изменение при входе ставит под угрозу целостность системы.
Осведомленность о модели FR предполагает, что её описание имеется в открытом доступе, поэтому злоумышленник может создать точно такую же модель. Предположим, что это происходит
потому что на практике разработчики приложений редко пользуются собственными моделями. Вместо этого они, как правило, непосредственно встраивают хорошо известные модели с заранее известными свойствами или покупают модели у специализированных компаний глубокого обучения.
Они не делают этого сами, потому что:
1) Разработчики приложений, как правило, не имеют большой набор данных, а без огромного количества
маркированных данных точность модели не может быть гарантирована;
2) Разработчики приложений, как правило, не располагают надлежащей глубиной
обучения фонов для обучения модели.
Уклонение
Предполагается, что у злоумышленника уже имеется по крайней мере, одна фотография своей
цели. Это может быть сделано, например, путем загрузки из социальной сети или скрытного фотографирования.
Потери признаков между векторами в попытках с уклонением и без уклонения должна быть больше, чем порог для классификации двух векторов в одной и той же личности, как показано уравнением (2),
где x - это фото злоумышленника,
(x + r) это фото злоумышленника с возмущением
th - вышеупомянутый порог.
J(f(x + r); f(x)) > th (2)
При проведении атаки, когда злоумышленник хочет выдать себя в качестве еще одного (конкретного) индивидуума, с возмущением рассчитывается путем состязательных алгоритмов обучения. При этом,
величина между запущенной атакой и её целью не должна превышать порог, как показано уравнением (3), гдеY это фото жертвы.
J(f(x + r); f(y ) < th (3)
Далее мы объясним, как атакующие уклоняются от наблюдения камеры, с помощью «невидимой маски» - нашего устройства, освещая лицо инфракрасными лучами.
Как это работает
Прежде чем объяснить, как атакующий уклоняется от наблюдения, мы представим, как сталкиваются поисковые алгоритмы.
- Видео для поиска должно быть сначала разделено на кадры, так, чтобы мог происходить поиск по изображениям.
- Каждое изображение сначала предварительно обрабатывается, чтобы извлечь только часть с лицом.
На этапе предварительной обработки изображения будут отправляться на маркировку, которая определяет набор признаков для каждого лица на изображении, как показано в уравнении (4).
- Для каждого набора опорных точек на маркированной картинке, лицо будет располагаться
и обрезаться в соответствии с положением опорных цветовых точек, для последующего использования.
- Каждая грань будет вводиться в модель вложения лица, что преобразует его в вектор фиксированной длины для последующего поиска
(Например, с использованием алгоритма k-NN).
Дизайн
Злоумышленник может увернуться от поиска лица либо маркировки модели или избежать моделей вложения. Это происходит при достаточным количестве инфракрасной подсветки на лице и предварительная обработка потерпит неудачу. В результате чего модель лица landmarking
не будет выводить набор допустимых опорных точек, как показано в уравнении (5).
Поэтому мы разработали устройство, которое может быть установлено на козырьке кепки, которое излучает достаточно инфракрасного света, чтобы провалить шаг предварительной обработки.
landmark predictor(x) = ∅ (5)
Рис. 2: Кепка с закрепленным устройством.
Устройство
Устройство для уклонения состоит из кепки, нескольких светодиодов и аккумулятора. Светодиоды установлены на козырьке кепки - перед лицом атакующего. Каждый из светодиодов используется для создания помех определению зон опорных знаков. На Рис. 2 показано крепление нашего устройства.
Мощность.
Устройство питается от батареи 18650, как показано на рис. 3. Один аккумулятор 18650 может поддерживать светодиод не менее двух часов.
Рис. 3: Батарея 18650 питания устройства атаки.
Источник света.
Каждый световой модуль в устройстве оснащен 850 nm 5W инфракрасным светодиодом как источником света (рис. 4).
940nm cветодиоды также могут быть использованы, но дают более темное освещение при том же заданном уровне энергопотребления.
Рис. 4: Светодиод с объективом.
Как показал опыт - трех светодиодов достаточно, чтобы обречь шаг сбора land marking на провал.
Если атакующий находится при очень ярком освещении, например на солнце на открытом воздухе, он может
использовать более мощные светодиоды, а также подключить еще несколько светодиодов,
Невидимость
Устройство в целом незаметно, как показано на рис. 5.
Находящиеся рядом люди могут видеть только линзы, которые очень маленькие и почти прозрачные. Батарея и провода могут быть скрыты внутри кепки, но что более важно свет, излучаемый светодиодами полностью невидим для человеческого глаза.
Рис. 5: Устройство для атаки почти незаметно.
Персонализация
В этом разделе мы подробно рассмотрим, как злоумышленник находит состязательный пример, который вводит в заблуждение модель вложения, используя только пару изображений. И,что еще более важно, как на практике реализовать такой состязательный пример.
Обзор
Предыдущие исследования, которые используют оптимизаторы, чтобы создавать возмущение
к этому сценарию не применимы.
В нашем исследовании мы сначала построим модель, которая описывает инфракрасные световые пятна на лицах. Затем, оптимизируем потери с добавлением пиксельных возмущений. Мы оптимизируем нанесенный ущерб регулируя световые пятна в соответствии с нашей моделью на атакующем фото. Каждое пятно воспроизводится с помощью модели данного набора макета параметров. Модели здесь форма возмущения.
А параметры макета определяют положение, силу и размер возмущения ИК.
В результате, после того, как оптимизация достигает максимума через манипулирование параметрами всех этих моделей, злоумышленник получает изображение, которое может быть признано, так как потери (то есть расстояние) между синтезированным изображением и фотографией жертвы сведено к минимуму. Синтезированное изображение после оптимизации не только состязательный пример, но и будет на практике реализовано противником с использованием инфракрасных светодиодов.
Уравнение (6) описывает оптимизатор, где
m(.) является моделью для светового пятна, показанного на изображении, и
Ri это параметры макета для светового пятна
которое после оптимизации является состязательным примером.
Учитывая состязательный пример, злоумышленник может настроить позиции светодиодов на его атакующем устройстве и используя световые пятна, генерируемые устройством инициировать
возмущение.
Калибровка инструмента, несколько раундов настройки и наконец, атака определяет положение устройства и злоумышленнику удается выдать себя за жертву.
Моделирование инфракрасного светового пятна
Как упоминалось ранее, инфракрасный свет, генерируемый ИК LED, хотя и не может наблюдаться человеком, производит фиолетовое световое пятно на лице, которое может быть захвачено датчиками камеры.
Мы моделируем такое световое пятно в соответствии с его положением на лице,
яркостью, размером, но не цветом и формой.
Форма световых пятен изменяется, так как светодиод может быть установлен под разными углами. Кроме того, лицо человека не являются плоским – воспроизвести пятна на лице и описать очень трудно. Чтобы упростить процесс оптимизации, мы используем круги, самые близкие формы к пятнам, чтобы эмулировать эффекты в ИК-освещении на лицах. При проверке распределения яркости светового пятна на лице, мы обнаружили, что она затухает от центра к его краям. Мы моделируем этот эффект, распределяя и ослабляя точки.
Цвет.
С цветом дела обстоят сложнеенее. Как упоминалось ранее, камеры могут ощутить инфракрасные лучи. Тем не менее чувствительность трех типов блоков в сторону инфракрасной области спектра разные. Синий блок является наиболее чувствительным , в то время как блок зеленого типа является наименее чувствительным. В результате, камера будет воспринимать инфракрасный, как светло-фиолетовый цвет, который представляет собой смесь большего количества синего света и менее - зеленый свет.
Чтобы узнать точное соотношение между этими тремя каналами, мы взяли две фотографии лица – с подсветкой и без инфракрасного светового пятна на лице соответственно. Затем мы проанализировали разницу между двумя изображениями на ИК-подсветку зон.значения яркости трех типов имеют отношение 0,0852, 0.0533 и 0,1521 соответственно. Таким образом, при генерации света, мы сохраняем отношение яркостей трех каналов для каждого пикселя на 0,0852: 0.0533: 0.1521.
Размер.
Размер светового пятна моделируется как стандарт отклонения нормального распределения. Чем больше стандарт отклонения, тем больше становится место. Стандартное отклонение здесь является параметром σ, который оптимизатор может корректировать.
Позиция.
Координаты центра светового пятна {px, py }
являются также входными параметрами оптимизатора.
Яркость.
Значения яркости различных точек на одно и то же лицо должно быть различным, что делается путем присвоения коэффициена усиления s для каждого пятна.
В целом, яркость пикселя складывается из суммы эффектов всех пятен, в то время как для каждого пятна, эффект определяется путем амплификации и расстояния от центра пятна до пикселя, который может быть вычислен путем ввода расстояния в функцию плотности вероятности нормального распределения (PDF), как
показано в уравнении (7). Таким образом, центр яркости, место, коэффициент усиления s и размер пятна будет противоположным со стандартным отклонением σ,
Синтезированное изображение
Как упоминалось ранее, каждое световое пятно имитирует эффект света от светодиода. Для того, чтобы получить изображение лица с эффектами всех светодиодов, мы накапливаем эффекты различных светодиодов вместе, и применяем результат к исходному изображению (фото).
Уравнение (8) показывает, как синтезируют изображение. Li здесь эффект, произведенный одним светодиодом для изображения путем расчета яркости для каждого пикселя, как показано уравнением (9).
Функция coloring(·) превращает полутоновое изображение в фиолетовый с использованием фиксированного соотношения между RGB, усиливает эффекты, а также добавляет к оптимизации список переменных. Следует также обратить внимание, что amp здесь устанавливает силу
возмущения, в то время как s делает яркость пятен неравномерной.
Оптимизатор
Выберем оптимизатор для нахождения состязательного примера. Целевой функцией является потеря между художественным вектором синтезированного изображения и на фото его жертвы, как показано на рисунке
с помощью уравнения (10). Списки переменных оптимизации включают
amp четыре вышеупомянутых параметра для каждого светового пятна,
Запустив оптимизатор со своим фото Iatk и фото жертвы Ivtm, злоумышленник получает минимальные потери между ними. Если только потеря не больше, чем порог распознавания, Isyn становится состязательным примером. Параметры, дающие минимальные потери помогает атакующему реализовать пример.
Осуществление
Приобретение состязательного примера является первым шагом в направлении успеха атаки. Злоумышленник также нуждается в устройстве для реализации состязательного примера. Светлое пятно имеет три типа параметров, которые все должны быть регулируемыми. Для этого мы усилили устройство уклонения со схемой PWM несколькими сменными объективами, для регулировки яркости и размера соответственно. После мы опишем, как мы применили устройство для поддержки данного примера.
Позиции.
(px, py ) описывает положение светового пятна, которое можно регулировать, выбирая различные позиции монтажа и углы для светодиодов. После того, как злоумышленник найдет правильное положение, он может закрепить их липкой лентой или клеем.
Яркость.
Яркость светового пятна регулируется через недавно представленную PWM -схему. Это происходит потому, что входное напряжение светодиода не может быть уменьшено, чтобы уменьшить яркость лампы. Вместо этого, яркость должна быть снижена за счет уменьшения времени работы источника питания. В частности, схема PWM включает и выключает светодиод на очень высокой частоте, скажем, 10 кГц. Таким образом, яркостью можно управлять с помощью соотношения между временными интервалами (0,1 мс)
во включенном состоянии и выключенном состоянии (скажем, 0.02ms и 0.08ms для более 0,1 мс). На Рис. 6 показана схема PWM, которую мы используем в нашем эксперименте.
Рис. 6: Схема PWM для уменьшения яркости светодиода.
Размер.
Размер светового пятна можно регулировать за счет использования различных видов линз, каждая из которых имеет разный угол что приводит к различному радиусу светового пятна. С таким же углом и расстоянием между светодиодом и кожей злоумышленника, объектив с более широким углом делает пятно больше с меньшим количеством яркости, в то время как более узкий дает меньший, но более яркий свет.
На рис. 7 показано какие линзы мы использовали в нашем эксперименте.
Рис. 7: Три различных вида линз, которые могут быть использованы для регулировки размера светового пятна.
Калибровка
Злоумышленник может использовать интерактивный инструмент калибровки, чтобы сделать световые пятна ближе к отработанному состязательному примеру. Тренируясь атакующий может настроить положение, силу и размер каждого светового пятна рабочего инструмента следующим образом:
1) Атакующий грубо регулирует положение светодиодов и выбирает подходящие линзы в соответствии с состязательным примером разработанным оптимизатором для его целевой жертвы.
2) Затем он сидит перед компьютером и запускает инструмент с состязательным примером, в качестве входных данных. Инструмент спрашивает злоумышленника, чтобы отключить все светодиоды и фотографирует (Обозначив как Iof f ) для нападающего.
3) Инструмент просит атакующего включить светодиоды и принимает фото (Ion) для нападающего.
4) Обе фотографии выравниваются препроцессором лица влево. Инструмент затем вычисляет разницу между этими двумя фотографиями i.e.Idif f = Ion − Iof f .
5) Инструмент синтезирует каждое световое пятно в соответствии с параметрами состязательного примера. Затем он свертывает каждое пятно на Idif f вокруг теоретического центра. Поэтому место, где появляется максимальное значение свертки является фактическим центром светового пятна на Idif f . Следовательно, фактический центр по Ion. Инструмент сравнивает центр на Ion и его теоретическое место, чтобы знать каково смещение и выявляет атакующее направление от центра де-факто к теоретическому центру (направление смещения). Инструмент вычисляет среднюю яркость каждого светового пятна и делит его на среднюю яркость. Значение затем сравнивается с теоретическое значением, чтобы понять - это место слишком яркое или слишком тусклое. Инструмент производит вычисления вокруг центра светового пятна зная, где яркость снижается. Это значение определяет размер пятна. Также значение теоретического размера к увиденному, если световое пятно слишком велико или слишком мало.
6) Атакующий регулирует позиции, яркость и размеры светодиодов в соответствии с информацией, предоставленной инструментом. Инструмент показывает расхождения в реальном времени. Таким образом, злоумышленник может откалибровать инструмент.
7) Если калибровка не удовлетворяет требованиям инструмент обновляется и процесс повторяется еще раз.
Точная настройка
После того, как закончена калибровка злоумышленник подстраивает некоторые пятна, чтобы достигнуть меньших потерь, регулируя светодиоды вдоль направления в сторону уменьшения потерь, с обратной связью потерь в режиме реального времени. Этот шаг может еще больше повысить уровень успеха.
Оценка
Таблица 1) показывает исследование рисков нападения.
Платформа, которую использовали для запуска атак.
Таблица 2) Среда, используемая для оценки.
Для FaceNet модели, квадрат расстояния L2 следует использовать для взвешивания расстояния
между двумя характерными векторами, порожденными их моделью. А также пороговые значения для набора данных LFW, с помощью которого они получили отличную точность 99,63%. Мы принимаем порог
1,242, который был использован в большинстве случаев по данным LFW. Поэтому, когда пара граней имеет расстояние ниже порогового, они будут распознаны как один и тот же человек,
в противном случае два различных физических лица.
Мы не набирали большое количество добровольцев для участия в наших экспериментах, потому что не можем позволить себе возможные медицинские риски, в результате облучения ИК. В частности, мы примерно рассчитали максимальную мощность излучения наших светодиодов.
уравнением. (11),
Результат оценки составляет около 2100 w/m2, что на 50% больше, чем солнечный свет (1413 w/m2).
Мы знаем, что если смотреть на солнце в течение продолжительного периода можно пострадать от солнечных ожогов, подозреваем, что ИК-светодиоды могут иметь аналогичные последствия. Поэтому мы делали только несколько попыток исследования при реализации состязательных примеров с помощью нашего устройство. Кроме того, в ходе экспериментов, экспериментатор имел возможность отдохнуть через каждые 5 минут экспозиции в ИК и охладиться 1 минуту.
Физическая атака
Мы экспериментировали, как устройство может помочь злоумышленнику увернуться от наблюдения. Экспериментатора попросили носить устройство перед камерой наблюдения. Камера снимала видео с добровольцем 5 секунд. В течение данного времени доброволец поворачивает голову, насколько это возможно. Видео было разложено на кадры, и каждый кадр был направлен в CMU инструмент для предварительной обработки.
Результаты показали, что ни один кадр не был признан как лицо, что указывает на успешное проведение атаки.
Так же было предложено провести атаку по другому сценарию, при котором устройство освещает не лицо, а непосредственно саму камеру вспышками света.
Принципы, лежащие в двух методах совершенно различны. Второй способ вмешивается в работу датчика камеры в то время как первый выравнивание модели. Что еще более важно, наше устройство управляемо
так что в дальнейшем может быть использовано для запуска практической атаки.
Проведение эксперимента на практике
Для того, чтобы проверить, могут ли расчетные состязательные примеры быть реализованы в реальном мире, был проведен практический эксперимент с помощью добровольца.
- Мы взяли фотографию для экспериментатора.
- Рассчитали вложение фото.
- Подготовили базу данных вложений для всех фотографий в LFW наборе данных.
- Вложение атакующего прогнали по базе данных, чтобы получить подмножество потенциальных жертв, которые имеют расстояние, не слишком большое, но выше критического порога - ниже 1,4, но выше 1.242.
- Случайным образом выбрали четыре фотографии из подмножества – они предполагали фотографии четырех жертв. Для каждого из них, мы запустили алгоритм поиска состязательного примера.
- Для каждого состязательного примера, добровольцем использовалась персонализация устройства и калибровочный инструмент. Предельное время настройки было установлено в 10 минут.
В ходе эксперимента было обнаружено, что злоумышленнику не нужно использовать все 5 светодиодов.
3-х светодиодов было уже достаточно для вытягивания вниз расстояния до уровня ниже порогового значения. Потому что, оптимизатор иногда теряет пятна, перемещая их из зоны лица в процессе оптимизации, или пятна перекрываются друг другом.
Три светодиода произвели вполне удовлетворительный результат, тогда как слишком много светодиодов делают калибровку и настройку слишком трудной.
Результат.
На Рис. 8 показан результат атаки.
Как мы видим, первоначально, оригинальные расстояния все выше пороговых, что указывает на то, что система аутентификации может распознать, что на фото не жертва. В то время как наш алгоритм в результате состязательных примеров дал результат, что теоретически расстояния могут упасть ниже пороговых . И злоумышленник может действительно реализовать эти состязательные примеры
с помощью нашего устройства и одурачить систему.
Калибровка играет очень важную роль в подходе.
Для того, чтобы получить еще более низкое значение расстояния, нападавший
должен настроить расстановку светодиодов по его собственным руководствам оптимизатора, регулируя светодиоды злоумышленник может даже получить более низкое расстояние, чем теоретический пример.
Крупномасштабное исследование
Помимо физически реализованных атак, мы также измерили вероятность успеха за счет использования большого масштаба данных. Исследование охватило весь LFW набор данных.
Мы собрали три фотографии добровольцев, как фотографии трех нападающих.
В наборе данных фотографии злоумышленников мы разделили на пять групп в зависимости от их расстояния от нападавших. Две группы не были проверены, так как их расстояние либо слишком малы (меньше чем 1242, модель ложно положительная) или слишком велики (более
1.7). Мы считаем, что злоумышленник должен найти кого-нибудь с меньшим расстоянием от жертвы, чтобы начать атаку.
Были взяты три группы. Их расстояния были (1,242, 1,4], (4,4, 1,55], (1.55,1.7] соответственно.
Для каждой фотографии внутри каждой группы, мы запустили наш алгоритм, чтобы рассчитать состязательный пример для каждого атакующего, и увидеть если пример помог нападающему сместить расстояние до уровня ниже порогового значения.
Рис. 8: Физическое олицетворение результатов атаки.
Оригинальное расстояние означает расстояние между вложением атакующего и жертвы до начала атаки. Теоретическое расстояние означает расстояние между вычисленным состязательным примером и потерпевшим. Расстояние после атаки означает расстояние между потерпевшим и злоумышленником, полученное с помощью нашего устройства.
На таблице показано соотношение количества состязательных примеров, которые сделали расстояние ниже порогового, а на рис. 9 показан результат крупномасштабного исследования подробно.
Как видно из рисунка группы – для тех, кто имеет наименьшее оригинальное расстояние, злоумышленник имеет очень высокий шанс выработать правильный состязательный пример.
Мы обнаружили, что более тесное исходное расстояние дает злоумышленнику больше шансов подтянуть расстояние до ниже порогового.
Таким образом, мы обнаружили, что, если есть группа нападающих вместо одного, вероятность успеха может быть гораздо выше, потому что, из группы людей, по крайней мере один имеет близкое расстояние с их целевой жертвой.
И злоумышленники всегда могут сознательно выбрать того, кто имеет похожий цвет кожи или другие особенности внешнего вида с жертвой, чтобы получить более ближнее начальное расстояние и тем самым лучший результат и в конечном счете - более высокий уровень успеха.
При сравнении фигур (д), (е) и (F), на рисунке 9 было выяснено, что алгоритм не чувствителен к атакующим, так как они имеют очень похожие кривые. Среднее расстояние 0,2294 и 0,2277 и 0,2302 для трех нападающих, соответственно.
По расстоянию мы можем видеть, что злоумышленники могут рассчитывать на успешную атаку, если оригинальное расстояние меньше, чем 1,45.
Рис. 9: Крупномасштабное исследование результата. Звездочкой отмечены кривые относящиеся к первому нападающему, кроссом отмечены кривые относящиеся ко второй и алмазом отмечены кривые третьей.
Две цифры в левой колонке относятся к первой группе, в середине ко второй и справа к третьей. Цифры в первой строке показывают PDF (функцию вероятной плотности) расстояний между состязательным примером и жертвой. Вертикальная линия показывает порог. Цифры во втором ряду показывают как падает расстояние с использованием оригинальных фотографий злоумышленника с помощью состязательных примеров.
Рис. 10: средняя прибавка расстояния с использованием алгоритма по сравнению с их первоначальными расстояниями. Пунктирная линия – необходимое усиление сигнала для успешной атаки.
Ограничения
Не хватает скорости? Это происходит главным образом потому, что в нашей работе, много графики.
Каждым пикселем из ввода, или большим куском пикселей злоумышленник может манипулировать, что указывает на большое количество переменных.
Тем не менее, мы считаем, что это ограниченное количество степени свободы, допускает меньше ошибок при реализации состязательных примеров.
Забота о здоровье.
Неясно, пострадают ли глаза и кожа лица, под воздействием такого большого количество инфракрасного облучения в течение длительного периода времени.
Автоматизация
Было бы очень хорошо установить светодиоды на кинетических розетках, которые можно контролировать с помощью SoC (System on Chip), с помощью которого мини-программа может динамически калибровать светодиоды.
Все, что придется делать злоумышленнику - это просто загружать фото жертвы и SoC
вычислит состязательные примеры, отрегулирует и откалибруют светодиоды для нападающего.
Вместо того чтобы использовать светодиоды, злоумышленники могли бы разработать проектор, который может проецировать любой ИК-графический рисунок.
Это устройство будет похоже на проектор, но с инфракрасными диодами подсветки. В этом случае, злоумышленнику уже не нужно ограничивать модель сочетанием пятен. Это могли бы быть почти
управляемые изображения на уровне пикселей. С помощью такого вида устройства, рабочее пространство будет в значительной степени расширено, давая в огромном количестве дополнительную степень свободы.
Защита.
Фильтрация инфракрасного порта объектива не является приемлемой защитой, хотя это сделано во многих качественных камерах. В частности, для камер наблюдения необходимо ИК для обработки изображений в ночное время. В то время как фильтрация ИК для обычного объектива является дорогостоящей. Мы протестировали ИК чувствительность камер на всех ноутбуках и мобильных телефонах вокруг нас, в том числе передней камеры iPhone 6s, MacBook Pro. Полученные результаты свидетельствуют о том, что все они чувствительны к ИК.
В последнее время проведено много работ, направленных на защиту от состязательного примера, но почти все они бесполезны против более продвинутого метода обхода. Защита от состязательных примеров все еще открытая проблема.
Черный ящик.
Наша работа базируется на белой коробке внедрения модели. Однако недавние работы показали, что
методы состязательного обучения на основе белой блочной модели могут быть перенесены в модели черного ящика сразу, с помощью PSO (Particle Swarm Optimization - метод роя частиц ), где модель структура не требуется для оптимизации.
На самом деле, в нашей работе, модель вложения используемая злоумышленниками для расчета вложений и оптимизатор отстал в вычислении градиентов для оптимизации потерь. Расчеты расстояний
не нужны внутри структуры модели. Поэтому предположения белой коробки здесь не используется.
атакующим нужно только запросить черный ящик, чтобы получить расстояние между парой изображений (синтезируемого и жертвы). Для градиентного расчета, немного сложнее.
Приблизительные значения градиента в заданных точках по-прежнему могут быть разработаны, как показано в уравнении (12).
В недавней работе предложен способ атаковать черный ящик DNN и разработан метод локального поиска чтобы получить числовое приближение сети градиента.
Следует признать, что данный метод имеет ошибки так, что неизвестно какова будет точность.
Другие практические приемы
Еще один способ атаки - аксессуар-атака.
При помощи его атакующий пытается одурачить системы распознавания лиц с помощью специальных eyeglassesframes.
Был разработан рекурсивный алгоритм поиска Printable – состязательных примеров и атаки с состязательным примером, напечатанным на очки. Злоумышленники могут носить специальные очки, чтобы уворачиваться от систем распознавания лиц или выдавать себя за целевую жертву. Тем не менее, эти специальные очки сильно бросаются в глаза, возбуждая подозрения людей. Кроме того, злоумышленники должны изготовить устройство для каждой цели. В отличие от этого, носить наше устройство можно незаметно и злоумышленники могут повторно использовать устройство для различных целей.
Так же был предложен метод для атаки беспилотных автомобилей путем добавления возмущения дорожных знаков. Были вставлены самодельные наклейки на реальные дорожные знаки, в результате чего удалось обмануть системы распознавания встроенные в автомобили.
Используя этот метод, можно также добавить наклейки на лицо, чтобы обмануть алгоритм распознавания.
Однако, если на дворе не Хеллоуин , это будет сильно бросаться в глаза. Поэтому мы считаем, что наш подход более практичен.
Состязательность обучения
Исследователями было предложено большое количество работ по улучшению эффективности и надежности алгоритма поиска.
Была предложена интересная атака, которая добавляет возмущения на пустое изображение, чтобы обмануть системы распознавания.
Совсем недавно, был предложен подход, который значительно повышает эффективность работы алгоритма поиска. Он показал, что возмущение, создаваемое для одной системы может использоваться, чтобы обмануть другую систему.
ЗАКЛЮЧЕНИЕ
В этой статье, было показано, что инфракрасный свет может быть с успехом использован против систем машинного обучения.
Были разработаны и реализованы на практике состязательные примеры. Более того было проведено крупномасштабное исследование среди множества данных LFW, которое выявило, что более 70% людей, могут быть успешно атакованы, если они имеют некоторое сходство с нападающим.
На основании проведенных исследований сделан вывод - методы распознавания лица на сегодняшний день не являются надежными.
Недавно китайские исследователи создали устройство, помогающее не только скрыть личность, но и выдать себя за другого человека.
В этой статье мы и рассмотрим, предложенный ими метод - пример этой, своего рода новой атаки против системы распознавания, которая реализуются путем освещения объекта с помощью инфракрасного света. Таким образом, сталкиваются алгоритмы системы распознавания в результате чего они могут быть обойдены или введены в заблуждение. При этом инфракрасные возмущения не могут наблюдаться невооруженным глазом и не видны для окружающих.
Благодаря запуску такого рода атаки, злоумышленник может не только уклоняться от камер наблюдения, но что самое главное - он может выдать себя за другого человека - свою целевую жертву, если у него имеется её фото. Напомню - атака полностью незаметна для находящихся по поблизости людей, потому, что не только свет невидим, но и само устройство для атаки достаточно маленького размера. Согласно проведенному исследованию на большом наборе данных, злоумышленники имеют очень высокую вероятность успеха - более 70%.
I. ВВЕДЕНИЕ
С развитием глубокого машинного обучения и шаблонов распознавания, технологии распознавание лица
стремительно развиваются, становятся все более и более работоспособным. Сегодня системы искусны настолько, что уже превосходят людей с точки зрения точности распознавания . Это позволяет их широкое внедрение в реальный мир, где различные приложения, такие как посещаемость, запись, авторизация, и даже пограничный осмотр проводятся без участия человека. Однако существуют
проблемы в реальном мире состязательного обучения. Несмотря на улучшение точности, существующие методы, на самом деле не так надежны, как ожидалось. Проведенные исследования показывают, что картинка, лишь с незначительными изменениями пикселей, может обмануть систему распознавания, выдавая один субъект за другой.
Такая атака, известна как состязательное обучение. Было обнаружено, что трудно защитить систему, если противник способен произвольно редактировать каждый пиксель на картинке. В действительности, он может в конечном итоге лишь ограничить контроль камеры, к которой не имеет прямого доступа, так как выполнять множество попыток нереально.
Для того, чтобы преодолеть разрыв между теоретическими результатами и результатами в реальном мире
были предприняты усилия на практическое состязательное обучение.
Недавние исследование показывают, что это возможно. Чтобы применить состязательные приемы может помочь стеклянная рамка с внесением изменений, сделанных вокруг глаз, так что один индивидуум может олицетворять другой во время аутентификации.
По аналогии, другое исследование сообщает о возможности стратегически возмущать изображения дорожных знаков, с использованием 3D печати или наклеек, чтобы ввести в заблуждение систему классификации, которая ограничена в скорости обработки.
Несмотря на первые шаги в этих исследованиях нападения они все еще мало применимы на практике. 3D печатные очки на сколько хороши, на столько и заметны, что может легко вызвать подозрения. Печатные знаки и наклейки работают только на простых целях.
Подобные методы могут применяться для создания реалистичного грима для обмана системы. Но, согласитесь, не каждый выйдет на улицу в таком виде:
Поэтому вопрос как вызвать ошибки распознавания менее заметным способом остается открытым.
В этой статье мы рассмотрим подход, который позволяет применять автоматически идентифицированные, уникальные состязательные примеры человеческого лица, полностью невидимые для человеческого глаза. Вследствие чего злоумышленник замаскированный под другого человека сможет спокойно ходить по улице, без каких-либо заметных аномалий лица, но являясь при этом для камер наблюдения совершенно другим человеком.
Это достигается с помощью инфракрасного света (ИК), который не может быть виден человеческим глазом но по-прежнему может быть захвачен большинством уличных камер видеонаблюдения, и даже смартфон- камерами. Учитывая крошечные размеры ИК-светодиодов, мы покажем, что они могут быть легко встроены, например в кепку, а также могут быть скрыты в зонтик и возможно, даже волосы или парик. После включения устройства инфракрасные точки будут проецироваться на стратегические участки лица клиента, тонко изменяя черты его лица, вызывая ошибочную классификацию в системе. Это позволит атакующему избежать обнаружения или путем корректировки размеров и позиции опорных точек, олицетворять другого человека, при прохождении аутентификации.
Атака называется - IMA (invisible mask attack).
Для того, чтобы определить, как стратегически развернуть светодиоды и установить их параметры, мы будем искать состязательные примеры, которые подходят по форме, размеру, и цвету инфракрасных отпечатков которые эти устройства способны генерировать.
Для этой цели был разработан алгоритм, который ищет состязательные примеры для пары, в которой сочетание вызывает возмущение точек, освещенных инфракрасными светодиодами.
Кроме того было разработано устройство, которое состоит из трех инфракрасных светодиодов на козырьке обычной бейсболки, с которой злоумышленник может реализовать состязательные примеры для атаки системы в реальном мире. Для того, чтобы облегчить реализацию примеров решаемых данным алгоритмом был разработан калибровочный инструмент, с помощью которого злоумышленник может легко настроить светодиоды на головном уборе.
В эксперименте с данным алгоритмом и устройством была успешно запущена атака на систему распознавания. Шанс уклонения от идентификации превысил 70% .
Резюмируем наши исследования следующим образом:
- Инфракрасная подсветка на основе незаметного морфинга лица, способна скрытно изменить черты лица, чтобы избежать обнаружения или выдавать себя за другого человека. Наше исследование показывает, что это вполне возможно. Исследования позволили сделать важный шаг на пути к практическому состязательному обучению, показывая, что нападения на Системы FR( Face Recognition) действительно реалистичны.
- Разработан новый алгоритм поиска осуществимых состязательных примеров, в соответствии с
установленными ограничениями.
Светодиоды коммерчески доступны. Вы может найти их в свободной продаже. Кроме того, было показано, что такие атаки могут быть практически проведены путем размещения светодиодов вблизи лица и регулируя их яркость и позицию.
- Мы реализовали нападение на FaceNet популярной системы FR ( Face Recognition) и продемонстрировали эффективность наших методов против этой реальной системы. Кроме того было проведено детальное исследование на больших массивах данных LFW (Labeled Faces in the Wild) для демонстрации возможностей разработки состязательных примеров.
II. Вложение лица
Face embeddings (Вложение лица) - метод, который использует DNN (Deep Neural Network- Глубокая Нейронная Сеть), чтобы отобразить фотографию в векторе, что позволяет сравнить пару фотографий лица с помощью вычисления расстояния между их векторами, так как все они находятся в общем векторном пространстве. Вложение лица позволяет провести поиск лица, его аутентификацию и кластеризацию через пороговые расстояния между фотографиями, вычисляя ближайших соседей.
Самая известная система встраивания лица FaceNet, построенная Schroff в Google в 2015 году, которая достигла 99,63% точности на наборе данных LFW.
Рисунок 1:. Кривая частоты отклика датчиков камеры.
Используя данную технику, проверка подлинности лица может быть выполнена следующим образом аутентификации :
Система в первую очередь берет фотографию пользователя в качестве входных данных, а затем
определяет лицо на фотографии, обрезает его и устанавливает, учитывая размер. Обрезанное изображение затем будет помещено на позицию глаз и губ по центру изображения и становится входом к лицу.
Вложение DNN и вектор затем могут быть сгенерированы и сохранены как профиль для пользователя.
Каждый раз, когда пользователи проверяются на аутентификацию система берет фотографию и проходит через вышеупомянутые шаги, чтобы создать вектор. Проводится сравнение между вектором и профилем затем рассчитывают не превышает ли сходство заранее определенного порогового значения. Пользователь проходит аутентификацию или терпит неудачу.
Инфракрасный свет имеет большую длину волны, чем видимый свет. Он может быть получен с помощью светодиодов. Есть два вида распространенных ИК-светодиодов доступных на рынке - 850nm и 940nm.
ИК излучаемый ими обоими не может непосредственно наблюдаться людьми, зато успешно может быть захвачен датчиками камеры.
Эти датчики подразделяются на три типа единиц: R, G и В, которые чувствительны к красному, зеленому и синему свету соответственно.
В то же время, они также могут обнаруживать и другой свет. В результате, датчики камеры наблюдения могут формировать изображение очень сильно отличающееся от того, что видят люди, если объект подвергался воздействию инфракрасного излучения.
Рис. 1 показывает чувствительность трех типов датчиков в зависимости от длины волны (изображения, получены от Quora). Как мы можем видеть, даже для голубого, который является самым дальним от инфракрасного диапазона (На 850nm для наших светодиодов) уровень чувствительности все еще остается значительным. В результате синий блок может быть запутан инфракрасным для синего света. Кроме того, красный блок берет и ошибки для зеленого элемента .
Состязательность примеров, намеренно разрабатывалась для машинного обучения моделей, в ожидании, что модель ошибется. Входы здесь называют состязательными.
Примечание: (Из-за сложности написания и форматирования математических символов прошу прощения, если где- то мною допущена ошибка – важен результат, а в нем сомневаться не приходится – китайцы считать умеют).
Хотя такой вход обычно генерируется путем добавления малого возмущения к законному входу, возмущение может быть рассчитано в соответствии с моделью, законного входа. Обычно градиентные оптимизаторы решаются уравнением (1) помогающим вычислить возмущение,
где F – модель обучения , X - законный вход, R - возмущение, Y – целевой выходной сигнал модели и J(-,-) это функция потерь в паре с моделью.
Если только оптимизатор обнаружит, потери ниже порогового значения, заданного для системы аутентификации, то атакующий может передать аутентификацию с возмущением.
III. Теория
Мы рассмотрим атакующие сценарии, которые могут произойти в нашей повседневной жизни.
Благодаря hi-tech устройствам, развернутым вокруг нас, наши города становятся более безопасными, чем когда-либо прежде. Давным-давно, поимка преступников была гораздо сложнее и требовала ручного труда. Для сравнения, на сегодняшний день, тысячи камер наблюдения установлены в городах и каждый шаг преступника может быть записан.
Более того, с увеличением вычислительной мощности, полиция может быстро найти преступников путем простого просмотра видеопотоков от камер наблюдения.
Тем не менее, преступник может легко уйти от наблюдения, если он понимает механизмы, лежащие в его основе, применив некоторые способы состязательного обучения .
В частности, предположим, что он знает, что полицейские охотятся за ним с помощью инструментов распознавания лица, а не вручную воспроизводя и исследовав каждый кадр, каждого видео, снятого камерами наблюдения, он должен только использовать состязательное обучение, чтобы обмануть модели DNN. Как следствие, на видео, он не будет распознан, что делает автоматический поиск бесполезным.
В то же время, преступник не хочет изменять себя слишком радикально, иначе люди вокруг него усилят подозрение и уделят больше внимания пока наконец не опознают его.
Предлагаемый метод предполагает крепление на кепке светодиодов размером с кнопку.
Методами аутентификации сегодня оборудованы все виды мобильных устройств и устройств безопасности, таких как смартфоны и ноутбуки, входные двери и даже наблюдение за жильцами.
Атака должна быть в режиме реального времени, так как обычно, у злоумышленника не так много времени, чтобы взломать проверку подлинности. Например, в библиотеке, студент просто хочет разблокировать чей то ноутбук и скопировать некоторые файлы в то время, как владелец идет в туалетную комнату. Атака также должна быть незаметной, иначе люди вокруг могут заметить атаку. Скрытность является более важным моментом, иначе сценарии, где аутентификация находится под ручным контролем, могут быть остановлены наблюдателями. Например, в электронных каналах пенсионной инспекции, где пользователи находятся под контролем должностных лиц.
В этой работе, в отличие от большинства предыдущих работ по состязательному обучению, мы рассмотрим атаки, которые могут быть реализованы на практике.
Важный показатель, что целостность систем и целевые устройства не будут нарушены во время атаки:
то есть, злоумышленник не имеет доступ к устройству, используемому для наблюдения или проверки подлинности. При этом предположении состязательные примеры, представленные в ранних атаках, где
требуется изменить входные данные на уровне точности пикселей, не могут быть
выполнены на практике , потому что такое изменение при входе ставит под угрозу целостность системы.
Осведомленность о модели FR предполагает, что её описание имеется в открытом доступе, поэтому злоумышленник может создать точно такую же модель. Предположим, что это происходит
потому что на практике разработчики приложений редко пользуются собственными моделями. Вместо этого они, как правило, непосредственно встраивают хорошо известные модели с заранее известными свойствами или покупают модели у специализированных компаний глубокого обучения.
Они не делают этого сами, потому что:
1) Разработчики приложений, как правило, не имеют большой набор данных, а без огромного количества
маркированных данных точность модели не может быть гарантирована;
2) Разработчики приложений, как правило, не располагают надлежащей глубиной
обучения фонов для обучения модели.
Уклонение
Предполагается, что у злоумышленника уже имеется по крайней мере, одна фотография своей
цели. Это может быть сделано, например, путем загрузки из социальной сети или скрытного фотографирования.
Потери признаков между векторами в попытках с уклонением и без уклонения должна быть больше, чем порог для классификации двух векторов в одной и той же личности, как показано уравнением (2),
где x - это фото злоумышленника,
(x + r) это фото злоумышленника с возмущением
th - вышеупомянутый порог.
J(f(x + r); f(x)) > th (2)
При проведении атаки, когда злоумышленник хочет выдать себя в качестве еще одного (конкретного) индивидуума, с возмущением рассчитывается путем состязательных алгоритмов обучения. При этом,
величина между запущенной атакой и её целью не должна превышать порог, как показано уравнением (3), гдеY это фото жертвы.
J(f(x + r); f(y ) < th (3)
Далее мы объясним, как атакующие уклоняются от наблюдения камеры, с помощью «невидимой маски» - нашего устройства, освещая лицо инфракрасными лучами.
Как это работает
Прежде чем объяснить, как атакующий уклоняется от наблюдения, мы представим, как сталкиваются поисковые алгоритмы.
- Видео для поиска должно быть сначала разделено на кадры, так, чтобы мог происходить поиск по изображениям.
- Каждое изображение сначала предварительно обрабатывается, чтобы извлечь только часть с лицом.
На этапе предварительной обработки изображения будут отправляться на маркировку, которая определяет набор признаков для каждого лица на изображении, как показано в уравнении (4).
- Для каждого набора опорных точек на маркированной картинке, лицо будет располагаться
и обрезаться в соответствии с положением опорных цветовых точек, для последующего использования.
- Каждая грань будет вводиться в модель вложения лица, что преобразует его в вектор фиксированной длины для последующего поиска
(Например, с использованием алгоритма k-NN).
Дизайн
Злоумышленник может увернуться от поиска лица либо маркировки модели или избежать моделей вложения. Это происходит при достаточным количестве инфракрасной подсветки на лице и предварительная обработка потерпит неудачу. В результате чего модель лица landmarking
не будет выводить набор допустимых опорных точек, как показано в уравнении (5).
Поэтому мы разработали устройство, которое может быть установлено на козырьке кепки, которое излучает достаточно инфракрасного света, чтобы провалить шаг предварительной обработки.
landmark predictor(x) = ∅ (5)
Рис. 2: Кепка с закрепленным устройством.
Устройство
Устройство для уклонения состоит из кепки, нескольких светодиодов и аккумулятора. Светодиоды установлены на козырьке кепки - перед лицом атакующего. Каждый из светодиодов используется для создания помех определению зон опорных знаков. На Рис. 2 показано крепление нашего устройства.
Мощность.
Устройство питается от батареи 18650, как показано на рис. 3. Один аккумулятор 18650 может поддерживать светодиод не менее двух часов.
Рис. 3: Батарея 18650 питания устройства атаки.
Источник света.
Каждый световой модуль в устройстве оснащен 850 nm 5W инфракрасным светодиодом как источником света (рис. 4).
940nm cветодиоды также могут быть использованы, но дают более темное освещение при том же заданном уровне энергопотребления.
Рис. 4: Светодиод с объективом.
Как показал опыт - трех светодиодов достаточно, чтобы обречь шаг сбора land marking на провал.
Если атакующий находится при очень ярком освещении, например на солнце на открытом воздухе, он может
использовать более мощные светодиоды, а также подключить еще несколько светодиодов,
Невидимость
Устройство в целом незаметно, как показано на рис. 5.
Находящиеся рядом люди могут видеть только линзы, которые очень маленькие и почти прозрачные. Батарея и провода могут быть скрыты внутри кепки, но что более важно свет, излучаемый светодиодами полностью невидим для человеческого глаза.
Рис. 5: Устройство для атаки почти незаметно.
Персонализация
В этом разделе мы подробно рассмотрим, как злоумышленник находит состязательный пример, который вводит в заблуждение модель вложения, используя только пару изображений. И,что еще более важно, как на практике реализовать такой состязательный пример.
Обзор
Предыдущие исследования, которые используют оптимизаторы, чтобы создавать возмущение
к этому сценарию не применимы.
В нашем исследовании мы сначала построим модель, которая описывает инфракрасные световые пятна на лицах. Затем, оптимизируем потери с добавлением пиксельных возмущений. Мы оптимизируем нанесенный ущерб регулируя световые пятна в соответствии с нашей моделью на атакующем фото. Каждое пятно воспроизводится с помощью модели данного набора макета параметров. Модели здесь форма возмущения.
А параметры макета определяют положение, силу и размер возмущения ИК.
В результате, после того, как оптимизация достигает максимума через манипулирование параметрами всех этих моделей, злоумышленник получает изображение, которое может быть признано, так как потери (то есть расстояние) между синтезированным изображением и фотографией жертвы сведено к минимуму. Синтезированное изображение после оптимизации не только состязательный пример, но и будет на практике реализовано противником с использованием инфракрасных светодиодов.
Уравнение (6) описывает оптимизатор, где
m(.) является моделью для светового пятна, показанного на изображении, и
Ri это параметры макета для светового пятна
которое после оптимизации является состязательным примером.
Учитывая состязательный пример, злоумышленник может настроить позиции светодиодов на его атакующем устройстве и используя световые пятна, генерируемые устройством инициировать
возмущение.
Калибровка инструмента, несколько раундов настройки и наконец, атака определяет положение устройства и злоумышленнику удается выдать себя за жертву.
Моделирование инфракрасного светового пятна
Как упоминалось ранее, инфракрасный свет, генерируемый ИК LED, хотя и не может наблюдаться человеком, производит фиолетовое световое пятно на лице, которое может быть захвачено датчиками камеры.
Мы моделируем такое световое пятно в соответствии с его положением на лице,
яркостью, размером, но не цветом и формой.
Форма световых пятен изменяется, так как светодиод может быть установлен под разными углами. Кроме того, лицо человека не являются плоским – воспроизвести пятна на лице и описать очень трудно. Чтобы упростить процесс оптимизации, мы используем круги, самые близкие формы к пятнам, чтобы эмулировать эффекты в ИК-освещении на лицах. При проверке распределения яркости светового пятна на лице, мы обнаружили, что она затухает от центра к его краям. Мы моделируем этот эффект, распределяя и ослабляя точки.
Цвет.
С цветом дела обстоят сложнеенее. Как упоминалось ранее, камеры могут ощутить инфракрасные лучи. Тем не менее чувствительность трех типов блоков в сторону инфракрасной области спектра разные. Синий блок является наиболее чувствительным , в то время как блок зеленого типа является наименее чувствительным. В результате, камера будет воспринимать инфракрасный, как светло-фиолетовый цвет, который представляет собой смесь большего количества синего света и менее - зеленый свет.
Чтобы узнать точное соотношение между этими тремя каналами, мы взяли две фотографии лица – с подсветкой и без инфракрасного светового пятна на лице соответственно. Затем мы проанализировали разницу между двумя изображениями на ИК-подсветку зон.значения яркости трех типов имеют отношение 0,0852, 0.0533 и 0,1521 соответственно. Таким образом, при генерации света, мы сохраняем отношение яркостей трех каналов для каждого пикселя на 0,0852: 0.0533: 0.1521.
Размер.
Размер светового пятна моделируется как стандарт отклонения нормального распределения. Чем больше стандарт отклонения, тем больше становится место. Стандартное отклонение здесь является параметром σ, который оптимизатор может корректировать.
Позиция.
Координаты центра светового пятна {px, py }
являются также входными параметрами оптимизатора.
Яркость.
Значения яркости различных точек на одно и то же лицо должно быть различным, что делается путем присвоения коэффициена усиления s для каждого пятна.
В целом, яркость пикселя складывается из суммы эффектов всех пятен, в то время как для каждого пятна, эффект определяется путем амплификации и расстояния от центра пятна до пикселя, который может быть вычислен путем ввода расстояния в функцию плотности вероятности нормального распределения (PDF), как
показано в уравнении (7). Таким образом, центр яркости, место, коэффициент усиления s и размер пятна будет противоположным со стандартным отклонением σ,
Синтезированное изображение
Как упоминалось ранее, каждое световое пятно имитирует эффект света от светодиода. Для того, чтобы получить изображение лица с эффектами всех светодиодов, мы накапливаем эффекты различных светодиодов вместе, и применяем результат к исходному изображению (фото).
Уравнение (8) показывает, как синтезируют изображение. Li здесь эффект, произведенный одним светодиодом для изображения путем расчета яркости для каждого пикселя, как показано уравнением (9).
Функция coloring(·) превращает полутоновое изображение в фиолетовый с использованием фиксированного соотношения между RGB, усиливает эффекты, а также добавляет к оптимизации список переменных. Следует также обратить внимание, что amp здесь устанавливает силу
возмущения, в то время как s делает яркость пятен неравномерной.
Оптимизатор
Выберем оптимизатор для нахождения состязательного примера. Целевой функцией является потеря между художественным вектором синтезированного изображения и на фото его жертвы, как показано на рисунке
с помощью уравнения (10). Списки переменных оптимизации включают
amp четыре вышеупомянутых параметра для каждого светового пятна,
Запустив оптимизатор со своим фото Iatk и фото жертвы Ivtm, злоумышленник получает минимальные потери между ними. Если только потеря не больше, чем порог распознавания, Isyn становится состязательным примером. Параметры, дающие минимальные потери помогает атакующему реализовать пример.
Осуществление
Приобретение состязательного примера является первым шагом в направлении успеха атаки. Злоумышленник также нуждается в устройстве для реализации состязательного примера. Светлое пятно имеет три типа параметров, которые все должны быть регулируемыми. Для этого мы усилили устройство уклонения со схемой PWM несколькими сменными объективами, для регулировки яркости и размера соответственно. После мы опишем, как мы применили устройство для поддержки данного примера.
Позиции.
(px, py ) описывает положение светового пятна, которое можно регулировать, выбирая различные позиции монтажа и углы для светодиодов. После того, как злоумышленник найдет правильное положение, он может закрепить их липкой лентой или клеем.
Яркость.
Яркость светового пятна регулируется через недавно представленную PWM -схему. Это происходит потому, что входное напряжение светодиода не может быть уменьшено, чтобы уменьшить яркость лампы. Вместо этого, яркость должна быть снижена за счет уменьшения времени работы источника питания. В частности, схема PWM включает и выключает светодиод на очень высокой частоте, скажем, 10 кГц. Таким образом, яркостью можно управлять с помощью соотношения между временными интервалами (0,1 мс)
во включенном состоянии и выключенном состоянии (скажем, 0.02ms и 0.08ms для более 0,1 мс). На Рис. 6 показана схема PWM, которую мы используем в нашем эксперименте.
Рис. 6: Схема PWM для уменьшения яркости светодиода.
Размер.
Размер светового пятна можно регулировать за счет использования различных видов линз, каждая из которых имеет разный угол что приводит к различному радиусу светового пятна. С таким же углом и расстоянием между светодиодом и кожей злоумышленника, объектив с более широким углом делает пятно больше с меньшим количеством яркости, в то время как более узкий дает меньший, но более яркий свет.
На рис. 7 показано какие линзы мы использовали в нашем эксперименте.
Рис. 7: Три различных вида линз, которые могут быть использованы для регулировки размера светового пятна.
Калибровка
Злоумышленник может использовать интерактивный инструмент калибровки, чтобы сделать световые пятна ближе к отработанному состязательному примеру. Тренируясь атакующий может настроить положение, силу и размер каждого светового пятна рабочего инструмента следующим образом:
1) Атакующий грубо регулирует положение светодиодов и выбирает подходящие линзы в соответствии с состязательным примером разработанным оптимизатором для его целевой жертвы.
2) Затем он сидит перед компьютером и запускает инструмент с состязательным примером, в качестве входных данных. Инструмент спрашивает злоумышленника, чтобы отключить все светодиоды и фотографирует (Обозначив как Iof f ) для нападающего.
3) Инструмент просит атакующего включить светодиоды и принимает фото (Ion) для нападающего.
4) Обе фотографии выравниваются препроцессором лица влево. Инструмент затем вычисляет разницу между этими двумя фотографиями i.e.Idif f = Ion − Iof f .
5) Инструмент синтезирует каждое световое пятно в соответствии с параметрами состязательного примера. Затем он свертывает каждое пятно на Idif f вокруг теоретического центра. Поэтому место, где появляется максимальное значение свертки является фактическим центром светового пятна на Idif f . Следовательно, фактический центр по Ion. Инструмент сравнивает центр на Ion и его теоретическое место, чтобы знать каково смещение и выявляет атакующее направление от центра де-факто к теоретическому центру (направление смещения). Инструмент вычисляет среднюю яркость каждого светового пятна и делит его на среднюю яркость. Значение затем сравнивается с теоретическое значением, чтобы понять - это место слишком яркое или слишком тусклое. Инструмент производит вычисления вокруг центра светового пятна зная, где яркость снижается. Это значение определяет размер пятна. Также значение теоретического размера к увиденному, если световое пятно слишком велико или слишком мало.
6) Атакующий регулирует позиции, яркость и размеры светодиодов в соответствии с информацией, предоставленной инструментом. Инструмент показывает расхождения в реальном времени. Таким образом, злоумышленник может откалибровать инструмент.
7) Если калибровка не удовлетворяет требованиям инструмент обновляется и процесс повторяется еще раз.
Точная настройка
После того, как закончена калибровка злоумышленник подстраивает некоторые пятна, чтобы достигнуть меньших потерь, регулируя светодиоды вдоль направления в сторону уменьшения потерь, с обратной связью потерь в режиме реального времени. Этот шаг может еще больше повысить уровень успеха.
Оценка
Таблица 1) показывает исследование рисков нападения.
Платформа, которую использовали для запуска атак.
Таблица 2) Среда, используемая для оценки.
Для FaceNet модели, квадрат расстояния L2 следует использовать для взвешивания расстояния
между двумя характерными векторами, порожденными их моделью. А также пороговые значения для набора данных LFW, с помощью которого они получили отличную точность 99,63%. Мы принимаем порог
1,242, который был использован в большинстве случаев по данным LFW. Поэтому, когда пара граней имеет расстояние ниже порогового, они будут распознаны как один и тот же человек,
в противном случае два различных физических лица.
Мы не набирали большое количество добровольцев для участия в наших экспериментах, потому что не можем позволить себе возможные медицинские риски, в результате облучения ИК. В частности, мы примерно рассчитали максимальную мощность излучения наших светодиодов.
уравнением. (11),
Результат оценки составляет около 2100 w/m2, что на 50% больше, чем солнечный свет (1413 w/m2).
Мы знаем, что если смотреть на солнце в течение продолжительного периода можно пострадать от солнечных ожогов, подозреваем, что ИК-светодиоды могут иметь аналогичные последствия. Поэтому мы делали только несколько попыток исследования при реализации состязательных примеров с помощью нашего устройство. Кроме того, в ходе экспериментов, экспериментатор имел возможность отдохнуть через каждые 5 минут экспозиции в ИК и охладиться 1 минуту.
Физическая атака
Мы экспериментировали, как устройство может помочь злоумышленнику увернуться от наблюдения. Экспериментатора попросили носить устройство перед камерой наблюдения. Камера снимала видео с добровольцем 5 секунд. В течение данного времени доброволец поворачивает голову, насколько это возможно. Видео было разложено на кадры, и каждый кадр был направлен в CMU инструмент для предварительной обработки.
Результаты показали, что ни один кадр не был признан как лицо, что указывает на успешное проведение атаки.
Так же было предложено провести атаку по другому сценарию, при котором устройство освещает не лицо, а непосредственно саму камеру вспышками света.
Принципы, лежащие в двух методах совершенно различны. Второй способ вмешивается в работу датчика камеры в то время как первый выравнивание модели. Что еще более важно, наше устройство управляемо
так что в дальнейшем может быть использовано для запуска практической атаки.
Проведение эксперимента на практике
Для того, чтобы проверить, могут ли расчетные состязательные примеры быть реализованы в реальном мире, был проведен практический эксперимент с помощью добровольца.
- Мы взяли фотографию для экспериментатора.
- Рассчитали вложение фото.
- Подготовили базу данных вложений для всех фотографий в LFW наборе данных.
- Вложение атакующего прогнали по базе данных, чтобы получить подмножество потенциальных жертв, которые имеют расстояние, не слишком большое, но выше критического порога - ниже 1,4, но выше 1.242.
- Случайным образом выбрали четыре фотографии из подмножества – они предполагали фотографии четырех жертв. Для каждого из них, мы запустили алгоритм поиска состязательного примера.
- Для каждого состязательного примера, добровольцем использовалась персонализация устройства и калибровочный инструмент. Предельное время настройки было установлено в 10 минут.
В ходе эксперимента было обнаружено, что злоумышленнику не нужно использовать все 5 светодиодов.
3-х светодиодов было уже достаточно для вытягивания вниз расстояния до уровня ниже порогового значения. Потому что, оптимизатор иногда теряет пятна, перемещая их из зоны лица в процессе оптимизации, или пятна перекрываются друг другом.
Три светодиода произвели вполне удовлетворительный результат, тогда как слишком много светодиодов делают калибровку и настройку слишком трудной.
Результат.
На Рис. 8 показан результат атаки.
Как мы видим, первоначально, оригинальные расстояния все выше пороговых, что указывает на то, что система аутентификации может распознать, что на фото не жертва. В то время как наш алгоритм в результате состязательных примеров дал результат, что теоретически расстояния могут упасть ниже пороговых . И злоумышленник может действительно реализовать эти состязательные примеры
с помощью нашего устройства и одурачить систему.
Калибровка играет очень важную роль в подходе.
Для того, чтобы получить еще более низкое значение расстояния, нападавший
должен настроить расстановку светодиодов по его собственным руководствам оптимизатора, регулируя светодиоды злоумышленник может даже получить более низкое расстояние, чем теоретический пример.
Крупномасштабное исследование
Помимо физически реализованных атак, мы также измерили вероятность успеха за счет использования большого масштаба данных. Исследование охватило весь LFW набор данных.
Мы собрали три фотографии добровольцев, как фотографии трех нападающих.
В наборе данных фотографии злоумышленников мы разделили на пять групп в зависимости от их расстояния от нападавших. Две группы не были проверены, так как их расстояние либо слишком малы (меньше чем 1242, модель ложно положительная) или слишком велики (более
1.7). Мы считаем, что злоумышленник должен найти кого-нибудь с меньшим расстоянием от жертвы, чтобы начать атаку.
Были взяты три группы. Их расстояния были (1,242, 1,4], (4,4, 1,55], (1.55,1.7] соответственно.
Для каждой фотографии внутри каждой группы, мы запустили наш алгоритм, чтобы рассчитать состязательный пример для каждого атакующего, и увидеть если пример помог нападающему сместить расстояние до уровня ниже порогового значения.
Рис. 8: Физическое олицетворение результатов атаки.
Оригинальное расстояние означает расстояние между вложением атакующего и жертвы до начала атаки. Теоретическое расстояние означает расстояние между вычисленным состязательным примером и потерпевшим. Расстояние после атаки означает расстояние между потерпевшим и злоумышленником, полученное с помощью нашего устройства.
На таблице показано соотношение количества состязательных примеров, которые сделали расстояние ниже порогового, а на рис. 9 показан результат крупномасштабного исследования подробно.
Как видно из рисунка группы – для тех, кто имеет наименьшее оригинальное расстояние, злоумышленник имеет очень высокий шанс выработать правильный состязательный пример.
Мы обнаружили, что более тесное исходное расстояние дает злоумышленнику больше шансов подтянуть расстояние до ниже порогового.
Таким образом, мы обнаружили, что, если есть группа нападающих вместо одного, вероятность успеха может быть гораздо выше, потому что, из группы людей, по крайней мере один имеет близкое расстояние с их целевой жертвой.
И злоумышленники всегда могут сознательно выбрать того, кто имеет похожий цвет кожи или другие особенности внешнего вида с жертвой, чтобы получить более ближнее начальное расстояние и тем самым лучший результат и в конечном счете - более высокий уровень успеха.
При сравнении фигур (д), (е) и (F), на рисунке 9 было выяснено, что алгоритм не чувствителен к атакующим, так как они имеют очень похожие кривые. Среднее расстояние 0,2294 и 0,2277 и 0,2302 для трех нападающих, соответственно.
По расстоянию мы можем видеть, что злоумышленники могут рассчитывать на успешную атаку, если оригинальное расстояние меньше, чем 1,45.
Рис. 9: Крупномасштабное исследование результата. Звездочкой отмечены кривые относящиеся к первому нападающему, кроссом отмечены кривые относящиеся ко второй и алмазом отмечены кривые третьей.
Две цифры в левой колонке относятся к первой группе, в середине ко второй и справа к третьей. Цифры в первой строке показывают PDF (функцию вероятной плотности) расстояний между состязательным примером и жертвой. Вертикальная линия показывает порог. Цифры во втором ряду показывают как падает расстояние с использованием оригинальных фотографий злоумышленника с помощью состязательных примеров.
Рис. 10: средняя прибавка расстояния с использованием алгоритма по сравнению с их первоначальными расстояниями. Пунктирная линия – необходимое усиление сигнала для успешной атаки.
Ограничения
Не хватает скорости? Это происходит главным образом потому, что в нашей работе, много графики.
Каждым пикселем из ввода, или большим куском пикселей злоумышленник может манипулировать, что указывает на большое количество переменных.
Тем не менее, мы считаем, что это ограниченное количество степени свободы, допускает меньше ошибок при реализации состязательных примеров.
Забота о здоровье.
Неясно, пострадают ли глаза и кожа лица, под воздействием такого большого количество инфракрасного облучения в течение длительного периода времени.
Автоматизация
Было бы очень хорошо установить светодиоды на кинетических розетках, которые можно контролировать с помощью SoC (System on Chip), с помощью которого мини-программа может динамически калибровать светодиоды.
Все, что придется делать злоумышленнику - это просто загружать фото жертвы и SoC
вычислит состязательные примеры, отрегулирует и откалибруют светодиоды для нападающего.
Вместо того чтобы использовать светодиоды, злоумышленники могли бы разработать проектор, который может проецировать любой ИК-графический рисунок.
Это устройство будет похоже на проектор, но с инфракрасными диодами подсветки. В этом случае, злоумышленнику уже не нужно ограничивать модель сочетанием пятен. Это могли бы быть почти
управляемые изображения на уровне пикселей. С помощью такого вида устройства, рабочее пространство будет в значительной степени расширено, давая в огромном количестве дополнительную степень свободы.
Защита.
Фильтрация инфракрасного порта объектива не является приемлемой защитой, хотя это сделано во многих качественных камерах. В частности, для камер наблюдения необходимо ИК для обработки изображений в ночное время. В то время как фильтрация ИК для обычного объектива является дорогостоящей. Мы протестировали ИК чувствительность камер на всех ноутбуках и мобильных телефонах вокруг нас, в том числе передней камеры iPhone 6s, MacBook Pro. Полученные результаты свидетельствуют о том, что все они чувствительны к ИК.
В последнее время проведено много работ, направленных на защиту от состязательного примера, но почти все они бесполезны против более продвинутого метода обхода. Защита от состязательных примеров все еще открытая проблема.
Черный ящик.
Наша работа базируется на белой коробке внедрения модели. Однако недавние работы показали, что
методы состязательного обучения на основе белой блочной модели могут быть перенесены в модели черного ящика сразу, с помощью PSO (Particle Swarm Optimization - метод роя частиц ), где модель структура не требуется для оптимизации.
На самом деле, в нашей работе, модель вложения используемая злоумышленниками для расчета вложений и оптимизатор отстал в вычислении градиентов для оптимизации потерь. Расчеты расстояний
не нужны внутри структуры модели. Поэтому предположения белой коробки здесь не используется.
атакующим нужно только запросить черный ящик, чтобы получить расстояние между парой изображений (синтезируемого и жертвы). Для градиентного расчета, немного сложнее.
Приблизительные значения градиента в заданных точках по-прежнему могут быть разработаны, как показано в уравнении (12).
В недавней работе предложен способ атаковать черный ящик DNN и разработан метод локального поиска чтобы получить числовое приближение сети градиента.
Следует признать, что данный метод имеет ошибки так, что неизвестно какова будет точность.
Другие практические приемы
Еще один способ атаки - аксессуар-атака.
При помощи его атакующий пытается одурачить системы распознавания лиц с помощью специальных eyeglassesframes.
Был разработан рекурсивный алгоритм поиска Printable – состязательных примеров и атаки с состязательным примером, напечатанным на очки. Злоумышленники могут носить специальные очки, чтобы уворачиваться от систем распознавания лиц или выдавать себя за целевую жертву. Тем не менее, эти специальные очки сильно бросаются в глаза, возбуждая подозрения людей. Кроме того, злоумышленники должны изготовить устройство для каждой цели. В отличие от этого, носить наше устройство можно незаметно и злоумышленники могут повторно использовать устройство для различных целей.
Так же был предложен метод для атаки беспилотных автомобилей путем добавления возмущения дорожных знаков. Были вставлены самодельные наклейки на реальные дорожные знаки, в результате чего удалось обмануть системы распознавания встроенные в автомобили.
Используя этот метод, можно также добавить наклейки на лицо, чтобы обмануть алгоритм распознавания.
Однако, если на дворе не Хеллоуин , это будет сильно бросаться в глаза. Поэтому мы считаем, что наш подход более практичен.
Состязательность обучения
Исследователями было предложено большое количество работ по улучшению эффективности и надежности алгоритма поиска.
Была предложена интересная атака, которая добавляет возмущения на пустое изображение, чтобы обмануть системы распознавания.
Совсем недавно, был предложен подход, который значительно повышает эффективность работы алгоритма поиска. Он показал, что возмущение, создаваемое для одной системы может использоваться, чтобы обмануть другую систему.
ЗАКЛЮЧЕНИЕ
В этой статье, было показано, что инфракрасный свет может быть с успехом использован против систем машинного обучения.
Были разработаны и реализованы на практике состязательные примеры. Более того было проведено крупномасштабное исследование среди множества данных LFW, которое выявило, что более 70% людей, могут быть успешно атакованы, если они имеют некоторое сходство с нападающим.
На основании проведенных исследований сделан вывод - методы распознавания лица на сегодняшний день не являются надежными.
Последнее редактирование:
