Как можно обмануть автопилоты Tesla и Mobileye | Блог Касперского

Помните эпизод из фильма «О чем говорят мужчины», в котором главный герой попадает с друзьями в кювет из-за того, что ему показалось, будто на дорогу вышла пожилая женщина? А теперь представьте, что нечто похожее может произойти с автопилотом, которому — нет, не показалось, а показали не очень хорошие люди некое изображение, на которое автопилот запрограммирован реагировать. Показали ненадолго, всего на долю секунды. Именно о таком виде атак на ИИ автомобильных автопилотов, получившем название «фантомные атаки», рассказали исследователи из университетов Джорджии и Бен-Гуриона в ходе RSA Conference 2021.

Надо сказать, что идея показывать ИИ «опасные картинки» сама по себе не нова. Обычно для этого используют специально модифицированные изображения, которые заставляют ИИ сделать какой-нибудь очень неожиданный вывод. Все без исключения алгоритмы машинного обучения имеют эту ахиллесову пяту: если знать, какие признаки выделяются в качестве ключевых для распознавания картинки, то есть обладать определенным знанием об алгоритме, то можно модицифировать изображение так, чтобы затруднить машине принятие верного решения или вовсе вынудить ее сделать ошибку.

Новизна продемонстрированного на RSA Conference 2021 подхода заключается в том, что автопилоту показывались не модифицированные изображения — то есть атакующим не нужно знать, как работает алгоритм и какие признаки он использует. Изображения ненадолго проецировались на дорогу, а также на расположенные рядом с ней стационарные объекты, и вот к чему это приводило:

Или другой вариант — изображения появлялись на доли секунды в рекламном ролике на стоящем рядом с дорогой билборде. Результат примерно тот же:

Таким образом, полагают авторы исследования, злоумышленники могут совершить свою пакость, находясь на комфортном расстоянии от жертвы и не подвергаясь опасности оставить лишние следы на месте преступления. Все, что им нужно знать о машине жертвы — это как долго показывать изображение.

Все дело в том, что в целях снижения вероятности ложного срабатывания, например из-за попадания грязи или мусора в объектив камеры или лидаров, разработчики намеренно внедрили порог срабатывания. Ведь мало кому из участников дорожного движения понравится, если ведомая автопилотом машина начнет вдруг случайным образом изменять свою скорость или направление движения.

Разработчикам ИИ приходится чем-то жертвовать, и они, видимо, решили, что раз тормозной путь автомобиля все равно измеряется в десятках метров, дополнительная пара метров из-за задержки на более тщательную оценку ситуации — это не критичная прибавка.

Время, в течение которого требуется демонстрировать «фантом» системам распознавания Tesla и Mobileye. Источник

Впрочем, пара метров будет тогда, когда мы говорим о системе искусственного зрения Mobileye и скорости 60 км/ч — время ее реакции составляет около 125 миллисекунд. Экспериментально определенный исследователями порог реагирования автопилота Tesla почти в три раза больше — 400 мс, что на той же скорости прибавит почти семь метров. Так или иначе, это все равно доли секунды. Следовательно, полагают авторы исследования, такая атака может произойти внезапно — и прежде чем вы поймете, что произошло, дрона с проектором уже и след простынет.

Но есть один нюанс, который вселяет надежду на то, что рано или поздно автопилоты удастся обезопасить от данного вида атак. Все-таки внешний вид изображений, спроецированных на неподходящие для просмотра картинок поверхности, сильно отличается от реальности. Человеческий глаз легко отличает фантом от реального объекта по искажению перспективы, неровным краям, неестественным цветам, экстремальному контрасту и другим «странностям».

Таким образом, уязвимость системы автопилота к фантомным атакам — это следствие «разрыва восприятия» (perception gap) между ИИ и человеческим мозгом. Как можно преодолеть этот разрыв? Авторы исследования предлагают внедрять в системах автомобильных автопилотов проверку дополнительных признаков — перспективы, гладкости краев, цвета, контрастности, яркости и так далее — и принимать решение только в том случае, если результаты проверок согласуются друг с другом.

Примерно так же, как принимает решение жюри, только вместо людей на виртуальной скамье будут нейронные сети, оценивающие все те параметры, которые помогают отличить реальный сигнал с камеры или лидара от кратковременного фантома.

Это, конечно, приведет к дополнительной вычислительной нагрузке и, по сути, параллельной работе сразу нескольких нейронных сетей, которые нужно будет еще и предварительно натренировать, а это процесс долгий и энергоемкий. Да и самому автомобилю, который и так представляет собой небольшой кластер компьютеров на колесах, придется превратиться в небольшой кластер суперкомьютеров.

Есть определенная надежда, что в будущем с распространением нейроморфных процессоров станет реальностью реализация на борту автомобиля сразу нескольких нейронных сетей, работающих параллельно и не убивающих при этом энергетику автомобиля. Но это уже другая история, о которой мы, возможно, вам еще расскажем.