Pilote automatique Tesla – Vision par ordinateur

25
  • Des chercheurs de Georgia Tech et de l'Université Ben Gourion du Néguev ont utilisé un projecteur bon marché pour tromper le système de pilote automatique de Tesla.
  • En créant des faux positifs, appelés «objets fantômes», l'équipe a fait croire au système de conduite automatisée qu'il voyait un piéton sur la route et des panneaux de limitation de vitesse dans les arbres.
  • Tout cela montre que les systèmes de vision par ordinateur ne sont peut-être pas aussi robustes que nous le croyons.

    Il est troublant d'imaginer qu'une astuce de 300 $ pourrait tromper votre système de pilote automatique Tesla beaucoup plus cher, et pourtant, une équipe de chercheurs de l'Université Ben Gourion du Néguev et de Georgia Tech l'ont réussi.

    Un système de projecteur bon marché affichant de faux panneaux de limitation de vitesse dans les arbres ou faisant briller une silhouette de type Slenderman sur la route peut en fait forcer le pilote automatique à changer de comportement, ajuster la vitesse aux «panneaux de signalisation» et ralentir pour ce qu'il pense être un piéton (peu importe le fait que la voiture roule toujours sur la projection).

    Ces soi-disant «objets fantômes» prouvent que la vision par ordinateur a encore un long chemin à parcourir avant que les voitures autonomes ne soient vraiment fiables en tant qu'alternatives pour le transport en commun ou la possession d'une voiture personnelle. En conséquence, les chercheurs qualifient leurs efforts de «défi perceptuel».

    Mais cette expérience ne concerne pas les singes, c'est un réel danger pour la sécurité et la sûreté, soulignent les chercheurs dans un nouvel article.

    "Nous montrons comment les attaquants peuvent exploiter ce défi perceptuel pour appliquer des attaques fantômes … sans avoir besoin d'approcher physiquement la scène d'attaque, en projetant un fantôme via un drone équipé d'un projecteur portable ou en présentant un fantôme sur un panneau d'affichage numérique piraté qui fait face à Internet et est situé près des routes ", écrivent-ils dans l'abstrait.

    Attaques fantômes

    imageBen Nassi

    À Beersheba, Israël – siège de l'Université Ben Gourion du Néguev – Ben Nassi, auteur principal du papier pour projecteur, a utilisé un projecteur bon marché à piles et un drone pour projeter une image de l'effrayante figure sur le trottoir. Il voulait voir s'il pouvait créer un scénario d'usurpation d'identité que n'importe quel pirate informatique pourrait facilement reproduire sans avoir à révéler son identité.

    Nassi a testé sa théorie contre le pilote automatique de Tesla, ainsi que Mobileye 630 PRO, un autre des systèmes de conduite automatisés les plus avancés, qui est utilisé dans des voitures comme la Mazda 3. Il a projeté une image d'un véhicule dans la rue, ce que le modèle X ramassé; créé de faux panneaux de limitation de vitesse, qui ont été détectés; et même créé de fausses lignes de rue qui ont forcé la Tesla à changer de voie.

    Ce sont tous des exemples «d'objets fantômes», que Nassi décrit comme un objet sans profondeur qui amène les systèmes de conduite automatisée à le percevoir et à le considérer comme réel, ce qui entraîne toutes sortes de conséquences inattendues.

    Nassi dit que les fantômes ne sont pas seulement une préoccupation dans la nature grâce à des méthodes de projection comme les siennes, mais que ces faux positifs pourraient également être intégrés dans des panneaux d'affichage numériques, qui sont souvent dans le cadre de vision d'une voiture. Dans l'image ci-dessous, concentrez vos yeux sur le coin supérieur gauche. Vous devriez remarquer un fantôme sournois qui se cache et qui pourrait faire accélérer ou ralentir une voiture à environ 55 miles par heure. Le symbole n'apparaît que pendant 125 millisecondes, mais il pourrait provoquer un accident de voiture massif.

    Vision humaine> Vision par ordinateur

    image
    Les exemples contradictoires sont classés comme le panneau de signalisation cible souhaité avec une grande confiance dans diverses conditions physiques lors de l'impression. Les échantillons d'attaque d'impression lenticulaire inversent le signe affiché en fonction de l'angle de vue, simulant la vue du conducteur humain et de la caméra dans la voiture autonome.

    Princeton / Purdue

    Ce n'est pas la première fois que les chercheurs donnent à des véhicules autonomes une allure stupide, sinon complètement aveugle.

    Un article de mai 2018 de l'Université de Princeton et de Purdue, par exemple, a montré que les mauvais acteurs pouvaient facilement créer des "signes toxiques" qui signifient quelque chose de différent pour les ordinateurs que pour les gens. Les particularités des signes seront invisibles aux yeux des humains, mais peuvent avoir des conséquences désastreuses sur les systèmes de vision des véhicules autonomes.

    "Ces attaques fonctionnent en ajoutant des perturbations soigneusement conçues à des exemples bénins pour générer des exemples contradictoires", écrivent les auteurs. "Dans le cas des données d'images, ces perturbations sont généralement imperceptibles pour l'homme."

    Dans un autre cas, les chercheurs ont mené ce qu'ils appellent une "attaque par disparition" pour cacher un panneau d'arrêt d'un réseau neuronal profond. En couvrant simplement le vrai panneau d'arrêt avec une affiche de panneau d'arrêt contradictoire ou en ajoutant des autocollants au panneau d'arrêt, le réseau neuronal a été confondu.

    Nassi et son équipe se réfèrent à cette incapacité des véhicules automatisés à revérifier ce qu'ils considèrent comme «l'écart de validation».

    La solution est simple, disent-ils: les fabricants de systèmes de conduite automatisés devraient travailler sur des systèmes de communication pour aider les systèmes de vision par ordinateur à vérifier que ce qu'ils voient est bien réel. C'est un point de vue largement accepté, disent-ils, mais les principales parties prenantes ont retardé la production de ces outils qui pourraient exclure les objets 2D comme la projection Slenderman.

    Lorsque ceux-ci finiront par se déployer, les systèmes permettront aux véhicules de se parler en quelque sorte pour déterminer s'ils voient la même chose. Dans d'autres cas, des systèmes de vision installés sur des bâtiments ou d'autres infrastructures pourraient également communiquer avec les voitures. Il s'agit d'une vision d'un monde connecté qui nécessitera probablement la 5G pour fonctionner, mais est tout à fait plausible.

    Jusqu'à ce que ces aides à la communication atteignent le marché de masse, gardez certainement les yeux ouverts et alertes lorsque vous conduisez votre Tesla.

    Source