La FTC vise Evolv pour des allégations trompeuses sur l'IA : Les réels risques derrière les échecs de détection d'armes

La FTC accuse Evolv d'allégations trompeuses sur l'IA dans les systèmes de détection d'armes : ce que cela signifie pour la sécurité publique et la responsabilité de l'IA

La Commission fédérale du commerce (FTC) a récemment porté des accusations contre Evolv, une entreprise spécialisée dans les systèmes de détection d'armes alimentés par l'IA, pour avoir prétendument fait des déclarations trompeuses sur l'efficacité de sa technologie. Les scanners Express d'Evolv ont été déployés dans les stations de métro de New York et dans environ 800 écoles dans 40 États. Ces allégations et les actions subséquentes de la FTC soulèvent de sérieuses questions sur l'utilisation de l'IA dans les applications de sécurité publique, en particulier dans des environnements impliquant des enfants.

Principales allégations et actions proposées par la FTC

Les accusations de la FTC se concentrent sur plusieurs préoccupations clés. Premièrement, l'agence affirme que les scanners Express d'Evolv ne sont pas aussi précis pour détecter les armes que l'entreprise l'a affirmé. Ces déclarations, selon la FTC, ont été trompeuses, notamment dans des contextes où la sécurité publique et le bien-être des enfants sont en jeu.

En réponse, un règlement proposé a été présenté, empêchant Evolv de faire des déclarations non fondées sur les capacités de ses systèmes de détection d'armes basés sur l'IA à l'avenir. De plus, les écoles K-12 ayant signé des contrats pluriannuels avec Evolv se voient désormais offrir la possibilité de résilier ces accords, un indicateur clair des préoccupations de la FTC concernant la fiabilité de cette technologie pour protéger les élèves.

Problèmes techniques : une question de sensibilité

Les scanners Express d'Evolv rencontrent des défis techniques inhérents qui compliquent encore leur déploiement dans des environnements à enjeux élevés tels que les écoles et les transports publics. Le système présente un compromis : des réglages de sensibilité plus faibles peuvent permettre à des armes de passer inaperçues, tandis que des réglages plus sensibles entraînent souvent une augmentation des fausses alertes. Ce problème de sensibilité a été un obstacle majeur à l'efficacité et à la fiabilité de la technologie.

La FTC a également critiqué les affirmations promotionnelles d'Evolv qui présentent sa technologie IA comme supérieure à celle des détecteurs de métaux traditionnels. Ces affirmations ont été qualifiées de battage publicitaire sans données suffisantes pour les étayer, mettant en évidence un décalage entre les efforts promotionnels d'Evolv et les résultats concrets.

Incidents spécifiques mettant en lumière les lacunes

Plusieurs incidents préoccupants ont été cités par la FTC comme preuves des insuffisances d'Evolv. Dans un cas en octobre 2022, un élève d'une école de New York a réussi à passer à travers un scanner Evolv en portant un couteau de 18 cm, révélant une grave lacune dans la capacité supposée de détection du système. Dans un autre incident, une arme d'un policier hors service n'a pas été détectée, tandis qu'une boîte à lunch d'un élève a déclenché une alarme, soulignant l'incohérence de la technologie.

Suite à l'incident du couteau, une école a décidé d'augmenter la sensibilité de son scanner Evolv pour améliorer la précision de détection. Cependant, cet ajustement a eu un inconvénient majeur : le nombre de fausses alertes a doublé à 50 %, mettant en évidence la lutte continue pour trouver un équilibre optimal entre précision de détection et utilisabilité opérationnelle.

Samuel Levine, le directeur du Bureau de protection des consommateurs de la FTC, a été clair dans son évaluation. Il a souligné que les entreprises doivent fournir des preuves solides pour étayer leurs affirmations technologiques, en particulier lorsque l'IA est utilisée pour protéger les enfants. Les remarques de Levine reflètent une préoccupation plus large concernant le déploiement de tels systèmes dans des environnements à haut risque, notamment le système de métro de New York, un cadre que le PDG d'Evolv a reconnu comme potentiellement non adapté à leur technologie.

Opinions divergentes : préoccupations réglementaires contre avancées technologiques

Les actions de la FTC s'inscrivent dans un cadre de surveillance réglementaire croissante visant à garantir que les entreprises ne surestiment pas les capacités de leurs produits d'IA. Plus tôt cette année, la FTC a signalé sa volonté de prendre des mesures contre les entreprises qui exagèrent leurs technologies d'IA, en soulignant l'importance d'un marketing précis et honnête dans des secteurs sensibles comme la sécurité publique.

Cependant, Evolv continue d'évoluer sa gamme de produits, ayant récemment lancé Evolv Express® 6.0 en juin 2023, qui est commercialisé comme ayant des capacités de détection améliorées. De plus, Evolv Express est actuellement le seul système de détection avancée d'armes à avoir reçu la désignation SAFETY Act du Département de la Sécurité intérieure des États-Unis en tant que technologie qualifiée de lutte contre le terrorisme. Malgré ces avancées, l'écart entre les affirmations d'Evolv et les conclusions de la FTC illustre le débat continu sur le rôle de l'IA dans des environnements critiques en matière de sécurité.

Implications pour le marché, les parties prenantes et les tendances plus larges de l'IA

L'affaire de la FTC contre Evolv a des implications plus larges qui vont au-delà d'une seule entreprise. Elle souligne un moment pivot pour l'IA dans la sécurité publique, la surveillance réglementaire et la dynamique du marché.

1. Impact sur le marché

• Effets à court terme : Les entreprises fortement dépendantes du marketing basé sur l'IA pourraient faire face à une surveillance accrue, ce qui pourrait affecter les cours des actions d'Evolv et de ses pairs industriels.
• Effets à long terme : Le marché pourrait récompenser les entreprises qui font preuve de transparence et investissent dans des technologies d'IA fiables et éprouvées. Les entreprises qui établissent la confiance grâce à une validation rigoureuse de leurs solutions d'IA pourraient obtenir un avantage concurrentiel par rapport à celles qui exagèrent leurs capacités.

2. Principales parties prenantes

• Investisseurs dans les entreprises d'IA : Les investisseurs devront évaluer soigneusement les déclarations faites par les entreprises d'IA. Ceux qui investissent dans des entreprises axées sur la transparence et des technologies validées pourraient connaître des gains significatifs alors que le paysage réglementaire devient plus exigeant.
• Institutions publiques : Les écoles et les autorités de transport public pourraient reconsidérer leurs accords avec Evolv et des entreprises similaires, cherchant des solutions de sécurité hybrides qui allient supervision humaine et technologies d'IA. De tels changements pourraient créer des opportunités pour les concurrents d'Evolv ou même pour des secteurs adjacents comme les services de sécurité gérés par des humains.
• Régulateurs : Les actions de la FTC pourraient établir un précédent, conduisant à des normes strictes à l'échelle de l'industrie pour le déploiement de l'IA dans des domaines sensibles. Ces normes augmenteraient probablement les coûts de conformité mais aideraient à garantir que les déploiements d'IA sont fiables et dignes de confiance.
• Sentiment public : La confiance des parents, des usagers des transports publics et du grand public dans les systèmes de sécurité basés sur l'IA pourrait diminuer à la lumière de ces découvertes, mettant la pression sur les décideurs pour tenir les fournisseurs responsables.

3. Tendances plus larges

• Vague de réglementation sur l'IA : L'initiative de la FTC est cohérente avec une tendance mondiale vers une réglementation plus stricte de l'IA, comme le projet de loi sur l'IA de l'UE. Cette affaire pourrait servir de référence pour de futures actions, en particulier celles impliquant des applications d'IA critiques pour la vie.
• Transparence et indicateurs ESG dans l'IA : La demande pour des systèmes d'IA transparents et explicables, alignés sur des normes éthiques, augmentera. Les indicateurs Environnementaux, Sociaux et de Gouvernance (ESG) pour les entreprises d'IA pourraient gagner en importance, influençant les investissements en capital.
• Montée des modèles de sécurité hybrides : Les lacunes du système actuel d'Evolv révèlent les limites de la dépendance totale à l'IA dans des environnements à enjeux élevés. À l'avenir, les solutions de sécurité hybrides combinant IA et validation humaine pourraient devenir la norme de l'industrie.

Spéculations sur les développements potentiels

• Acquisitions : De grandes entreprises de sécurité ou des entrepreneurs de défense pourraient envisager d'acquérir Evolv pour intégrer sa propriété intellectuelle (PI) tout en s'attaquant à ses lacunes actuelles.
• Changement dans les récits de marketing de l'IA : Les actions de la FTC pourraient catalyser un changement loin d'un marketing axé sur "l'IA d'abord" vers un accent sur la sécurité, l'implication humaine et l'innovation progressive.
• Émergence de concurrents : De nouvelles entreprises ou des acteurs existants pourraient saisir l'occasion d'introduire des modèles d'IA supérieurs, redéfinissant potentiellement le paysage concurrentiel.

Conclusion : Un test de responsabilité pour l'IA

L'affaire de la FTC contre Evolv ne concerne pas seulement les échecs d'une entreprise ; c'est un test crucial pour la responsabilité de l'IA dans des applications critiques comme la sécurité publique. Bien qu'Evolv fasse face à des défis immédiats, il existe des opportunités à long terme pour les investisseurs qui peuvent identifier des entreprises prêtes à répondre aux normes réglementaires croissantes et aux demandes sociétales. L'avenir des technologies de sécurité alimentées par l'IA appartiendra aux entreprises qui priorisent la transparence, la robustesse et un engagement envers les pratiques éthiques, ce qui les rendra des leaders durables sur le marché.