Patronus AI lève 17 millions de dollars pour l'audit de modèles IA à New York
Le 5 juin prochain, les leaders de New York se réuniront pour approfondir l'audit des modèles IA en matière de biais, de performance et de conformité éthique. Patronus AI, une startup fondée par d'anciens experts en apprentissage automatique chez Meta, a sécurisé un financement substantiel de 17 millions de dollars. Ces fonds seront utilisés pour automatiser la détection des erreurs dans les grands modèles de langage (LLM), essentiels pour identifier les hallucinations, les violations de droits d'auteur et les risques de sécurité qui pourraient s'avérer préjudiciables s'ils ne sont pas traités. La plateforme, dirigée par Anand Kannappan et Rebecca Qian, exploite une IA propriétaire pour évaluer les performances des modèles, les soumettre à des tests de résistance et permettre un benchmarking minutieux. Les recherches de Patronus AI ont notamment révélé les lacunes des principaux modèles à fournir des réponses précises basées sur des requêtes factuelles, propulsant son approche distinctive au premier plan.
Principales conclusions
- Patronus AI, une startup fondée par d'anciens experts en apprentissage automatique chez Meta, lève 17 millions de dollars pour détecter automatiquement les erreurs dans les grands modèles de langage (LLM)
- La société utilise une IA propriétaire pour évaluer les performances des modèles, les soumettre à des tests de résistance et permettre un benchmarking détaillé
- La plateforme de Patronus AI identifie différents types d'erreurs, notamment les hallucinations, les violations de droits d'auteur, les risques de sécurité et les capacités spécifiques aux entreprises
- Les défaillances publiques des modèles, comme la publication par CNET d'articles remplis d'erreurs générés par l'IA et le retrait par des startups de recherches hallucinées par LLM, soulignent la nécessité d'une telle solution
- Les recherches de Patronus AI, comme l'API "CopyrightCatcher" et le benchmark "FinanceBench", révèlent les lacunes des principaux modèles à répondre avec précision à des questions factuelles
Analyse
Le financement de 17 millions de dollars pour Patronus AI souligne les inquiétudes croissantes concernant les erreurs des LLM, comme les hallucinations et les risques de sécurité. Alors que leur système, adopté par des entreprises du Fortune 500, devient de plus en plus essentiel, il répond à un besoin critique face à l'utilisation croissante des LLM. Cette évolution devrait stimuler les investissements dans les startups d'audit de modèles IA et exercer une pression sur les géants de la technologie comme Meta pour améliorer leurs mesures d'évaluation et de conformité des LLM.
Dans un avenir proche, une adoption accrue des services de Patronus AI par les organisations est imminente, destinée à améliorer les performances des LLM et à limiter les incidents publics. À long terme, le secteur naissant de l'audit de modèles IA pourrait conduire à l'établissement de réglementations et de référentiels industriels stricts, garantissant un déploiement éthique de l'IA et atténuant les risques potentiels liés aux LLM. Les pays disposant de secteurs IA solides, comme les États-Unis et la Chine, sont susceptibles de piloter ces changements transformateurs, impactant les entités technologiques, les chercheurs et les investisseurs à l'échelle mondiale.