Les critères d'évaluation des LLM sont obsolètes : pourquoi les tests pratiques sont désormais la norme pour évaluer les modèles linguistiques
Les critères d'évaluation autrefois célébrés pour les grands modèles linguistiques (LLM) sont de plus en plus remis en question. Pendant des années, des benchmarks comme le MMLU (Massive Multitask Language Understanding) étaient considérés comme la référence pour évaluer la performance des LLM. Ces benchmarks testaient les modèles dans une large gamme de domaines, aidant les chercheurs à mesurer le progrès. Cependant, des experts ont exprimé des préoccupations selon lesquelles ces benchmarks, y compris l'Arène Lmsys, deviennent saturés et même "piratés". Le terme "piraté" fait ici référence à des modèles qui sont stratégiquement ajustés ou optimisés pour gonfler leurs classements, sans refléter réellement leurs capacités.
Les modèles à la pointe de la technologie, tels que GPT-4, Claude et PaLM, ont atteint des performances proches du maximum sur ces benchmarks, dépassant souvent les résultats humains. Cela a créé une situation où les améliorations futures sont marginales, rendant ces benchmarks moins efficaces pour distinguer les modèles de pointe. De plus, des préoccupations concernant le surajustement à ces benchmarks, une applicabilité limitée dans le monde réel et le potentiel de manipulation ont incité les experts à recommander que la meilleure façon d'évaluer un LLM soit à travers des expérimentations pratiques dans des applications réelles.
Points clés :
- Saturation des benchmarks : Les benchmarks actuels, y compris le MMLU, ont atteint un point où les modèles leaders montrent des gains de performance minimes. Ces benchmarks ne suffisent plus pour évaluer les derniers LLM.
- Surajustement et manipulation : Les modèles sont souvent ajustés pour exceller dans des tâches de benchmark spécifiques, conduisant à des scores gonflés qui peuvent ne pas refléter de véritables capacités linguistiques générales. Ce phénomène s'étend à des plateformes comme l'Arène Lmsys, où les modèles peuvent "manipuler" le système en s'optimisant pour des scénarios prévisibles.
- Expérimentation dans le monde réel : La façon la plus fiable de choisir un LLM est de le tester dans votre cas d'utilisation spécifique. Les benchmarks sont limités dans leur portée et échouent à capturer les complexités des tâches réelles, rendant l'expérimentation pratique cruciale.
- Évaluation émergente : De nouveaux benchmarks plus complets sont en cours de développement, axés sur des domaines tels que le raisonnement, les tâches multimodales, et la résolution de problèmes dans le monde réel. Ces efforts visent à mieux comprendre l'adaptabilité et l'intelligence d'un modèle.
Analyse :
Le paysage de l'évaluation de l'IA est en pleine évolution, et ce changement reflète l'évolution naturelle de la technologie. À mesure que les LLM deviennent plus avancés, les benchmarks traditionnels échouent à capturer les nuances des capacités de ces modèles. Par exemple, le jeu de questions statiques du MMLU ne tient pas compte des nouvelles connaissances ou des scénarios dynamiques du monde réel. Les modèles leaders peuvent bien performer sur ces ensembles de données fixes, mais cela ne se traduit pas nécessairement par une performance améliorée dans des contextes divers et imprévisibles.
De plus, des plateformes comme l'Arène Lmsys, qui utilisent des comparaisons directes, sont vulnérables à la manipulation. Les modèles peuvent être conçus pour exceller dans des comparaisons spécifiques ou s'optimiser selon les préjugés des évaluateurs humains, comme la préférence pour des réponses plus confiantes ou concises. Cette optimisation fausse les résultats, présentant une image trompeuse de l'intelligence générale d'un modèle.
Pour atténuer ces problèmes, la communauté de l'IA se concentre de plus en plus sur le développement de systèmes d'évaluation plus complets. Ces nouveaux benchmarks visent à tester les LLM sur le raisonnement, la génération de contenu long, et même la résolution de problèmes dans le monde réel, allant au-delà des capacités testées dans les benchmarks traditionnels. De plus, il y a une emphase croissante sur les tâches multimodales qui nécessitent que les modèles intègrent des informations provenant de différents types de médias, comme du texte et des images.
Cependant, malgré les avancées dans les benchmarks, les experts recommandent une approche pragmatique : l'expérimentation pratique. En testant directement les modèles dans votre cas d'utilisation spécifique, vous pouvez évaluer comment ils se comportent dans des conditions du monde réel que les benchmarks ne peuvent pas simuler. L'expérimentation permet d'évaluer des facteurs comme le temps de réponse, l'adaptabilité, la gestion de requêtes complexes, et l'expérience utilisateur globale. De plus, cela offre des aperçus sur des préoccupations éthiques telles que les biais et la modération du contenu, qui sont de plus en plus importantes dans le déploiement de l'IA.
Le saviez-vous ?
- Manipuler le système : Certains LLM de premier plan ont été signalés comme ajustant stratégiquement leurs modèles pour gravir les échelons sur des plateformes comme l'Arène Lmsys. Cette pratique, connue sous le nom de Supervised Fine-Tuning (SFT), permet aux modèles de bien performer sur des tâches de benchmark mais peut ne pas se généraliser efficacement à d'autres tâches dans le monde réel.
- Au-delà de la précision : Lors de l'évaluation d'un LLM, la précision n'est qu'un des nombreux facteurs à considérer. Des métriques comme la fluidité, la cohérence, la créativité et la gestion des connaissances spécifiques à un domaine sont également importantes, selon le cas d'utilisation.
- L'avenir multimodal : La prochaine génération d'évaluation de l'IA inclura probablement des évaluations multimodales, où les LLM sont testés sur des tâches nécessitant la compréhension et l'intégration d'informations provenant de multiples sources, comme du texte, des images et des vidéos.
En conclusion, bien que des benchmarks comme le MMLU et des plateformes comme l'Arène Lmsys aient joué un rôle important dans l'avancement du développement des LLM, leurs limites deviennent de plus en plus évidentes. À mesure que les modèles continuent de s'améliorer, le besoin de méthodes d'évaluation plus nuancées grandit. En fin de compte, le meilleur conseil pour évaluer un LLM est de l'expérimenter directement dans votre cas d'utilisation spécifique, en vous assurant qu'il répond à vos besoins et défis uniques.