Comparer plusieurs IA avec un test équitable et utile

Les comparatifs publics sont utiles pour découvrir des outils, mais ils ne reproduisent pas votre travail, vos fichiers, votre niveau de contrôle ni votre budget. Un test personnel, même simple, peut donc être plus informatif qu’un classement général.

Pour être utile, ce test doit éviter trois erreurs : changer le prompt entre les outils, noter selon une impression vague et connaître l’auteur de chaque réponse pendant l’évaluation.

Principe — Le protocole doit être fixé avant de voir les résultats.

Choisissez une tâche représentative#

Prenez une tâche que vous réalisez réellement et que vous savez évaluer. Elle doit être assez difficile pour différencier les outils, mais pas tellement complexe que vous ne puissiez plus juger la réponse.

Exemples :

• résumer un rapport connu ;
• préparer un email à partir de faits précis ;
• extraire les engagements d’un texte ;
• expliquer une notion à un public défini ;
• corriger un petit programme avec des tests ;
• comparer trois options à partir d’un tableau fourni.

Évitez une question de culture générale isolée. Elle mesure peu votre usage quotidien.

Préparez un jeu de données autorisé#

Utilisez :

• un document public ;
• un texte fictif ;
• une copie anonymisée ;
• des données créées spécialement pour le test.

Ne transmettez pas un dossier confidentiel uniquement pour comparer des assistants. Le test doit respecter les mêmes règles de données que l’usage réel.

Écrivez un prompt unique#

Le prompt doit contenir l’objectif, le contexte, les contraintes, le format et les critères.

À partir du document fourni, prépare une note pour un responsable non technique.

Résultat attendu :
- un résumé de 150 mots maximum ;
- trois décisions explicitement présentes ;
- un tableau des actions, responsables et échéances ;
- la liste des informations manquantes.

N’ajoute aucune information absente. Cite la section utilisée pour chaque décision.

Copiez exactement le même texte et le même fichier dans chaque outil. Notez le modèle, le mode et la date du test.

Définissez la grille de notation#

Une grille courte vaut mieux qu’une impression globale. Utilisez cinq critères notés de 0 à 3.

Respect des consignes#

Le format, la longueur et les interdictions sont-ils respectés ?

Exactitude#

Les faits correspondent-ils au document ? Y a-t-il des ajouts ou omissions importants ?

Utilité#

La réponse vous aide-t-elle réellement à accomplir la tâche ?

Effort de correction#

Combien de temps faut-il pour obtenir une version finale ?

Traçabilité#

Les conclusions peuvent-elles être reliées aux données ou sources ?

Définissez le sens des notes :

• 0 : inutilisable ;
• 1 : reprise majeure ;
• 2 : exploitable après corrections ;
• 3 : utilisable après contrôle normal.

Ajoutez des erreurs volontaires dans le cas de test#

Pour tester la prudence, insérez un élément ambigu ou manquant :

• une échéance sans année ;
• un responsable non désigné ;
• deux chiffres contradictoires ;
• une hypothèse présentée comme telle ;
• une pièce mentionnée mais absente.

Un bon résultat doit signaler l’incertitude au lieu de la combler silencieusement.

Ne créez pas de piège artificiel sans rapport avec votre usage. Le but n’est pas de faire échouer l’outil, mais de vérifier son comportement face aux difficultés que vous rencontrez réellement.

Évaluez les réponses à l’aveugle#

Copiez chaque réponse dans un document séparé et remplacez le nom de l’outil par A, B ou C. Mélangez l’ordre si possible.

Évaluez d’abord sans savoir qui a répondu. Cela limite :

• l’effet de réputation ;
• la préférence pour une interface ;
• la tendance à excuser l’outil que l’on utilise déjà ;
• l’influence d’un style plus agréable.

Révélez les noms seulement après la notation.

Mesurez le temps jusqu’au résultat final#

Chronométrez :

• le temps de génération ;
• le temps de lecture ;
• le temps de vérification ;
• le temps de correction ;
• le nombre d’allers-retours.

Une réponse immédiate peut perdre si elle exige de nombreuses corrections. À l’inverse, une réponse plus lente peut être rentable si elle respecte mieux les contraintes.

Répétez le test#

Une seule génération peut être atypique. Répétez le même test deux ou trois fois, ou utilisez trois cas proches.

Conservez les mêmes réglages. Si les résultats varient fortement, notez cette instabilité : elle fait partie de l’évaluation.

Pour une tâche créative, la variété peut être un avantage. Pour une extraction factuelle, elle peut être un problème.

Testez le comportement après correction#

La première réponse n’est pas tout. Envoyez la même correction ciblée :

Tu as ajouté deux informations absentes du document. Retire-les, conserve la structure et indique « non précisé » lorsque la donnée manque.

Observez si l’outil :

• reconnaît le problème ;
• corrige uniquement la partie concernée ;
• introduit une nouvelle erreur ;
• respecte mieux la règle ensuite.

La capacité à itérer est décisive dans un usage réel.

Intégrez le coût et les limites#

Après la qualité, vérifiez :

• la disponibilité de la fonction sur votre forfait ;
• la taille des fichiers ;
• les limites d’usage ;
• le temps d’attente ;
• les possibilités d’export ;
• les règles de données ;
• les besoins de collaboration.

Un outil légèrement meilleur mais inutilisable dans votre cadre n’est pas le meilleur choix.

Présentez le résultat sans faux classement absolu#

Votre conclusion peut prendre cette forme :

Outil A : meilleur pour notre extraction structurée, avec le moins de corrections.
Outil B : meilleur pour la rédaction, mais moins fiable sur les références.
Outil C : acceptable en solution de secours, avantageux pour le coût.

Précisez toujours le cas testé, la date, les réglages et les limites. Vous évitez de transformer un résultat local en vérité générale.

Le tableau de test#

Ajoutez une décision :

Outil principal :
Tâches autorisées :
Tâches interdites :
Contrôles obligatoires :
Outil de secours :
Date du prochain test :

Pourquoi cette méthode reste valable dans le temps#

Les modèles et fonctions changent. Un classement publié aujourd’hui peut devenir obsolète. Votre protocole, lui, peut être réutilisé.

Conservez le prompt, les fichiers, la grille et les réponses de référence. Lorsque votre besoin ou l’offre évolue, relancez le même test. Vous disposerez d’une comparaison fondée sur votre travail, et non sur la promesse générale d’un outil.