Comment choisir une IA juridique sans se faire vendre du vent : les sept questions

Choisir un outil d'IA juridique exige sept vérifications : sources détaillées (lesquelles, de quelle juridiction, mises à jour à quelle date), vérification avec lien vers la source officielle, benchmark avec méthodologie publique, destination contractuelle des données, limites déclarées par le fournisseur, enregistrement de la diligence et conditions de sortie. Les preuves publiées et révisées par des pairs (Universidad de Stanford, Journal of Empirical Legal Studies, 2025) montrent que les outils spécialisés réduisent l'erreur par rapport aux chats généralistes —dans leur mesure, entre 17% et 33% d'échecs contre 43% pour les généralistes— mais ne l'éliminent pas : c'est pourquoi « zéro hallucination, garanti » est le premier signal d'alerte. Dans cet article : les sept questions clés à poser lors de la réunion commerciale, et pourquoi un tribunal espagnol a déjà fixé par écrit le coût de la diligence.

Quand on vous vend une IA juridique, la première phrase du vendeur vous dit presque tout. Si elle commence par « zéro hallucination, garanti », vous pouvez déjà écourter la réunion. Non pas parce que l'outil est nécessairement mauvais. Mais parce que celui qui vous promet ce que les preuves publiées ne confirment pas vous demande de la foi — et en droit, nous ne travaillons pas avec la foi. Nous travaillons avec des sources.

Ce que disent les preuves (les vraies, avec examen par les pairs)

L'étude universitaire de référence a été publiée par l'Université de Stanford dans une revue juridique à comité de lecture. Elle a mesuré des outils de recherche juridique basés sur l'IA — les outils spécialisés payants, pas les chats généralistes — et a trouvé deux choses à la fois :

La bonne nouvelle : les outils spécialisés réduisent considérablement l'erreur face à un chat généraliste.

Le constat gênant : elles n'y remédient pas. Lors de leurs mesures, les solutions spécialisées ont enregistré un taux d'échec compris entre 17 % et 33 % des cas, contre 43 % pour le modèle généraliste utilisé comme référence.

Avertissement honnête sur la portée : ils ont mesuré des outils américains, basés sur le droit anglo-saxon. Pour le marché espagnol, je n'ai pas connaissance d'une mesure équivalente publiée avec une méthodologie ouverte. Cela n'est pas rassurant : cela signifie qu'ici, nous achetons avec moins d'informations — et que les questions qui suivent sont plus nécessaires, pas moins.

Un instant : qu'est-ce qu'un « wrapper » ?

Le mot à connaître avant la liste. Un wrapper (enveloppe) est un produit qui ne fait qu'envelopper un modèle tiers — le même chat que vous utilisez déjà gratuitement — avec une couche de marketing juridique par-dessus, sans technologie propre pertinente : sans corpus vérifié, sans ancrage aux sources officielles, sans enregistrement. Il n'est pas illégal de le vendre. Mais vous devriez savoir ce que vous achetez, car le prix de la couche de peinture est parfois notable.

Les sept questions (à emporter à la réunion)

1 · Sur quelles sources travaille-t-il — lesquelles, de quelle juridiction, mises à jour jusqu'à quand ?

« Des millions de documents » n'est pas une réponse : c'est un titre. La réponse sérieuse détaille : quels types de documents, quelle validité, comment ils sont mis à jour.

2 · Chaque affirmation renvoie-t-elle à sa source officielle ?

Le test des cinq secondes : vous demandez une réponse avec de la jurisprudence et vous vérifiez si chaque citation ouvre la résolution officielle ou si vous devez la chercher manuellement et prier.

3 · Publiez-vous un benchmark avec une méthodologie — ou me demandez-vous de le croire ?

Un benchmark sérieux indique ce qui a été mesuré, comment, avec combien de cas et où il échoue. Un chiffre rond sans méthodologie est du marketing avec des décimales.

4 · Où vont mes données ?

Où sont-elles traitées, si elles sont utilisées pour l'entraînement, qui peut les voir, comment sont-elles supprimées. Par contrat, pas de vive voix. (Si vous avez lu l'article sur l'IA et le secret professionnel, vous savez déjà pourquoi cette question n'est pas négociable.)

5 · Quelles limites déclarez-vous ?

Un outil sérieux publie ce qu'il NE fait PAS. Celui qui « fait tout » — recherche, rédaction, comptabilité et le café — ne fait généralement rien de bien. L'aveu des limites est le meilleur signe d'une ingénierie honnête qui existe.

6 · Qu'est-ce qui est enregistré de ma diligence ?

Le jour où quelqu'un vous demandera si vous avez vérifié — et cette série a commencé avec un tribunal posant exactement cette question — avez-vous une preuve, ou avez-vous seulement votre mémoire ?

7 · Que se passe-t-il si je pars ?

Exportation de mes données, format, délai, coût. La facilité de sortie est la meilleure mesure de la confiance du fournisseur en son produit.

Le prix de la diligence (fixé par un tribunal, pas par un vendeur)

Vous vous souvenez peut-être des détails de l'affaire des 48 arrêts inexistants : lorsque le tribunal canarien a calculé l'amende de l'avocat, il a basé son calcul sur le coût des outils d'IA juridique sérieux — il a fait état de «plans à partir de 70 euros mensuels», selon la note officielle du Pouvoir Judiciaire.

Ainsi, la question du prix est mal posée. Ce n'est pas « 70 euros par mois, est-ce cher ? ». C'est : comparé à quoi ? Aux heures que vous perdez à vérifier manuellement ce qu'un chat gratuit vous donne ? Au jour où vous ne vérifiez pas ? Un tribunal a déjà fait ce calcul par écrit. Il était en faveur de l'outil.

Les références de prix du marché évoluent ; le chiffre cité est celui que l'ordonnance elle-même a laissé par écrit en février 2026 — cet article ne recommande ni prix ni fournisseur.

La partie où cet examen me met à l'épreuve

Je serai transparent : je vous dis depuis des semaines que je construis un système de travail avec l'IA pour les cabinets. Ces sept questions me concernent aussi. Ce que je construis devra y répondre par écrit — corpus détaillé, benchmark avec méthodologie publique, architecture de données et enregistrement — ou cela ne méritera pas d'être vendu. Publier l'examen avant de s'y soumettre est la partie « sans fumée » qu'on ne peut pas simuler.

Foire aux questions

Qu'est-ce qu'un « wrapper » en IA juridique ?

Un produit qui ne fait qu'envelopper un modèle tiers — le même chat généraliste habituel — avec une couche de marketing juridique, sans technologie propre pertinente : sans corpus vérifié, sans ancrage à des sources officielles, sans enregistrement de l'activité. Il n'est pas illégal de le vendre, mais il est bon de savoir ce que l'on achète : les sept questions de cet article le détectent lors d'une réunion.

Quel est le taux d'erreur des outils d'IA juridique ?

La seule mesure académique avec examen par les pairs (Stanford, Journal of Empirical Legal Studies, 2025) a révélé entre 17 % et 33 % d'erreurs dans les outils spécialisés payants, contre 43 % pour le modèle généraliste de comparaison — concernant des outils américains et le droit anglo-saxon. Ils réduisent l'erreur ; ils ne l'éliminent pas. Il n'existe pas de mesure équivalente avec une méthodologie ouverte pour le marché espagnol.

Que doit inclure un benchmark sérieux d'une IA juridique ?

Ce qui a été mesuré, comment cela a été mesuré, avec combien de cas, de quels types, et où l'outil échoue. Un pourcentage rond sans méthodologie publiée n'est pas un benchmark : c'est du marketing avec des décimales. Si le fournisseur ne peut pas montrer la méthodologie, la réponse honnête est qu'il ne l'a pas.

Combien coûte une IA juridique sérieuse ?

Les références du marché changent, mais il y a un chiffre d'une valeur particulière : lors du calcul d'une sanction pour citations inventées, le TSJ des Canaries a pris comme référence des outils avec des « plans à partir de 70 euros par mois » (ordonnance de février 2026). Plus utile que le prix absolu est la comparaison : combien coûte l'alternative en heures de vérification manuelle — ou le jour où la vérification n'est pas faite.

Que dois-je demander concernant mes données avant de contracter ?

Quatre choses, par contrat et non verbalement : où elles sont traitées (juridiction), si elles sont utilisées pour l'entraînement (et comment s'en exclure), qui peut y accéder, et comment et quand elles sont supprimées — y compris l'exportation si vous décidez de partir. La facilité de sortie est la meilleure mesure de la confiance du fournisseur en son propre produit.

Sources de cet article

• Magesh et al., Journal of Empirical Legal Studies (Stanford, 2025).
• Note officielle du Pouvoir judiciaire (ordonnance du TSJ de Canarias).
• De cette série : les 48 jugements qui n'existaient pas et IA et secret professionnel.

Sources vérifiées le 6-juil-2026. Sur ce blog, la foi n'est pas demandée : la source est liée.

Toutes les deux semaines, je publie une analyse comme celle-ci dans la newsletter PYME Digital PRO : digitalisation des cabinets, des agences et des PME professionnelles, sans fioritures. Abonnez-vous sur LinkedIn.