Lexior Bench : Une Nouvelle Initiative pour l’Évaluation des Modèles de Langage en Droit Québécois

Introduction : pourquoi un benchmark québécois est nécessaire

L’intelligence artificielle progresse rapidement, y compris dans le domaine juridique.
Les grands modèles de langage (LLMs) sont désormais capables de traiter des tâches complexes, mais leur efficacité dépend fortement du contexte dans lequel ils sont utilisés.

Or, le droit québécois a ses particularités :

• Un système de droit civil, différent de la common law nord-américaine.
• Une langue principale : le français, avec ses nuances juridiques propres.
• Une culture juridique distincte, enracinée dans ses lois, sa jurisprudence et sa doctrine.

Lexior Bench répond à ces spécificités en proposant un outil d’évaluation sur mesure pour tester les LLMs dans des situations représentatives du droit québécois.

1. S’inspirer d’un modèle éprouvé : LEGALBENCH

Lexior Bench s’inspire du projet LEGALBENCH, développé pour le droit américain.
LEGALBENCH évalue les LLMs à travers 162 tâches variées, réparties en six grands types de raisonnement juridique, allant de l’identification d’un problème à l’interprétation des règles.

Ses points forts :

• Une approche collaborative entre juristes et experts en IA.
• Des tâches pratiquement utiles, pas seulement théoriques.
• Des analyses comparatives de modèles populaires comme GPT.

Lexior Bench adopte cette philosophie, mais l’adapte à la réalité linguistique, culturelle et juridique du Québec.

2. Ce que propose Lexior Bench

Lexior Bench sera conçu avec et pour les professionnels du droit québécois.
Il comprendra :

• Des tâches ciblant le droit civil (obligations, contrats, responsabilité civile).
• Des scénarios en droit public (droit administratif, droit constitutionnel).
• Une évaluation basée sur six types de raisonnement juridique :
  1. Identification des problèmes.
  2. Rappel des règles.
  3. Application des règles.
  4. Conclusion des règles.
  5. Interprétation.
  6. Compréhension rhétorique.

Chaque tâche sera conçue pour refléter des cas réels, permettant de mesurer la performance des modèles dans des conditions proches de la pratique quotidienne.

3. Stratégies et innovation

Lexior Bench ne se contente pas de tester les LLMs.
Il explorera aussi des stratégies d’ingénierie des prompts, afin de déterminer comment formuler les questions et contextes pour améliorer la qualité des réponses.

Les résultats permettront :

• d’identifier les forces et limites des modèles,
• d’orienter leur adaptation au droit québécois,
• et de fournir aux praticiens des recommandations concrètes pour un usage sûr et efficace.

4. Collaboration interdisciplinaire

L’un des piliers du projet est la coopération entre juristes et experts en IA.
Les avocats, notaires, professeurs de droit et chercheurs seront impliqués dans la conception des tâches, garantissant que le benchmark reste pertinent, réaliste et directement exploitable par la profession.

5. Perspectives et avenir

Lexior Bench n’en est qu’à ses débuts, mais ses objectifs sont clairs :

• Améliorer la performance des IA juridiques au Québec.
• Fournir un outil de référence pour les chercheurs et praticiens.
• Favoriser l’adoption responsable de l’IA dans la pratique juridique.

À terme, le benchmark pourra être enrichi de nouvelles tâches, affiné grâce aux retours d’expérience, et servir de cadre de référence officiel pour évaluer les IA dans le droit québécois.

Un pas vers une IA juridique fiable et locale

En adaptant les méthodes d’évaluation à la réalité du Québec, Lexior Bench crée les conditions pour une IA juridique fiable, pertinente et culturellement ancrée.
C’est un outil stratégique pour accompagner la profession vers une intégration raisonnée et contrôlée de l’intelligence artificielle dans le monde du droit.