En février 2023 déjà, le cabinet d’avocats international Allen & Overy a donné accès à ses avocats à un chatbot IA pour les aider à rédiger des contrats. Presque immédiatement, ce système d’IA a commencé à faire gagner aux 3 500 avocats de l’entreprise environ 2 heures par semaine. Plus tard dans l’année, la société a annoncé un système d’IA capable de négocier des contrats, permettant d’économiser jusqu’à sept heures par négociation.
Mais ce qui est moins clair, c’est l’importance réelle de ces économies. En particulier, comment le travail d’un Large Language Model se compare-t-il au travail d’un jeune avocat dans des tâches standard telles que la rédaction ou la révision d’un contrat.
IA contre humains
Nous obtenons désormais une sorte de réponse grâce au travail de Lauren Martin et de ses collègues du centre d’excellence en IA de la société de technologie juridique Onit. Martin et ses collègues ont directement comparé le travail des jeunes avocats avec les grands modèles linguistiques et affirment que les machines surpassent considérablement leurs homologues humains. « Les grands modèles linguistiques sont sur le point de perturber le secteur juridique, en améliorant l’accessibilité et l’efficacité des services juridiques », déclarent Martin et co.
L’équipe arrive à cette conclusion en demandant à des avocats chevronnés de souligner des questions juridiques importantes dans un ensemble de contrats d’approvisionnement réels, puis en demandant aux Large Language Models et à des avocats débutants d’évaluer les mêmes contrats.
Les résultats ont été révélateurs. Les grands modèles linguistiques comme Claude et GPT-4 égalaient, voire dépassaient la précision humaine dans l’identification des questions juridiques. Lorsqu’elle identifie les parties spécifiques des contrats liées à ces questions, l’IA est légèrement en retard par rapport aux humains.
Mais en termes de vitesse, le contraste était stupéfiant. Le modèle de langage large le plus rapide a effectué les révisions de contrats en moins d’une minute, tandis que les jeunes avocats ont mis en moyenne 56 minutes.
Martin et ses collègues disent que cela n’inclut pas les 16 heures environ nécessaires à la formation d’un système d’IA. Mais ils soulignent que ce temps est à peu près égal au temps nécessaire pour charger un jeune avocat d’accomplir la même tâche. « Cette équivalence en termes de temps de préparation remet en question l’idée selon laquelle l’avantage de vitesse des grands modèles linguistiques est compensé par leurs exigences de configuration », déclarent Martin et co.
Et les économies potentielles étaient tout aussi immenses. « Alors qu’un jeune avocat engage un coût moyen de 74 dollars par révision de contrat, le modèle de langage large le plus rapide a effectué la même tâche pour environ 2 cents », disent-ils.
Procéder avec prudence
« Les implications sur le secteur juridique sont profondes et multiformes », affirment les chercheurs, les jeunes avocats étant susceptibles de se voir confier un travail de plus grande valeur plus tôt dans leur carrière, les tâches de routine étant plus susceptibles d’être confiées à des systèmes d’IA.
Mais tout n’est pas rose. L’analyse prévient que l’IA reste en deçà des humains dans une compréhension juridique nuancée. Les modèles peuvent également « halluciner » en soulevant des problèmes inexistants dans les contrats. La supervision par des avocats expérimentés reste donc cruciale.
Il reste encore beaucoup de travail à faire pour évaluer les grands modèles linguistiques dans davantage de juridictions et dans davantage de types de contrats. Mais la recherche révèle clairement la viabilité de l’IA pour les tâches juridiques essentielles. La loi évolue rapidement, comme le montrent déjà Allen & Overy. Cette recherche, financée par le cabinet de technologie juridique Onit, donne des chiffres supplémentaires à ce sujet. L’ère des robots avocats est clairement arrivée.
Réf : Better Call GPT, comparaison des grands modèles linguistiques avec les avocats : https://arxiv.org/abs/2401.16212
Cet article a été préparé avec l’aide de Claude.AI
