« L’IA doit proposer des réponses sur nos référentiels de contrôle interne, mais aussi des bonnes pratiques »

Le groupe Saint-Gobain s’est tourné très tôt vers l’intelligence artificielle et vient de développer un chatbot permettant de mieux connaître les référentiels de contrôle interne. Romuald Laloue, Directeur du contrôle interne et de la gestion des risques du groupe, dresse un premier bilan de la mise en place de cet outil et des retours des utilisateurs.

Quand avez-vous commencé à vous intéresser à l’intelligence artificielle chez Saint-Gobain, et avec quel objectif ?

Romuald Laloue : Il y a eu très tôt une réflexion au sein du groupe pour savoir dans quelle mesure l’intelligence artificielle pourrait être utile à différentes fonctions. En 2017, nous avons ainsi commencé à réfléchir à la revue des notes de frais, parce que la volumétrie chez Saint-Gobain est significative, avec 170 000 collaborateurs. Beaucoup de frais sont traités dans les différentes régions dans lesquelles le groupe est implanté, et nous avions envisagé à un moment de mettre en place de l'intelligence artificielle pour mieux les contrôler et détecter les anomalies. Nous avons fait des tests mais ne sommes pas allés plus avant, nos fournisseurs ayant développé leurs propres solutions d'intelligence artificielle dans ce domaine. .

Cette première expérience nous a incité à nous intéresser un peu plus à l’intelligence artificielle au niveau de la direction de l’audit, du risque et du contrôle interne. Nous avons en effet cette spécificité chez Saint-Gobain d'avoir réuni les 3 fonctions dans une même direction. Et nous avons toujours en tête le triple objectif de mieux nous prémunir contre les risques auxquels Saint-Gobain peut être exposé, de définir des référentiels de contrôle interne qui viennent proposer des solutions face à ces risques, et enfin que l'audit vienne s'assurer que ces référentiels sont bien appliqués et donc que les risques sont bien traités.

Quelle a été l’étape suivante ?

R.L. : Dans ce cadre, avoir une application d'intelligence artificielle pour notre département nous a semblé intéressant. Nous avons lancé un nouveau projet cette année, plus en lien avec le contrôle interne, avec l’idée de mettre en place un robot qu'on appelle chatbot et qui a pour vocation de permettre à l'ensemble des salariés du groupe de mieux connaître les référentiels de contrôle interne. Ce qui est toujours une gageure dans un groupe présent dans 75 pays, avec 170 000 collaborateurs qui ont tous un degré différent de compréhension de nos exigences en la matière. Le but de ce chatbot est de pouvoir offrir un contenu intelligible par tous et de fournir des références claires et précises. Et ce, dans la langue de l'utilisateur.

« Utiliser également le chatbot pour assister les auditeurs dans leurs travaux »

Avec une utilité également pour les auditeurs internes ?

R.L. : L'intérêt est évidemment aussi de permettre à nos auditeurs d’accéder aux connaissances liées au contrôle interne, parce que nous avons, comme tous les services d'audit, une forte rotation de nos équipes, avec 30% de nouveaux entrants tous les ans. Nous avons donc besoin que nos recrues s'approprient les contenus de contrôle interne puisque c'est la base de leur travail.

Nous avons aussi en tête d'utiliser le chatbot pour assister les auditeurs dans leurs travaux d'audit, ce qui sera un autre développement, et ainsi de faciliter la réalisation d'un certain nombre de tests d'audit. Par exemple, si nous avons prévu l'audit d'une société, l'un des objectifs de l'auditeur va être de s'assurer que ses politiques et procédures sont conformes aux instructions de notre groupe. Notre objectif est que le chatbot absorbe toutes les politiques et procédures de la société et les compare à nos référentiels de contrôle interne, en soulignant les points de divergence. C’est un gain de temps énorme, parce qu’au lieu de faire la comparaison entre des documents de manière manuelle, dans une langue peut-être mal maîtrisée, l’auditeur va avoir directement accès à un résultat pertinent.

Quelles ont été les options et solutions que vous avez choisies ?

R.L. : Nous avons développé ce chatbot avec nos équipes internes de Saint-Gobain, dans un environnement de travail sécurisé Azure, afin que l'information générée ne soit pas transmissible à l'extérieur du groupe. Et, si nous l’avons développée en interne, nous nous sommes appuyés sur la solution Chat GPT, version 3.5. Nous avons monté en septembre dernier ce que l'on appelle un hackathon, une forme d'atelier très intense sur 2 jours, pendant lesquels se sont réunis les équipes de notre direction audit, risque et contrôle interne, celles du digital de Saint Gobain et des data scientists de Microsoft. Ce qui a permis d’élaborer en 48 heures une première version de ce chatbot.

Nous l’avons testée au sein de notre direction contrôle interne pendant quelques jours avant de décider, en novembre, de le proposer à l'ensemble de nos auditeurs, donc une soixantaine de personnes, et également à nos 130 correspondants contrôle interne, qui sont en fait nos relais dans les différents pays. Le but de ce premier partage à une communauté restreinte était de créer de l'appétence d'une part, et deuxièmement d’obtenir leur avis, parce que nous savions qu'il y aurait des réponses plus au moins correctes au regard des questions posées. Pour nous, il est évidemment très important d’avoir le retour des utilisateurs.

Vous avez déjà eu des retours d’expérience avec ce premier chatbot ?

R.L. : Nous demandons aux utilisateurs de nous envoyer leurs feedbacks au fil de l'eau, et le premier bilan est encourageant. Dans le sens où, globalement, le chatbot donne des réponses qui sont recevables du point de vue du contrôle interne et qui sont en ligne avec notre référentiel de contrôle interne. Ce qui confirme pour nous l'intérêt de l'outil pour faciliter l'apprentissage de nos collaborateurs et familiariser des populations plus larges au contrôle interne. Il s’agit d’un outil qui peut probablement apporter des solutions à des problèmes rencontrés et permettre de traiter des points techniques en lien avec le contrôle interne sans avoir à contacter quelqu'un, de manière tout à fait autonome, depuis son bureau.

Après, toutes les réponses ne sont pas bonnes et diffèrent parfois de ce qui est écrit dans notre référentiel de contrôle interne. L'intelligence artificielle interprète parfois mal les questions.

« Il faut éduquer nos collaborateurs à l'utilisation et la formulation des requêtes »

Il est nécessaire d’apprendre aux utilisateurs à formuler les requêtes d’une certaine façon ?

R.L. : Il faut effectivement éduquer nos collaborateurs à l'utilisation de ce type d'outils. La formulation des questions ou des requêtes – ce que l’on appelle les prompts – est un point clé. Plus la requête sera précise et plus la réponse apportée sera de qualité et pertinente. Nous allons mettre en place des webinaires et produire des vidéos pour montrer comment on peut utiliser l'outil de la manière la plus efficace possible.

Quelle sera la prochaine étape ?

R.L. : Nous travaillons actuellement sur une 2ème version améliorée du chatbot avec nos équipes informatiques, qui devrait être livrée à l'ensemble du groupe au premier trimestre 2024. L'objectif de cette nouvelle version est d’aller plus loin et d'augmenter la base de données à intégrer au chatbot. Et notamment de permettre non seulement de proposer des réponses sur la base de nos référentiels de contrôle interne, mais aussi des bonnes pratiques. Nous avons une bibliothèque qui est constituée de 230 bonnes pratiques. Des solutions concrètes pour nos utilisateurs face à une question posée ou un problème rencontré. Le but n’est pas seulement d'expliquer la règle, mais aussi de proposer des outils pour la mettre en œuvre de manière adaptée au contexte de l’entreprise ou de l'utilisateur qui pose la question.

Nous allons aussi proposer de nouvelles fonctionnalités, comme l'ajout d'un bouton qui permettra à l'utilisateur de qualifier la qualité de la réponse apportée par le chatbot. Ce qui est vraiment essentiel parce que c'est la logique du machine learning. On doit dire au chatbot si sa réponse était correcte ou non pour qu'il apprenne de ses erreurs et qu'il puisse à la prochaine occurrence proposer une réponse plus pertinente.

Nous allons aussi étudier la possibilité et l’intérêt de passer sur une version plus récente de chat GPT, en l'occurrence la version 4, qui développe plus de fonctionnalités et de puissance.