Voici le deuxième volet de notre série sur l’intégration de l’IA en entreprise. Le premier expliquait par quelles tâches commencer et comment estimer le gain avant tout développement. Place à l’étape suivante : mener un projet pilote IA sur une seule tâche, et s’appuyer sur ses résultats pour décider honnêtement s’il faut déployer la solution, la retravailler ou l’arrêter.
On confond souvent pilote et démo : on montre le modèle sur une dizaine d’exemples triés sur le volet, tout le monde est bluffé, et un mois plus tard personne n’utilise l’outil. Un pilote est une expérience qui doit répondre à une question : la solution fonctionne-t-elle sur vos données, dans votre processus, avec vos équipes ? Voici comment l’organiser pour obtenir une réponse sans ambiguïté.
POC, pilote, produit : ne pas tout mélanger
Une preuve de concept (POC) répond à une question technique : le modèle sait-il seulement traiter la tâche ? Elle tourne sur un export de données, sans intégrations ni utilisateurs. Le pilote va plus loin : la solution travaille sur un flux de données réel, de vrais collaborateurs l’utilisent, et les résultats sont comparés à la façon dont le processus fonctionnait avant.
Le produit, lui, est un outil en service pour tous, avec support, supervision et un responsable clairement identifié. Sauter le pilote pour passer directement au produit, c’est dépenser l’essentiel du budget avant de savoir s’il y a un bénéfice.
Comment choisir la tâche d’un pilote IA
La tâche doit être assez importante pour que quelqu’un tienne au résultat, et assez étroite pour être testée en peu de temps. Un bon candidat remplit la plupart de ces critères :
- l’opération est fréquente et son volume se compte ;
- la tâche a une entrée et une sortie claires : e-mail → service, document → champs clés, question → réponse fondée sur une procédure interne ;
- une erreur du modèle se repère et se corrige facilement avant d’atteindre un client ;
- il existe un historique ou des exemples avec les bonnes réponses ;
- le processus a un responsable qui a besoin du résultat et accepte de libérer du temps d’équipe pour l’évaluation.
Si la tâche suppose que l’IA agisse seule dans plusieurs systèmes (créer des affaires, envoyer des e-mails, changer des statuts), resserrez-la pour le pilote. D’abord, le modèle propose une action et une personne la valide. L’autonomie viendra plus tard, une fois la qualité mesurée.
L’indicateur de réussite et la situation de départ
L’évaluation d’un projet IA commence avant le projet. Il faut se mettre d’accord sur trois choses : ce que l’on mesure, la valeur actuelle et la valeur qui vaudra succès.
- Indicateur de qualité. Précision de classification, part de réponses utilisées sans retouche, part de champs correctement extraits.
- Indicateur de processus. Temps par opération, délai de première réponse au client, nombre d’opérations par collaborateur.
- Seuils. La valeur à partir de laquelle on déploie et celle en dessous de laquelle on arrête. Entre les deux, la zone de retravail.
La situation de départ se mesure sur le processus actuel : combien de temps il prend, combien d’erreurs sont commises aujourd’hui, quel volume passe chaque mois. Sans cette mesure, aucun chiffre obtenu après le pilote n’a de point de comparaison.
Si le seuil de réussite n’est pas écrit avant le démarrage, il sera ajusté au résultat après coup.
Consignez les seuils dans un document et faites-les valider par le responsable du processus. Si le seuil de réussite n’est pas écrit d’emblée, il est tentant de le plier au résultat une fois le pilote terminé, et la discussion tourne aux impressions : les uns trouvent que c’est mieux, les autres que le modèle se trompe trop.
Données et accès : ce qu’il faut préparer
La plupart des retards de pilote n’ont rien à voir avec le modèle. Ils viennent de données éparpillées auxquelles personne n’a accès. Passez cette liste en revue à l’avance :
- un jeu de test : quelques centaines d’exemples réels avec les réponses de référence, pour comparer les versions de la solution ;
- une base de connaissances à jour, si le modèle répond à partir de documents et de procédures ;
- l’accès aux systèmes d’où viennent les données (messagerie, CRM, ERP, GED), au moins en lecture ;
- une vision claire de la présence de données personnelles ou d’informations confidentielles ;
- un interlocuteur métier qui répond aux questions sur les données et les cas limites.
Si la tâche porte sur des rapports et des questions sur des tableaux, vérifiez à part le soin avec lequel les champs sont remplis et la cohérence des données entre systèmes. Le modèle ne corrigera pas les incohérences : il les reproduira.
API cloud ou modèle maison pendant le pilote
Pour un pilote, on choisit en général le chemin le plus court vers la mesure de la qualité : un modèle cloud du marché via API. Pas besoin de matériel, et l’on peut comparer plusieurs modèles sur le jeu de test en peu de temps.
Il y a une limite, et elle est sérieuse : les données. Si les requêtes contiennent des noms, téléphones ou adresses de clients ou de collaborateurs, le RGPD s’applique, notamment ses règles sur le lieu de traitement des données personnelles et leur transfert hors de l’Union européenne. Les options pour le pilote :
- anonymiser les données avant de les envoyer au modèle et réinjecter les informations après la réponse ;
- utiliser des modèles cloud qui traitent les données en Europe et dans des conditions conformes à vos exigences ;
- déployer dès le départ un modèle open source (Llama, Mistral) dans votre propre infrastructure si les données ne doivent pas en sortir du tout.
Le choix fait pour le pilote n’a pas à être définitif. L’essentiel est que le jeu de test et les indicateurs ne dépendent pas du modèle : si vous en changez, vous pourrez comparer la qualité sur les mêmes exemples.
Le pilote, étape par étape
Le travail suit une séquence claire. Chaque étape se termine par un résultat vérifiable, pas par un compte rendu « travaux en cours ».
- Un prototype sur des modèles du marché. Des consignes pour le modèle, une recherche dans la base de connaissances, une interface simple ou une intégration dans un outil que les équipes utilisent déjà. Pas d’entraînement de modèle sur mesure à ce stade.
- Un passage sur le jeu de test. Le prototype traite des centaines d’exemples réels, et les résultats sont comparés aux réponses de référence. On voit le plafond de qualité réaliste et les types de cas où le modèle échoue.
- Un test sur données réelles. La solution est branchée sur les vraies données, mais en mode assistance : le modèle propose, un collaborateur valide ou corrige. Les clients ne voient jamais les erreurs du modèle.
- La collecte des erreurs et corrections. Chaque correction d’un collaborateur est enregistrée. C’est la meilleure matière pour améliorer les consignes et enrichir le jeu de test.
- Le bilan avec les équipes. De courts entretiens avec les utilisateurs : où l’outil a aidé, où il a gêné, combien de temps prenait la vérification. Les chiffres disent la qualité, les entretiens disent l’utilisabilité.
- La comparaison avec la situation de départ. Les indicateurs du pilote sont comparés à la mesure initiale et aux seuils fixés au début.
Le bilan avec les équipes s’avère souvent décisif. Un modèle peut être assez précis, mais si vérifier sa réponse prend autant de temps que faire le travail à la main, le processus n’y gagne rien.
Déployer, retravailler ou arrêter
Après le pilote, la décision repose sur les seuils fixés à l’avance et sur les retours des utilisateurs. Les trois issues ressemblent à ceci :
- Déployer. L’indicateur dépasse le seuil de réussite sur le jeu de test comme sur les données réelles, les équipes sont prêtes à utiliser l’outil, et le gain attendu est confirmé par les chiffres.
- Retravailler. L’indicateur est dans la zone intermédiaire, et les erreurs se concentrent sur des cas identifiables : documents absents de la base de connaissances, catégories mal découpées, source de données manquante. Le retravail est borné dans le temps, puis mesuré à nouveau.
- Arrêter. La qualité est sous le seuil bas et aucun retravail ne peut en corriger les causes, ou le temps gagné est absorbé par la vérification. C’est aussi un résultat : l’entreprise l’a appris pendant le pilote, et non après un développement complet.
Industrialiser l’IA : ce qui change en production
Un pilote réussi n’est pas encore un outil en service. Pendant le pilote, la solution sert un groupe d’utilisateurs, sous l’œil attentif de l’équipe. En production, elle devient une pièce d’un processus dont dépendent des délais et des clients.
| Pilote | Production | |
|---|---|---|
| Utilisateurs | Un groupe qui sait que c’est une expérience | Tout le processus |
| Intégrations | Minimales, une partie des données à la main | Complètes : CRM, messagerie, ERP, droits d’accès |
| Contrôle qualité | L’équipe analyse les erreurs à la main | Suivi continu des indicateurs et contrôles par sondage |
| Erreurs et pannes | Acceptables, elles font partie de l’expérience | Un scénario de repli et un responsable identifié |
| Données et connaissances | Un instantané figé pendant le pilote | Mises à jour régulières de la base |
Intégrations
La solution s’intègre aux outils où les équipes travaillent déjà : CRM, messagerie, ERP, Slack ou Teams. Un portail à part, qu’il faut penser à ouvrir, se vide vite. Sur le fond, c’est du développement de service web classique : API, droits d’accès, journalisation, montée en charge.
Suivi de la qualité
Les produits, les prix et les procédures changent, le fournisseur sort une nouvelle version du modèle, et la qualité baisse sans bruit. Les indicateurs du pilote doivent continuer à tourner en production : passages réguliers sur le jeu de test, part de réponses corrigées par les collaborateurs, contrôles manuels par sondage. Et une personne nommément désignée doit surveiller ces chiffres.
Formation des équipes
Les utilisateurs doivent comprendre ce que la solution sait faire ou non, quand une réponse est fiable et quand il faut la vérifier, et où signaler les erreurs. Sans cela, certains accepteront aveuglément les réponses du modèle et d’autres éviteront l’outil.
Si le pilote a tourné sur un modèle cloud et que les données de production ne peuvent pas quitter l’entreprise, c’est à ce stade que se décide l’hébergement : un modèle maison dans l’infrastructure de l’entreprise ou un fournisseur cloud conforme à vos exigences. Le jeu de test constitué pendant le pilote permet de comparer les options sur la qualité réelle.
Chez Sphere, agence digitale à Paris, nous menons ces projets selon les mêmes étapes que n’importe quel produit numérique : analyse des processus et des données, conception, développement et tests, lancement et amélioration continue. Comme toute agence de développement, nous jugeons un projet sur ses résultats : vous en trouverez des exemples parmi les projets de Sphere.
Questions fréquentes
Quelle différence entre un pilote IA et une preuve de concept ?
La preuve de concept (POC) vérifie si le modèle sait traiter la tâche, sur un export de données et sans utilisateurs. Le pilote teste la solution dans un vrai processus : sur des données réelles, avec les collaborateurs, et avec des indicateurs comparés au fonctionnement d’avant.
Comment savoir si le pilote est réussi ?
Grâce aux seuils fixés avant le démarrage : l’indicateur de qualité sur le jeu de test et sur les données réelles, le temps gagné par rapport à la situation de départ, et les retours des collaborateurs qui ont utilisé la solution. Si les seuils n’ont pas été écrits à l’avance, la réussite devient une affaire d’opinion.
Faut-il entraîner notre propre modèle pour le pilote ?
En général, non. Les pilotes tournent sur des modèles du marché, avec des consignes et une recherche dans la base de connaissances, ce qui suffit pour voir quel niveau de qualité est réaliste. Le fine-tuning se discute plus tard, si les modèles du marché restent sous le seuil sur le jeu de test.
Et si le pilote ne donne rien ?
Cherchez pourquoi : pas assez de données, une tâche formulée trop largement, ou une vérification des réponses aussi longue que le travail manuel. Parfois il vaut mieux resserrer la tâche et réessayer, parfois arrêter. Un pilote arrêté est un résultat normal : il épargne le budget d’un développement complet.
Une agence de développement peut-elle mener le pilote si nous n’avons pas d’équipe IA en interne ?
Oui. Côté entreprise, il faut un responsable du processus, l’accès aux données et du temps des collaborateurs pour évaluer les résultats. L’agence de développement prend en charge l’analyse du processus, le prototype, les intégrations et la mesure, puis, si le pilote est concluant, le passage en production.




