Des piles de formulaires papier sur une longue table, reliés par des câbles à un boîtier bleu

Automatiser la collecte de données pour un système d’information public : étude de cas

Le portfolio de Sphere compte un projet mené pour un client public : l’automatisation de l’alimentation en données du système d’information d’une administration. L’enjeu n’est pas de bâtir un système de zéro, mais de faire en sorte que l’information y arrive toute seule, sans saisie manuelle, sans pièces jointes envoyées par e-mail et sans tableaux recopiés à la main.

Dans cette étude de cas, nous détaillons ce que recouvre l’automatisation de la collecte de données pour un système public, les décisions à prendre et notre façon de mener ces projets, étape par étape. Par accord avec le client, nous ne dévoilons ni le détail du projet ni son identité : nous parlons donc de ce type de mission en termes généraux.

Automatiser l’alimentation en données : de quoi parle-t-on ?

Dans beaucoup d’organisations, les données arrivent dans le système d’information ainsi : une source exporte un tableau et l’envoie par e-mail, un agent ouvre le fichier, le vérifie et recopie les valeurs à la main. Cela tient tant que les sources sont peu nombreuses et les envois espacés.

Quand les sources se multiplient et que les mises à jour doivent être régulières, le processus manuel craque. Les fautes de frappe s’accumulent, des fichiers se perdent, plusieurs versions d’un même tableau circulent, et tout s’arrête pendant les congés ou les arrêts maladie. Personne ne sait dire rapidement d’où vient une valeur ni quand elle a été mise à jour.

Les signes qu’il est temps d’automatiser la collecte :

L’automatisation des échanges supprime les étapes manuelles de cette chaîne. Les données arrivent par un canal convenu, sont contrôlées puis chargées, et les agents ne traitent plus que les exceptions : les enregistrements rejetés par les contrôles ou ceux qui demandent une décision humaine.

Sources de données et canaux d’échange

Première tâche : dresser la cartographie des sources. Pour chacune, on note les informations transmises, le format, la fréquence, le responsable et les capacités techniques. C’est ce qui détermine le canal de réception.

Quand c’est adaptéPoints d’attention
APILa source dispose d’une interface programmatique, ou peut en avoir uneAuthentification, limites d’appels, versions d’API
Échange de fichiersLa source sait exporter ses données à intervalles réguliersUn format unique, contrôle de complétude des exports
Formulaire de saisieLes données sont saisies par des personnes, pas par des systèmesContrôle des champs, référentiels, interface claire
Dépôt manuel de fichierLa source est occasionnelle ou temporaireUn modèle de fichier et un contrôle au dépôt

Un même projet combine souvent plusieurs canaux : les grosses sources passent par API, les plus petites envoient des fichiers ou remplissent des formulaires. L’important est qu’une fois reçues, toutes les données suivent le même circuit de contrôle et de chargement.

Qualité des données : contrôler avant de charger

Un chargement automatique sans contrôle est plus dangereux qu’une saisie manuelle : l’erreur d’une source atterrit instantanément dans le système, et personne ne s’en aperçoit. D’où une couche de contrôle entre la réception et le chargement :

Les enregistrements rejetés ne sont pas perdus. Ils rejoignent une liste à part avec un motif de rejet explicite, et la source ou l’opérateur est notifié. Les erreurs se corrigent ainsi là où elles sont nées, au lieu d’être rafistolées à la main dans le système.

Une collecte automatisée ne vaut que la confiance qu’on peut accorder aux données qu’elle charge.

Fiabilité des échanges : que se passe-t-il en cas de panne ?

Une source peut être indisponible, un fichier arriver incomplet, le réseau tomber en plein transfert. Le système d’échange doit encaisser ces incidents sans perdre de données et sans intervention d’un développeur.

Le journal des opérations répond à « d’où vient cette valeur ? » en une minute, au lieu d’une journée d’échanges d’e-mails. Pour le système d’une administration, dont les données alimentent des rapports et des décisions, c’est primordial.

Une interface métier pour traiter les exceptions

Même avec une automatisation complète, les agents ont besoin d’un écran de travail : voir ce qui est arrivé, traiter les erreurs, trancher là où les règles ne suffisent pas. Sans cet écran, ils reviennent vite aux tableaux tenus en parallèle.

Ce qu’il faut généralement sur cet écran :

Si une partie de l’information arrive sous forme de scans et de documents plutôt que de tableaux, une étape de reconnaissance peut s’ajouter. Le résultat passe par les mêmes contrôles et remonte à un agent au moindre doute.

Intégration avec un système d’information public : où prévoir du temps

Le développement logiciel pour le secteur public se distingue moins par la technologie que par les exigences. Les systèmes d’information publics sont soumis à des exigences de sécurité, et au RGPD dès qu’ils traitent des données personnelles. L’ensemble précis des mesures est fixé par le client public et ses équipes sécurité.

Pour l’équipe de développement, cela se traduit par quelques règles concrètes :

Notre approche de l’automatisation des échanges

Sphere est une agence de développement à Paris : nous concevons des sites, des applications mobiles et des applications web, y compris l’intégration entre systèmes. Un projet d’automatisation de la collecte se découpe chez nous en étapes :

  1. Analyse et étude des processus. Nous cartographions les sources et le processus actuel : qui envoie quoi et comment, où se perd le temps, où naissent les erreurs. Nous étudions le système destinataire, ses formats, ses référentiels et ses contraintes.
  2. Cahier des charges et architecture. Pour chaque source, nous choisissons un canal d’échange et décrivons formats, règles de contrôle, gestion des erreurs, rôles et exigences de sécurité.
  3. Conception des écrans métier. Nous concevons l’interface des agents : suivi des chargements, traitement des exceptions, historique des enregistrements. Nous testons les parcours avec ceux qui s’en serviront chaque jour.
  4. Développement et recette. Nous développons les connexions aux sources, les contrôles, le chargement et la journalisation. Nous faisons tourner l’échange sur une copie de données réelles et testons pannes et rechargements.
  5. Mise en service et évolution. Nous connectons les sources par étapes, en parallèle de l’ancien processus jusqu’à ce que les données concordent. Puis nous supprimons les étapes manuelles et branchons les nouvelles sources au fil de l’eau.

La même approche vaut pour les projets privés : synchroniser un site avec un logiciel de gestion, échanger des données entre un CRM et un entrepôt, consolider les reportings des agences d’un réseau. D’autres projets de ce type figurent dans le portfolio de Sphere.

Questions fréquentes

Qu’est-ce que l’automatisation de la collecte de données pour un système d’information ?

Elle remplace la saisie manuelle, les e-mails et les tableaux transférés de main en main par une réception automatique des informations depuis les sources : via API, échange de fichiers planifié ou formulaires de saisie. Au passage, les données sont contrôlées, normalisées et chargées dans le système, avec un journal qui indique ce qui est arrivé, quand et d’où.

Que faire si une source de données n’a pas d’API ?

Il existe des solutions éprouvées : un échange de fichiers régulier dans un format convenu, des exports planifiés depuis la base de la source, ou un formulaire web ou un modèle de fichier pour ceux qui transmettent les données à la main. Parfois, on développe une API côté source. Le choix dépend du volume, de la fréquence de mise à jour et du responsable de la source.

Comment éviter qu’un chargement automatique corrompe les données du système ?

Chaque enregistrement est contrôlé avant chargement : format, champs obligatoires, cohérence avec les référentiels, doublons. Les enregistrements invalides n’entrent pas dans le système ; ils rejoignent une liste à part avec le motif du rejet. Toutes les opérations sont journalisées, et tout chargement peut être rejoué ou annulé. Avant la mise en service, l’échange est testé sur une copie de données réelles.

En quoi l’intégration avec un système public diffère-t-elle d’un projet privé ?

Sur le plan technique, les principes sont les mêmes : canaux d’échange, contrôle des données, journalisation. Ce sont les exigences qui changent : le format d’échange est généralement imposé par le destinataire, les exigences de sécurité et de documentation sont plus strictes, et les évolutions passent par des validations. Intégrez-le au planning dès le départ.

Une agence digitale peut-elle développer des logiciels pour le secteur public ?

Oui, si l’équipe est prête à composer avec les exigences de sécurité, les circuits de validation et la documentation d’un client public. Le portfolio de Sphere, agence digitale à Paris, compte des projets pour des clients publics, et nous réalisons aussi des intégrations et des automatisations d’échanges de données pour les entreprises.

Parlons de votre projet
À lire aussi