Ce projet fait suite à plus de 10 années d'édition de l'"Industrie au Regard de l'Environnement" en Nord-Pas-de-Calais. La fusion des régions, en bousculant les périmètres administratifs, est venue perturber sa production : données historiques, retraitements des anomalies, modèles de cartes, de documents, etc.. Tout était à refaire !

Dès le début des travaux, l'idée d'asseoir la production de l'IRE sur une base de données s'est imposée comme une évidence : le traitement des données (s'appuyant jusque là sur de simples tableurs) et surtout, la reprise des livrables à chaque correction d'anomalie était hautement chronophage. L'idée était donc de disposer d'un outil qui puisse :

• intégrer facilement en entrée les jeux de données actualisés ;
• bancariser les retraitements ;
• être reproductible (c'est à dire actualisable dès modification de la source de données).

Après quelques premiers travaux sur Microsoft Access, le choix s'est porté sur le langage Python et la production d'un rapport au format LaTeX.

Aujourd'hui, le logiciel produit permet de produire des rapports à une maille territoriale paramétrable (de la commune à la France entière) au format PDF et plusieurs livrables dynamiques au format web.

Le coeur du logiciel est codé en Python 3.6 et s'appuie sur une base de données SQLite ; il est doté d'une interface Qt (s'appuyant sur le module python PyQt5) qui permet l'utilisation du logiciel sans compétence numérique particulière. Plus d'une dizaine de jeux de données sont injectés en entrée (IGN, INSEE, La Poste, DREAL, DDT, ONEMA) et permettent le traitement des données, leur retraitement éventuel et la production des livrables.

La qualité graphique des livrables PDF (rendue possible par LaTeX et son package Tikz) est au rendez-vous (elle n'a du reste rien à envier à un traitement par logiciel de Publication Assistée par Ordinateur).

Cette expérience a permis de valider le concept d'un pilotage semi-automatisé pour des productions pérennes, quelle que soit leur complexité. La mise en production du profil environnemental a ainsi été validée sur les bases de ce retour d'expérience.

Couverture de l'Industrie au Regard de l'Environnement (millésime 2018)

© Thomas Grandjean

Écran d'accueil de l'application python

© Thomas Grandjean

Ecran de contrôle / retraitement des données

© Thomas Grandjean

Choix du territoire pour la production d'un rapport

© Thomas Grandjean

Exemple de production HTML (émissions aqueuses, copie d'écran statique)

© Thomas Grandjean

Exemple de production HTML (flux de déchets dangereux, copie d'écran statique)

© Thomas Grandjean

Trello est une plateforme dédiée au travail en équipe. Elle est donc par nature particulièrement adaptée à des travaux comme ceux du profil environnemental régional (le profil du Nord-Pas-de-Calais avait mis à contribution plusieurs dizaines d'agents dans plusieurs administrations).

Par ailleurs, le projet du profil environnemental ne comporte pas de données sensibles (puisqu'elles sont par définition destinées à être publiées) : ainsi, la solution Trello - qui ne constitue pas un outil ministériel - est parfaitement adaptée au besoin.

Cet outil a ainsi permis de pérenniser les productions d'une manière inégalée jusqu'à présent dans les Hauts-de-France. Il est désormais possible :

• de suivre l'avancement de chaque livrable individuellement (plus de 400 ont été créés sur le "tableau" du profil) ;
• de sauvegarder les échanges et discussions relatives à chaque livrable, là aussi de manière individuelle ;
• de sauvegarder (dans une limite de 10 Mo par fichier) les jeux de données, productions et différents scripts de production.

Cerise sur le gâteau, Trello est également doté d'une API. Ainsi, les choix d'une structure très cadrée pour le "tableau" Trello du profil ont permis de bâtir un tableau de bord à moindres frais. Sa mise à jour est totalement automatisée (tous les lundis 00h00 une version à jour est envoyée par courriel) et permet de décharger l'équipe des tâches de reporting ; elle s'appuie sur des scripts python 3.6 et la librairie javascript Highcharts.

Le tableau Trello du profil environnemental des Hauts-de-France

© Thomas Grandjean

Le tableau de bord automatisée du profil - tableau principal

© Thomas Grandjean

Le tableau de bord automatisée du profil - avancement par ouvrage

© Thomas Grandjean

Le tableau de bord automatisée du profil - tension services

© Thomas Grandjean

Le tableau de bord automatisée du profil - suivi des livrables

© Thomas Grandjean

Cette veille digitale - et légèrement décalée - s'appuie sur la librairie javascript OpenSource Impress.js, dont le coeur a été légèrement modifié. Elle est compatible avec les navigateurs Firefox et Chrome récents.

Un logiciel (codé en langage Python 3.6 et doté d'une interface Qt) permet une production facilitée des livrables. Le post-traitement (dont la mise en forme définitive des articles) est ensuite intégralement piloté depuis un dictionnaire javascript inséré en tête de document html.

L'ensemble de la veille est piloté depuis un "menu" graphique (au format SVG) qui permet d'accéder aux différents articles ; le modèle de document est prévu pour des variations entre 4 et 6 articles. Le nuage de mots qui apparaît brièvement au chargement de la veille s'appuie sur la librairie Highcharts (sous licence).

Consultez les premiers exemplaires du Point sur la Connaissance :

• le Point sur la connaissance n°1
• le Point sur la connaissance n°2
• le Point sur la connaissance n°3

Ce logiciel (ADOC pour Application pour la veille DOCumentaire), entièrement codé en langage python 3.6, est doté d'une interface Qt (module PyQt5).

Il appuie les documentalistes de la DREAL et ne nécessite aucune compétence particulière pour être manipulé.

Ce logiciel s'appuie essentiellement sur deux types de données en entrée :

• les flux RSS ;
• un compte Twitter paramétré pour usage de l'API correspondante.

En parallèle, différents scripts permettent d'analyser "à façon" certains médias qui ne produiraient aucune données conformes à ces pseudo-standards : robots d'indexation ou webscraping de moteurs de recherche internes aux sites.

Cet ensemble de scripts permet ainsi la lecture à haute fréquence de nombreux de médias. Ceux-ci sont bancarisés dans une base SQLite et soumis à un traitement analytique inspirées du Text Mining ; des étiquettes sont attachées par recherche de mots-clefs (recherche en "plein texte" ou "REGEX" pour une analyse plus fine). Ces mots-clefs peuvent d'ailleurs être inclusifs (les mots-clefs à sélectionner) ou exclusifs (ceux à exclure).

Le logiciel permet ensuite d'accéder aux résultats à l'aide d'un simili-tableur. Les utilisateurs peuvent y rechercher les articles (par mot-clefs, source ou titre), les sélectionner ou les rejeter en vue de la production semi-automatisée de veilles documentaires (productions au format LibreOffice Document). A ce jour, le logiciel inventorie et étiquette environ 380000 articles par an. Il est particulièrement adapté à la surveillance de la presse locale (par exemple, veille stratégique sur les inondations ou l'éolien).

Menu d'ADOC

Menu : ©Thomas Grandjean / Icone python © Phroy CC BY-SA 2.5, via Wikimedia Commons

Exemple de sortie OpenDocument

© Thomas Grandjean

• contrôler la bonne remontée des informations depuis les stations hydrométriques (le site vigicrues se situant en toute fin de la chaîne d'information) ;
• fournir un tableau de bord "compatible smartphone" pour suivre facilement la situation du bassin (notamment "depuis son lit" en période d'astreinte).

En parallèle, un script est chargé d'alerter par courriel le SPC lorsqu'une défaillance est constatée dans la remontée des données. Progressivement, en s'appuyant sur des scripts développés par d'autres SPC, d'autres stations ont été incorporées au tableau de bord en se branchant sur des serveurs nationaux en protocole SOAP (ces scripts ont rapidement dû être intégralement revus pour assurer la compatibilité avec le langage Python 3+). Les graphiques s'appuient sur la librairie Highcharts (sous licence).

Ce premier tableau de bord est en réalité un ensemble : les visualisations peuvent être faites par ensembles hydrographiques cohérents, par cours d'eau, par moyen de télécommunication ou par station (pour ce qui concerne les prévisions lorsqu'elles existent). Il peut être consulté :

• pour le bassin Artois-Picardie ;
• pour le bassin Seine-Normandie.

Un second tableau de bord a concerné les données piézométriques (les crues du bassin de la Somme étant davantage liées à des remontées de nappe). Les données sont cette fois produites par l'API Hub'Eau "niveaux-nappes". Le tableau de bord inclut par ailleurs certaines informations remises à jour en continu (battement observé, plage d'observation). Il peut être consulté :

• pour la rive gauche ;
• pour la rive droite.

Tableau de bord hydrométrique (Artois-Picardie)

© Thomas Grandjean

Tableau de bord piézométrique (bassin de la Somme)

© Thomas Grandjean

Le site APIC-Vigicrues Flash est un portail dédié à l'alerte (à l'échelle communale) :

• de précipitations en cours, revêtant un caractère exceptionnel ;
• du risque de crues dans les prochaines heures (sur certains cours d’eau non couverts par la vigilance crues sur Vigicrues).

Piloté par Météo-France et le réseau VIGICRUES (regroupant le SCHAPI et les DREAL), il permet d'envoyer des alertes (au pas de temps du quart d'heure) à ses utilisateurs (communes, collectivités en charge de la lutte contre les inondations, SPC, préfectures et Météo-France). Malheureusement, ce service ne permet pas à l'heure actuelle d'extraire simplement les observations : pour consulter l'historique (accessible seulement 48 heures), seule une carte dynamique existe à ce stade. Un script (qui en est déjà à sa troisième version) a donc été produit pour appuyer le SPC Artois-Picardie.

La première version de ce script effectuait en premier lieu un traitement colorimétrique des tuiles pour isoler les alertes (les cartes étant de type choroplèthe). Par la suite, un traitement de reconnaissance de texte (effectué à l'aide du logiciel Tesseract) et de proximité syntaxique (FuzzyWuzzy) était utilisé pour lire et valider les étiquettes communales. Ce traitement s'est avéré assez peu efficace pour plusieurs raisons :

• sensibilité du script aux différents paramètres ;
• étiquettes parfois manquantes dès lors que plusieurs communes proches se trouvaient en état d'alerte simultané ;
• temps de calcul conséquent.

La seconde version (plus robuste) s'est appuyée sur des traitements matriciels : après traitement colorimétrique (le même que précédemment), la couche des communes a été superposée aux tuiles générées par le serveur web (en prenant garde à la correspondance des millésimes communaux). Le module rasterstats a ainsi permis d'obtenir des statistiques "colorimétriques" par commune, permettant d'identifier les communes "coloriées" avec une excellente marge d'erreur (malgré un temps de calcul toujours important).

Lors de la mise à jour du portail APIC, une analyse a rapidement mis en évidence des API - involontairement - exposées. Le script a donc été complètement revu pour exploiter ces éléments web et considérablement allégé (les services du SCHAPI étaient informés en parallèle de la faille numérique ; le service correspondant a d'ailleurs été ouvert au grand public).

Aujourd'hui, ce script est toujours fonctionnel. L'ensemble des alertes est stocké dans une base de données SQLite ; un logiciel permet d'en extraire des données facilement exploitables en fonction de deux paramètres :

• la période d'observation ;
• l'étendue géographique du territoire : celui-ci peut être assis sur les périmètres administratifs, mais aussi sur un shapefile dessinant des territoires géophysiques, comme un territoire hydrologique.

Portail APIC de Météofrance

© Météofrance, Service de Prévision des Crues Artois-Picardie

Logiciel Python - Menu

© Thomas Grandjean

Logiciel Python - Tableau d'extraction

© Thomas Grandjean