EMM: Configuration de nouvelles interfaces SFTP

Dans cet article: 

• Cas A : Import de factures
• Cas B : Import de données

1. Nouvelle interface de gestion des sources de données

a. Accès au configurateur

Le principe de cette nouvelle fonctionnalité est de permettre à un utilisateur de créer lui-même une interface d’insertion de données via une configuration simple, à partir du dépôt de fichiers dans un format donné sur un serveur SFTP.  La fonctionnalité couvre aujourd'hui les formats d'import de données les plus courants, mais en cas de besoin spécifique, la création d'une interface personnalisée reste possible.

b. Suivi des interfaces existantes

En cliquant sur le bouton "Source de données", on arrive sur la page ci-dessous, regroupant les différentes interfaces configurées sous formes de tuiles.

Chaque tuile se présente comme ceci :

 

On y retrouve les informations suivantes :

• Nom du dossier SFTP (en cas de serveur local) ou chemin d’accès (en cas de serveur SFTP externe) ;
• Nom de la tâche d’insertion ;
• Date et état de la dernière exécution (succès, warning, échec) ;
• Statut de la tâche d’insertion (actif/inactif).

 

Le petit bouton en haut à droite permet d’effectuer plusieurs actions :

• Ouvrir l’édition de la tâche d’insertion ;
• Désactiver / Réactiver une tâche pour mettre en pause les insertions au besoin ;
• Supprimer définitivement la tâche d’insertion ;
• Ouvrir un pop-up contenant les informations de création, de dernière modification et la prochaine exécution planifiée.

En cliquant sur la date de dernière exécution, on accède à un pop-up contenant les logs des dernières exécutions de la tâche.

Chaque ligne peut alors être étendue pour voir les détails de l’exécution choisie.

c. Configuration d’une interface d’insertion

Qu'on crée une nouvelle interface en cliquant sur le bouton tout en haut à droite de l’écran de suivi (avec les tuiles), ou qu’on édite une interface existante, on arrive sur l’écran de configuration suivant :

Pour configurer une interface d’insertion, il faut :

• Un nom (unique) pour la configuration ;
  
  
• Choisir la localisation du SFTP, sur les serveurs internes de METRON (JooL SFTP) ou sur un SFTP externe :
  • JooL SFTP : utilisation du serveur SFTP interne de METRON. Dans ce cas, il faut indiquer le nom du répertoire dans lequel aller récupérer les fichiers à insérer ;
  • External SFTP : utilisation d’un SFTP externe. Ici, il faudra configurer tous les détails de connexion à ce SFTP externe ⇒ nom de l’hôte, port (facultatif), nom d’utilisateur et mot de passe de connexion, ainsi que le nom de dossier dans lequel il faut aller chercher le fichier (mettre « / » si le fichier est attendu à la racine du serveur SFTP).

• Cliquer sur le bouton « tester la connexion SFTP » pour vérifier la connexion au dossier (SFTP interne) ou au serveur (SFTP externe). Un message de confirmation ou d’erreur indiquera si la configuration est fonctionnelle ou non.

• Définir la fréquence d’exécution :
  • Fréquence : tous les jours / semaines / mois / années ;
  • En fonction de la fréquence choisie, sélectionner l’heure et/ou le jour d’exécution.

• Choisir le type d'import; import de données ou import d'informations de facturation.
  
  
  
  

Cas A - Import de factures

• Lorsque vous sélectionnez « Factures », une liste déroulante apparait, permettant de choisir le type de factures à importer. Les choix proposés sont tous les types de factures définis dans la base de données. 

• Uploader un fichier test au format .csv (note : les données de ce fichier de test ne seront pas importées lors de la configuration, elles servent uniquement à la mise en place de la procédure d’import).
  
  
• Configurer les paramètres du fichier :
  • Type d’encodage (UTF-8 / UTF-16) ;
  • Séparateurs de colonnes ;
  • Séparateur décimal ;
  • Délimiteur de textes ;
  • Format des dates/heures ;
  • Fuseau horaire ;
  • Fichier sans en-tête ? (optionnel).

   

• A l’étape finale de la configuration, il faut mapper les colonnes du fichier type d’import avec les propriétés de factures à injecter. Les colonnes obligatoires sont les suivantes :

  • Référence : La référence de la facture à créer/updater
  • From / To : Les dates de début et de fin de la validité de la facture
  • Une propriété d’identification du compteur/entité sur lequel importer les factures. Cette propriété sera toujours la même dans toutes les DBs et aura pour référence MET_INV_INTERFACE_ID
  Les autres colonnes du fichier d’import peuvent quant à elle être importées sur les propriétés de factures correspondantes. 
  
  

Cas B - Import de données

• Sélectionner le format de fichier. Actuellement, trois catégories de fichiers sont utilisables via ce gestionnaire d’interfaces :
  • Colonnes de données simples : format contenant une colonne unique contenant toutes les données, une colonne pour les dates/heures, et enfin une ou plusieurs colonnes constituant l’identifiant du canal sur lequel insérer les données ;
  • Données multi-colonnes : une colonne de dates/heures, suivie de plusieurs colonnes de données, une colonne par canal à approvisionner en données et l’identifiant de chaque canal est alors indiqué en en-tête de colonne.
  • Format hybride : Une colonne de dates/heures, une colonne contenant une partie de l’identifiant des canaux, et plusieurs colonnes de données avec en en-tête la fin de l’identifiant du canal. 
    Exemple pratique : la colonne ID pourrait contenir l’identifiant du compteur et les en-têtes de colonnes contiendraient le registre du compteur en question.

• Uploader un fichier test au format .csv (note : les données de ce fichier de test ne seront pas importées lors de la configuration, elles servent uniquement à la mise en place de la procédure d’import).
  
  
• Configurer les paramètres du fichier :
  • Type d’encodage (UTF-8 / UTF-16) ;
  • Séparateurs de colonnes ;
  • Séparateur décimal ;
  • Délimiteur de textes ;
  • Format des dates/heures (option « timestamp » aussi disponible) ;
  • Fuseau horaire ;
  • La date est-elle celle du début ou de la fin de la période mesurée ? ;
  • Paramètres d’agrégation des données (optionnel) ;
  • Fichier sans en-tête ? (optionnel).

• Effectuer le mapping des colonnes du fichier avec les informations correspondantes de la base de données (Quelle colonne contient la date ? Quelle colonne contient la donnée ? … )

Le mapping se fait colonne par colonne en cliquant sur le petit « + » sous les titres des colonnes. Un pop-up s’ouvre alors pour choisir vers quoi cette colonne doit aller. 

Ci-dessous un exemple avec un fichier en « Colonnes de données simples ». Dans ce cas, on a une ou plusieurs colonnes d’identifiants qu’il faudra associer aux propriétés des canaux, une colonne de dates et une colonne de valeurs. Les dates et valeurs sont accessibles en haut du pop-up et le reste dans la partie inférieure sur fond clair.

Une fois toutes les colonnes nécessaires assignées, on arrive à une configuration complète comme ci-dessous :

• Sauver la configuration. On retourne alors sur l’écran d’accueil avec les tuiles et la nouvelle configuration est par défaut sur « désactivée ». Il faut donc l’activer avant qu’elle ne puisse commencer à traiter les fichiers csv reçus.