Comment définir les paramètres d'ingestion de données afin que les fichiers de données déposés sur SFTP soient correctement ingérés ?
Important: cette fonctionnalité est disponible uniquement pour les utilisateurs administrateurs de plateformes (rôle Metron Ops Engineer).
Table des matières
Introduction
Spécification des fichiers avant le téléchargement SFTP
Configuration de l'ingestion de données étape par étape
1) Créer une nouvelle configuration
2) Remplir les paramètres généraux
3) Remplir les paramètres des fichiers
4) A. Remplir les paramètres des colonnes pour les fichiers de traitement
4) B. Remplir les colonnes pour les fichiers de production
5) Vérification de la configuration
6) Processus d'ingestion des données
7) Qualification des données ingérées
Modification / Suppression d'une Config d'ingestion de données
Introduction
La collecte de données n'est pas seulement centralisée par des systèmes automatisés de collecte de données sur site: elle peut également provenir de différentes sources telles que des fichiers plats envoyés sur un serveur SFTP.
Grâce à la fonction de paramétrage d'ingestion de données, vous avez la possibilité d'être autonome dans l'ingestion de fichiers plats dans la plateforme METRON.
Dans cet article, vous apprendrez à paraméter une nouvelle configuration pour la bonne ingestion de fichiers de données déposés sur le SFTP.
Cahier des charges fonctionnel pour le fichier à déposer sur le SFTP
Veuillez vous référer à l'article Spécifications des fichiers pour l'ingestion sur la plateforme METRON via SFTP.
Paramétrer l'ingestion de données étape par étape
1. Créer une nouvelle configuration
Allez dans l'espace de travail Source de données et cliquez sur "Paramètres d'ingestion de données" :
Cliquez sur "Nouvelle configuration"
2. Remplir les paramètres généraux :
- Nom de la configuration : pour la distinguer des autres configurations créées dans la plateforme
- Dossier auquel appliquer le modèle : le nom exact du fichier déposé sur le SFTP.
- 💡 Bonne pratique : vous pouvez choisir le même nom de config et le même nom de dossier. Ex : consommation-eau-froide
- ⚠️ Seul le nom du dossier est requis, pas le chemin d'accès complet : évitez les caractères suivants : / "
- Type de configuration et Format du modèle : en fonction du contenu de votre fichier :
- Production : pour les cas où vous avez time;valueColumn;filterAColumn;filterBColumn etc.
- Processus standard = time;tagpath;value
- Processus multi-axes = time;tagpathA;tagpathB ; etc.
3. Remplir les paramètres du fichier :
Remarque : vous ne pouvez pas avoir le même séparateur pour les colonnes et les décimales (ex : virgule et virgule)
4. A) Remplir les paramètres de colonne pour les fichiers de processus
- Nom de la colonne Tagpath : remplir le nom de la colonne qui se trouve dans le fichier déposé sur SFTP.
- Nom de la colonne des valeurs : remplir le nom de la colonne qui se trouve dans le fichier déposé sur SFTP.
- Nom de la colonne de temps : remplir le nom de la colonne qui se trouve dans le fichier déposé sur SFTP.
- Type de colonne de temps
- Date
- Format de date : le symbole % est obligatoire
- Date
Exemple :
%Y-%m-%d %H:%M:%S.%f => 2023-11-20 10:11:12.123456 (jusqu'à 6 millisecondes possibles)
%y/%m/%dT%H:%M:%SZ => 23/11/20T10:11:12Z
-
-
- Fuseau horaire : seulement 2 choix possibles : UTC ou fuseau horaire de la plateforme (celui affiché au survol du logo de votre plateforme en haut à gauche de votre écran)
Horodatage = nombre de nano/millli/secondes écoulées depuis le 01/01/1970
- Fuseau horaire : seulement 2 choix possibles : UTC ou fuseau horaire de la plateforme (celui affiché au survol du logo de votre plateforme en haut à gauche de votre écran)
- Temps = nombre de nano/millli/secondes écoulées depuis le 01/01/1970
- Nanoseconde = temps Unix depuis le 01/01/1970 en NANOSECONDES
ex : "1696239379000000" - Milliseconde = temps Unix depuis le 01/01/1970 en MILLISECONDES
ex : "1696239379000" - Second = Temps Unix depuis le 01/01/1970 en SECONDES
ex : "1696239379"
- Nanoseconde = temps Unix depuis le 01/01/1970 en NANOSECONDES
-
4. B) Paramètres des colonnes pour le fichier de production
Si vous avez sélectionné "Production" à l'étape 3, vous avez des informations supplémentaires à remplir :
- Type de valeur : choisissez le type de valeur de votre colonne entre nombre, booléen ou texte.
- Colonne filtre : sera obligatoirement considérée comme de type Texte
En plus des noms de colonnes, les filtres sont utilisés pour rendre uniques toutes les séries présentes dans le fichier, afin qu'elles ne soient pas perdues, mélangées ou écrasées au moment de l'ingestion.
Exemple : Prenons un fichier de production contenant 4 colonnes telles que :
.png?width=473&height=113&name=image%20(3).png)
Notons que les 3 lignes ont les mêmes dates.
=> Plusieurs cas possibles :
- Si on ne définit que la colonne variable "température" :
- les colonnes "bâtiment" et "machine" sont ignorées
- la donnée 100 est d'abord ingérée, puis écrasée par la donnée 200, elle-même écrasée par la donnée 300
= le résultat n'est pas bon. - Si l'on ajoute le filtre "bâtiment" :
- la colonne "machine" est ignorée
- les données 100 sont d'abord ingérées, puis écrasées par les données 200
- les données 300 sont également ingérées et n'écrasent rien d'autre
= le résultat n'est toujours pas bon (même type de résultat si l'on ajoute UNIQUEMENT le filtre "machine") - Si nous ajoutons à la fois les filtres "bâtiment" et "machine":
- les données 100 sont ingérées et arrêtées, et accessibles depuis la plateforme en appliquant les filtres "batA" et "fourA"
- les données 200 sont ingérées et arrêtées, et accessibles depuis la plateforme en appliquant les filtres "batA" et "fourB
- les données 300 sont ingérées et arrêtées, et accessibles depuis la plateforme en appliquant les filtres "batB" et "fourA".
Voir les paramètres correspondants ci-dessous :
-1.png?width=688&height=393&name=image%20(5)-1.png)
Lors de la saisie des filtres dans le champ "Filters columns", appuyez sur "entrée" après chaque filtre pour les mettre en compte.
⚠️ Vous ne pouvez pas utiliser plus de 100 000 valeurs différentes pour le même filtre.
Vos filtres seront alors disponibles pour qualification dans l'espace Source de données afin de distinguer chaque série temporelle, par exemple :
5. Vérifiez le résumé de votre configuration d'ingestion de données et cliquez sur "Create config".
Si vous constatez une erreur, cliquez sur "Retour" en bas à gauche de votre écran et revenez à l'étape que vous souhaitez modifier.
Lorsque tout est correct, cliquez sur "Créer configuration".
Attention: une fois créée, si vous ne pourrez plus modifier la configuration. Pour tout changement il faudra la supprimer et la re-créer.
6. Processus d'ingestion des données
✅ Une fois que votre fichier est correctement déposé sur SFTP et que la configuration correspondante est créée, les données sont disponibles en 3 minutes environ sur votre plateforme METRON.
❌ Si les données n'arrivent pas, vous pouvez consulter un rapport d'erreur sur le SFTP et modifier le fichier ou la configuration et réessayer.
Voir le récapitulatif ci-dessous : 
Note : Il n'y a pas de différence de configuration pour une ingestion unique ou régulière.
7. Qualifier les étiquettes
👉 N'oubliez pas de qualifier les tags après les avoir sauvegardés pour qu'ils soient disponibles dans la plateforme !
Modification et suppression de la config d'ingestion de données
Vérification / modification de la configuration
- Aller dans "Paramètres d'ingestion de données"
- Cliquez sur l'icône oeil sur la configuration appropriée
3. Vérifier les informations qui ont été remplies
4. Si un élément doit être corrigé, vous devez supprimer la configuration en cliquant sur l'icône
corbeille, valider la suppression puis créer une nouvelle configuration.
Suppression de la configuration
- Cliquez sur l'icône corbeille de la configuration concernée
- Cliquez sur supprimer
- La ligne de la configuration sera supprimée de la liste.