SFTP経由でMETRONプラットフォームに取り込むためのファイル規定

ファイルがプラットフォームに正しく取り込まれるようにするために、注意すべきすべての要素を記載します。

目次

1. はじめに

2. データファイルの規定

3. SFTPへのファイル転送

4- METRONプラットフォームでのファイル取り込み


1. はじめに

データファイルの取り込みは、自動的に収集されたデータに加え、新しいデータをプラットフォームに追加するために使用できます。

そのためには、以下の規定に従ってSFTPサーバーにファイルをアップロードする必要があります。

👉 SFTP接続は、METRON プラットフォームの構築時に自動的に確立されます。

👉 データファイルは、定期的にアップロードまたは一度に一括でアップロードすることができます。

既存のデータと同じタイプ、シリアル名、タイムスタンプで新しいデータを取り込むと、既存のデータは新しく取り込まれたデータで上書きされます


注意: 既存の自動データ収集プロセス(API、METRONlab、SFTP、請求書...)に対してこの機能を使用しないでください。


2. データファイルの規定

A) ファイルフォーマット

ファイルを正しく取り込むためには、以下のフォーマットに従う必要があります。 

  • .xls または .xlsx (最大1シート)
  • .csv  (以下の仕様を満たすもの): 
    • カラム区切り : (カンマ), ; (セミコロン), (タグ), (スペース), | (バーティカルバー)

    • 小数点 : , (カンマ) または . (ピリオド)  

💡 .csvファイル形式の使用を推奨します。

🤓 カラム区切り文字と小数点に同じ記号を使用することはできません。

B) ファイル構成 

  • スタンダードプロセス用ファイル
    • タグパスカラム名:
      • A-z: アルファベットの大文字と小文字が利用できます。
      • À-ÿ:  大文字でも小文字でも、すべてのアクセント記号が利用できます。
      • 0-9: 全ての数値が利用できます。
      • - と/ が利用できます。 
      • "値カラム"および"時刻カラム"とは別の名称でなければなりません
    • カラム名:
      • A-z À-ÿ 0-9 -  / が利用できます 
      • "タグパスカラム"および"時刻カラム"とは別の名称でなければなりません
    • カラム名: 使用する文字に制約はありません。 "値カラム"および"タグパスカラム"とは別の名称でなければなりません
    • すべてのカラムは異なる名前でなければなりません。
  • 複数列プロセス用ファイル:
    • 使用する文字に制約はありません。
    • すべてのカラムは異なる名前でなければなりません。
  • 生産データ用ファイル:
    • フィルターカラム名: "time", "durationMs", "value", "tagIds"とは異なる名前でなければなりません。
    • 変数カラム名:
      • A-z À-ÿ 0-9 -  / が利用できます 
      • "time", "durationMs", "value", "tagIds"とは異なる名前でなければなりません。
    • すべてのカラムは異なる名前でなければなりません。

C) その他ファイル規定

⚠️ 最大ファイルサイズは2MBです。

⚠️ The METRON platform does not accept data older than 5 years. If you ingest a file containing data both before and after 5 years, only data less than 5 years old will be ingested into the platform.  METRONプラットフォームは5年以上前のデータを受け付けません。5年以上前と5年未満の両方のデータを含むファイルをアップロードした場合、5年未満のデータのみがプラットフォームに取り込まれます。

⚠️ ファイル名をつけるときは、禁止文字である「/」や「"」は使用しないでください。


3. SFTPへのファイル転送


ファイルの準備ができたら、Filezilla等のSFTPクライアントソフトから適切な場所にアップロードする必要があります: 

  1. ファイルのデータの種類に応じて、"Production "または "Process "のいずれかを選択します。
  2.  定期的にファイルをアップロードする場合は "continuous_ingestion"を、そうでない場合は "historical_one_shot"を選択します。

フォルダ名をmyFolderとすると、この4つのパスのいずれかが必要になります。

  • Process/continuous_ingestion/myFolder/
  • Process/historic_one_shot/myFolder/
  • Production/continuous_ingestion/myFolder/
  • Production/historic_one_shot/myFolder/
同じタイプ、同じ名前のフォルダには、同じコンフィグが使用されます。
⚠️  新しいフォルダーに名前を付けるときは、禁止文字である「/」や「"」は使用しないでください。

👉 Zipファイルは、中のファイルが同じフォーマットである場合のみ受け入れられます。

⚠️  サブサブフォルダを作成しないでください。データ取り込み機能で処理されません。

🆘 ファイルの仕様に従えない場合は、ヘルプデスクにチケットを作成してください。


4- METRONプラットフォームでのファイル取り込み

ファイルインジェストの前に、METRONプラットフォームでデータ取込設定を定義する必要があります。

詳細はこちらの記事をお読みください:METRON-EOMプラットフォームにおけるデータ取り込み設定

  • SFTPサーバーには、以下のフォルダが含まれています。 : 

ファイルが取り込まれたかどうかを確認するには、"_backup"フォルダと"_non_ingested"フォルダを確認してください。

  • ファイル取込サイクルの総括: 

Capture d’écran 2023-11-22 à 15.58.58