SFTPでアップロードされたデータファイルを正しく取り込むための新規設定方法は？
重要：この機能は管理者ユーザー（Metron Ops Engineerロール）のみが利用可能です。
目次
はじめに
データ収集は、自動化されたオンサイトデータコレクターシステムによって集中管理されるだけでなく、SFTPサーバーで送信されたフラットファイルなどの複数の異なるソースから収集することもできます。データの取り込み機能を使用すると、METRONプラットフォームで自動的にファイルを取り込むことができます。
この記事では、SFTPでアップロードされたデータファイルを正しく取り込むための新しい設定の作成方法について説明します。
SFTPでアップロードするファイルの規定
こちらの記事を参照ください。 SFTP経由でMETRONプラットフォームに取り込むためのファイル規定
ステップごとのデータ取込設定
1. 新しいコンフィグを作成
データソースワークスペースに移動し、「データ取込設定」をクリック
「新規コンフィグ」をクリック
2. 一般設定を登録
- コンフィグ名: プラットフォームで作成された他のコンフィギュレーションと区別するための名称
- フォルダ名: SFTPサーバーのファイルを保存するフォルダの名前
- 💡 Good practice : コンフィグ名とフォルダ名を同じにすることができます。
- ⚠️ パス全体ではなく、フォルダ名のみが必要です。次の文字は避けてください: / および"
-
テンプレート形式 : ファイルの内容に応じて選択します。
-
生産: 次のような形式の場合 time;valueColumn;filterAColumn;filterBColumn etc.
-
プロセス・スタンダード = time;tagpath;value
-
プロセス・複数列 = time;tagpathA;tagpathB; etc.
-
3. ファイル設定を登録
注意：カラムの区切り文字と小数点に同じ文字（例：カンマとコンマ）を使用することはできません。
4. A) プロセスファイル用のカラム設定を登録
-
タグパスカラム名: SFTPにアップロードされたファイル内のカラムラベルを記入します。
-
値カラム名: SFTPにアップロードされたファイル内のカラムラベルを記入します。
-
時刻カラム名: SFTPにアップロードされたファイル内のカラムラベルを記入します。
-
時刻カラムタイプ
-
日付
-
日付フォーマット: % 記号は必須です
-
-
例:
%Y-%m-%d %H:%M:%S.%f => 2023-11-20 10:11:12.123456 (ミリ秒は6桁まで使用可能です)
-
-
- タイムゾーン: UTCかプラットフォームのローカル・タイムゾーン（画面右上に表示されるもの）の2つから選択できます。
-
-
-
タイムスタンプ = 1970年01月01日からのナノ/ミリ/秒の経過時間
-
ナノ秒 = 1970年01月01日からのUnix時間（ナノ秒） 例: "1696239379000000"
-
ミリ秒 = 1970年01月01日からのUnix時間（ミリ秒） 例: "1696239379000"
-
秒 = 1970年01月01日からのUnix時間（秒） 例: "1696239379"
-
-
4. B) 生産データ用のカラム設定を登録
ステップ3で "Production "を選択した場合、追加情報を入力する必要があります。
-
値の種類: カラムの値のタイプを数値、論理値、テキストから選択します：
.png?width=688&height=207&name=image%20(4).png)
-
フィルターカラム: テキストタイプとして扱われます
カラム名だけでなく、ファイル内に存在するすべての系列を固有のものにするためにフィルターが使用され、取り込みの際に混在したり、上書きされたりしないようにします。
例: 4つのカラムを含むプロダクション・ファイル.png?width=473&height=113&name=image%20(3).png)
上記のファイルでは3行の日付が全て同じです。
=> 考えられるケースとしては：
- "temperature"のみを変数カラムとして定義した場合:
- "batiment" と"machine"カラムは無視されます
- 値の100が取り込まれ、その後200で上書きされ、されにその後300で上書きされます。
= 望ましくない結果 - "batiment"をフィルターとして登録した場合:
- "machine" カラムは無視されます
- 値の100が取り込まれ、その後200で上書きされます
- 値の300 も取り込まれますが、上書きはされません
= まだ一部望ましくない結果 ("machine" だけをフィルターとして登録しても同様) - "batiment" と "machine" の両方をフィルターとして登録
- データ100が取り込まれ、上書きされません。"batA"および "fourA"フィルタを適用することでプラットフォームからアクセス可能です。
- データ200が取り込まれ、上書きされません。"batA"および "fourB"フィルタを適用することでプラットフォームからアクセス可能です。
- データ300が取り込まれ、上書きされません。"batB"および "fourA"フィルタを適用することでプラットフォームからアクセス可能です。
以下の対応する設定を参照してください：
-1.png?width=688&height=393&name=image%20(5)-1.png)
フィルター列フィールドにフィルタを登録する場合は、各フィルターを入力後 "Enter "キーを押すと、フィルタが反映されます：
⚠️ 同じフィルターに100,000以上の異なる値を使用することはできません。
フィルタを設定すると、データソースで各時系列データを区別するために利用できるようになります：
5. データ取込設定の概要を確認し、"コンフィグ作成"をクリック
間違いに気づいたら、画面左下の「戻る」をクリックし、修正したいステップに戻ってください。
間違いがなければ、「コンフィグ作成」をクリックしてください。
6. データ取込プロセス
✅ ファイルがSFTPで正しくアップロードされ、対応するコンフィグが作成されると、データはMETRONプラットフォームで約3分で利用可能になります。
❌ データが取り込まれない場合は、SFTPのエラーレポートを参照し、ファイルまたは設定を変更して再試行してください。
See the recap below :
注：historical_one_shotと通常の取り込み(countinous_ingestion)では構成に違いはありません。
7. タグを定義
👉 保存後、タグをプラットフォームで利用できるようにするために、タグを定義することを忘れないでください！
データ取り込み設定の変更と削除
設定の検証／変更
- データ取込機能へ移動
- 適切な設定のプレビューオプションをクリック
- 記入された情報の確認
- 修正が必要な場合は、ゴミ箱アイコンをクリックしてコンフィグを削除し、その動作を確認してから、新しいコンフィグを作成する必要があります。
コンフィグの削除
- 該当するコンフィグのゴミ箱アイコンをクリック
- 削除をクリック
- コンフィグはテーブルから削除されます
