NorthStar Analytics の生データおよび集約データ保持
生データログは、ユーザーが設定可能な日数だけElasticsearchに保持されます。また、データは 1 時間ごとにロールアップ (集計) され、ユーザーが構成可能な日数だけ保持されます。集約の目的は、ディスク領域が限られている場合に、データの長期保存をより実現可能にすることです。これらの保持パラメーターを変更する場合は、ストレージ リソースに影響することに注意してください。
保存される毎時集計データ ファイル名は、rollups-northstar-yyyy-mm-dd の形式を使用します。
表 1 で説明するパラメーターは、連携してデータ保持と集計の動作を制御します。これらの設定は、 NorthStar CLI を使用した NorthStar 設定の構成で説明されているように、NorthStar CLI を使用して変更できます。set northstar system scheduler tasksコマンド階層を使用して、これらのパラメーターすべてにアクセスします。
パラメーター |
説明 |
|---|---|
間隔 (収集 - クリーンアップ) |
変更するには、 コマンドを使用します set northstar system scheduler tasks collection-cleanup interval 。 コレクションクリーンアップシステムタスクを実行する頻度を、"d" または "days" で表される日数で制御します。例: 1 日、4d。このタスクは、collector-utils.py スクリプトを実行して古いログをクリーンアップします。デフォルトは 1 日 (1d) です。コレクションのクリーンアップを無効にするには、値を 0d に設定します。 collector-utils.py スクリプトは、NorthStar サーバー時間の午前 1:00 頃に実行されます。 collector-utils.py スクリプトは、Elasticsearch API を使用して、次のように "古い" データをクリーンアップします。
コレクションクリーンアップタスクは、NorthStar サーバーから呼び出されます。クリーンアップタスクを表示(変更不可)するには、 > Task Schedulerに移動しますAdministration。 |
生データ保持期間 |
変更するには、 コマンドを使用します set northstar system scheduler tasks collection-cleanup raw-data-retention-duration 。 生データの「古い」ログと見なされるものを日数で定義します。単位は「d」または「日」として入力できます。デフォルトは 14 日間 (14d または 14 days) で、生データログは Elasticsearch に 14 日間保持されます。生データ ログの保持を無効にするには、値を 0d に設定します。 |
ロールアップデータ保持期間 |
変更するには、 コマンドを使用します set northstar system scheduler tasks collection-cleanup rollup-data-retention-duration 。 「古い」集計データと見なされるものを日数で定義します。単位は「d」または「日」として入力できます。デフォルトは 180 日 (180d または 180days) で、時間単位の集計データが Elasticsearch で 180 日間保持されることを意味します。集計データの保持を無効にするには、値を 0d に設定します。 |
間隔 (ロールアップ) |
変更するには、 コマンドを使用します set northstar system scheduler tasks rollup interval 。
メモ：
集計を無効にする場合を除き、この既定値は変更 しない ことをお勧めします。データ集計を無効にする場合は、値を 0h に設定します。 ESRollup システムタスクを実行する頻度を時間数で設定します。単位は「h」または「時間」として入力できます。ESRollup システムタスクは、esrollup.py スクリプトを実行して、前の間隔のデータを集計します。デフォルトは 1 時間 (1h または 1 時間) です。 esrollup.py スクリプトは、Elasticsearch API を使用してデータ集計を実行します。 ESRollup タスクは NorthStar サーバーから呼び出されます。ロールアップ タスクを表示 (変更不可) するには、[> Task Schedulerに移動しますAdministration。 |
NorthStar REST APIは、 表2に示す追加パラメーターを使用したテレメトリデータの集約をサポートしています。詳細については、NorthStar REST API のドキュメントを参照してください。
パラメーター |
説明 |
|---|---|
無効化ロールアップクエリ |
設定すると、時間単位で集計されたデータからのロールアップ クエリ機能が無効になります。 |
ロールアップ-クエリ-カットオフ-インターバル |
設定され、要求された時間範囲が今からのロールアップ クエリのカットオフ間隔より大きい場合、クエリはロールアップ インデックスを使用してデータを検索します。 |
集計パラメーターがどのように連携するかの例を示すために、次のように設定したとします。
collection-cleanup interval=7d raw-data-retention-duration=30d rollup-data-retention-duration=800d
この例では、30 日より古い生データ ログと 800 日より古い時間ごとの集計データ ログは、7 日ごとに消去されるように設定されています。
ロールアップ タスクに含まれるデータ (集計の種類、フィールド、およびカウンタ) は、/ opt/northstar/utils ディレクトリにある表示専用esrollup_config.jsonファイルで定義されます。
esrollup.py および collector-utils.py スクリプトを起動するシステム タスクを表示するには、NorthStar Web UI で [>Task Scheduler] に移動しますAdministration。[タスク] リストの [名前] 列は、[コレクション クリーンアップ] または [ESRollup タスク] を示します。[種類] 列では、スクリプトの実行として指定されます。図 1 に例を示します。
リスト
タスクリストには、各タスクがシステムタスクであるかどうかを示すオプションの列があります。列見出しにカーソルを合わせ、表示される下矢印をクリックして強調表示し Columns 、使用可能な列のリストを表示します。[システム タスク] のチェック ボックスをオンにして、表示に含める [システム タスク] 列 (true/false) を選択します。
システムタスクを選択すると、ウィンドウの下部に[概要]、[ステータス]、および[履歴]タブが表示されます。