NorthStar Analyticsの生データおよび集計データ保持
未加工データログは、ユーザーが設定可能な日数だけElasticsearchに保持されます。また、データは1時間ごとにロールアップ(集約)され、ユーザーが設定できる日数だけ保持されます。集約の目的は、ディスク領域が限られている場合に、データの長期保持をより実現可能にすることです。これらの保持パラメーターを変更する場合は、ストレージリソースに影響を与えることに注意してください。
保存される時間単位の集計データファイル名は、rollups-northstar-yyyy-mm-ddの形式を使用します。
表1に示すパラメーターが連携して、データの保持とアグリゲーションの動作を制御します。これらの設定は、「NorthStar CLI を使用した NorthStar 設定の構成」の説明に従って、NorthStar CLI を使用して変更できます。set northstar system scheduler tasksコマンド階層を使用して、これらのパラメーターすべてにアクセスします。
| パラメータ |
説明 |
|---|---|
| 間隔(収集クリーンアップ) |
変更するには、 set northstar system scheduler tasks collection-cleanup interval コマンドを使用します。 収集クリーンアップシステムタスクを実行する頻度を、"d" または "日数" で表す日数で制御します。例:1日、4日。このタスクでは、collector-utils.py スクリプトを実行して古いログをクリーンアップします。デフォルトは1日(1日)です。コレクションのクリーンアップを無効にするには、値を 0d に設定します。 collector-utils.py スクリプトは、NorthStarサーバー時間の午前1:00頃に実行されます。 collector-utils.py スクリプトは、Elasticsearch API を使用して、次のように「古い」データをクリーンアップします。
収集クリーンアップタスクは、NorthStarサーバーから呼び出されます。 Administration > Task Schedulerに移動することで、クリーンアップタスクを表示できます(変更することはできません)。 |
| raw-data-retention-duration |
変更するには、 set northstar system scheduler tasks collection-cleanup raw-data-retention-duration コマンドを使用します。 生データの「古い」ログと見なされるものを日数で定義します。単位は「d」または「日」として入力できます。デフォルトは 14 日間 (14 日または 14 日) で、生データログが Elasticsearch に 14 日間保持されることを意味します。未加工データログの保持を無効にするには、値を0dに設定します。 |
| ロールアップデータ保持期間 |
変更するには、 set northstar system scheduler tasks collection-cleanup rollup-data-retention-duration コマンドを使用します。 「古い」集計データと見なされるものを日数で定義します。単位は「d」または「日」として入力できます。デフォルトは 180 日 (180 日または 180 日) で、時間単位の集計データは Elasticsearch に 180 日間保持されます。集計データの保持を無効にするには、値を0dに設定します。 |
| 間隔(ロールアップ) |
変更するには、 set northstar system scheduler tasks rollup interval コマンドを使用します。
注:
このデフォルト値は、集約を無効にする場合以外は変更 しない ことをお勧めします。データ集約を無効にする場合は、値を0hに設定します。 ESRollup システムタスクを実行する頻度を時間単位で設定します。単位は「h」または「時間」として入力できます。ESRollup システム タスクは、esrollup.py スクリプトを実行して、前の間隔のデータを集計します。デフォルトは1時間(1時間または1時間)です。 esrollup.py スクリプトは、Elasticsearch APIを使用してデータ集約を実行します。 ESRollup タスクは、NorthStar サーバーから呼び出されます。 Administration > Task Schedulerに移動することで、ロールアップタスクを表示できます(変更することはできません)。 |
NorthStar REST APIは、 表2に示す追加パラメーターを使用して、テレメトリデータアグリゲーションをサポートします。詳細については、NorthStar REST APIのドキュメントを参照してください。
| パラメータ |
説明 |
|---|---|
| disable-rollup-query |
設定すると、時間単位の集計データからロールアップクエリ機能を無効にします。 |
| ロールアップクエリカットオフインターバル |
設定され、要求された時間範囲がrollup-query-cutoff-interval from nowよりも大きい場合、クエリはロールアップインデックスを使用してデータを検索します。 |
集計パラメーターがどのように連携するかの例を示すために、次のように設定するとします。
collection-cleanup interval=7d
raw-data-retention-duration=30d
rollup-data-retention-duration=800d
この例では、30日以上経過した生データログと800日経過した1時間ごとの集約データログは7日ごとに消去されるように設定されています。
ロールアップタスク(集計タイプ、フィールド、カウンター)に含まれるデータは、 /opt/northstar/utils ディレクトリにあるビュー専用esrollup_config.jsonファイルで定義されます。
esrollup.py および collector-utils.py スクリプトを起動するシステムタスクを表示するには、NorthStar Web UIで Administration > Task Scheduler に移動します。タスク リストの 名前 列には、CollectionCleanup または ESRollup タスクが示されています。タイプ列では、ExecuteScript として指定されます。 図1に例を示します。
を示すタスクリスト
タスクリストには、各タスクがシステムタスクであるかどうかを示すオプションの列があります。列見出しにカーソルを合わせ、表示される下矢印をクリックし、 Columns を強調表示すると、使用可能な列のリストが表示されます。システムタスクのチェックボックスをクリックして、表示に含めるシステムタスク列(true/false)を選択します。
システムタスクを選択すると、ウィンドウの下部にサマリー、ステータス、履歴タブが表示されます。