NorthStar Analytics Aufbewahrung von Rohdaten und aggregierten Daten
Rohdatenprotokolle werden in Elasticsearch für eine vom Benutzer konfigurierbare Anzahl von Tagen aufbewahrt. Außerdem werden die Daten stündlich zusammengefasst (aggregiert) und für eine vom Benutzer konfigurierbare Anzahl von Tagen aufbewahrt. Der Zweck der Aggregation besteht darin, eine längere Aufbewahrung von Daten bei begrenztem Speicherplatz praktikabler zu machen. Wenn Sie diese Aufbewahrungsparameter ändern, beachten Sie, dass dies Auswirkungen auf Ihre Speicherressourcen hat.
Gespeicherte stündliche aggregierte Datendateinamen verwenden das folgende Format: rollups-northstar-yyyy-mm-dd.
Die in Tabelle 1 beschriebenen Parameter arbeiten zusammen, um das Verhalten bei der Datenaufbewahrung und -aggregation zu steuern. Konfigurieren von NorthStar-Einstellungen mit der NorthStar-CLI im NorthStar-Controller/Planner-Handbuch "Erste Schritte " Verwenden Sie die set northstar system scheduler tasks Befehlshierarchie, um auf alle diese Parameter zuzugreifen.
| Parameter |
Beschreibung |
|---|---|
| Intervall (Sammlung-Bereinigung) |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup interval Befehl. Steuert, wie oft der Systemtask "Sammlungsbereinigung" ausgeführt wird, in der Anzahl der Tage, ausgedrückt als "d" oder "Tage". Beispiele: 1 Tage, 4 Tage. Diese Aufgabe führt das Skript collector-utils.py aus, um alte Protokolle zu bereinigen. Der Standardwert ist ein Tag (1d). Um die Sammlungsbereinigung zu deaktivieren, legen Sie den Wert auf 0d fest. Das collector-utils.py-Skript wird um ca. 1:00 Uhr NorthStar-Serverzeit ausgeführt. Das collector-utils.py-Skript verwendet die Elasticsearch-APIs, um "alte" Daten wie folgt zu bereinigen:
Die Sammlungsbereinigungsaufgabe wird vom NorthStar-Server aufgerufen. Sie können die Bereinigungsaufgabe anzeigen (aber nicht ändern), indem Sie zu Administration > Task Schedulernavigieren. |
| Rohdatenaufbewahrungsdauer |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup raw-data-retention-duration Befehl. Definiert, was als "altes" Protokoll von Rohdaten in der Anzahl von Tagen betrachtet wird. Die Einheiten können als "d" oder "Tage" eingegeben werden. Der Standardwert ist 14 Tage (14d oder 14 Tage), was bedeutet, dass Rohdatenprotokolle 14 Tage lang in Elasticsearch aufbewahrt werden. Um die Aufbewahrung von Rohdatenprotokollen zu deaktivieren, legen Sie den Wert auf 0d fest. |
| rollup-datenaufbewahrungsdauer |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup rollup-data-retention-duration Befehl. Definiert, was als "alte" aggregierte Daten in der Anzahl von Tagen gilt. Die Einheiten können als "d" oder "Tage" eingegeben werden. Der Standardwert ist 180 Tage (180d oder 180 Tage), was bedeutet, dass stündliche aggregierte Daten 180 Tage lang in Elasticsearch aufbewahrt werden. Um die Aufbewahrung aggregierter Daten zu deaktivieren, legen Sie den Wert auf 0d fest. |
| Intervall (Rollup) |
Verwenden Sie zum Ändern den set northstar system scheduler tasks rollup interval Befehl.
Hinweis:
Es wird empfohlen, diesen Standardwert nur zu ändern, um die Aggregation zu deaktivieren. Wenn Sie die Datenaggregation deaktivieren möchten, legen Sie den Wert auf 0h fest. Legt fest, wie oft der ESRollup-Systemtask in Stunden ausgeführt wird. Die Einheiten können als "h" oder "Stunden" eingegeben werden. Der ESRollup-Systemtask führt das esrollup.py Skript aus, um die Daten des vorherigen Intervalls zu aggregieren. Der Standardwert ist 1 Stunde (1h oder 1 Stunde). Das esrollup.py-Skript verwendet die Elasticsearch-APIs, um die Datenaggregation durchzuführen. Der ESRollup-Task wird vom NorthStar-Server aufgerufen. Sie können die Rollup-Aufgabe anzeigen (aber nicht ändern), indem Sie zu Administration > Task Schedulernavigieren. |
Die NorthStar-REST-API unterstützt die Aggregation von Telemetriedaten mit den in Tabelle 2 beschriebenen zusätzlichen Parametern. Weitere Informationen finden Sie in der Dokumentation zur NorthStar-REST-API.
| Parameter |
Beschreibung |
|---|---|
| disable-rollup-query |
Wenn diese Option festgelegt ist, wird die Rollupabfragefunktion aus stündlich aggregierten Daten deaktiviert. |
| rollup-query-cutoff-interval |
Wenn diese Option festgelegt ist und der angeforderte Zeitraum größer als rollup-query-cutoff-interval ist, verwendet die Abfrage den Rollup-Index, um Daten zu durchsuchen. |
Um Ihnen ein Beispiel für die Zusammenarbeit von Aggregationsparametern zu geben, legen Sie Folgendes fest:
collection-cleanup interval=7d
raw-data-retention-duration=30d
rollup-data-retention-duration=800d
In diesem Beispiel werden Rohdatenprotokolle, die älter als 30 Tage sind, und stündliche aggregierte Datenprotokolle, die älter als 800 Tage sind, alle sieben Tage gelöscht.
Die in den Rollup-Aufgaben enthaltenen Daten (Aggregationstypen, Felder und Leistungsindikatoren) werden in der schreibgeschützten esrollup_config.json-Datei definiert, die sich im Verzeichnis /opt/northstar/utils befindet.
Um die Systemaufgaben anzuzeigen, mit denen das esrollup.py und collector-utils.py Skripts gestartet werden, navigieren Sie in der NorthStar-Webbenutzeroberfläche zu Administration > Task Scheduler . In der Liste Task gibt die Spalte Name CollectionCleanup oder ESRollup Task an. In der Spalte Typ werden sie als ExecuteScript bezeichnet. Ein Beispiel ist in Abbildung 1 dargestellt.
Es gibt eine optionale Spalte in der Aufgabenliste, die angibt, ob jede Aufgabe eine Systemaufgabe ist. Bewegen Sie den Mauszeiger über eine beliebige Spaltenüberschrift, klicken Sie auf den angezeigten Abwärtspfeil und markieren Sie Columns ihn, um eine Liste der verfügbaren Spalten anzuzeigen. Aktivieren Sie das Kontrollkästchen für Systemaufgabe, um die Spalte Systemaufgabe (wahr/falsch) für die Aufnahme in die Anzeige auszuwählen.
Wenn Sie einen Systemtask auswählen, sind die Registerkarten Zusammenfassung, Status und Verlauf am unteren Rand des Fensters verfügbar.