NorthStar Analytics Aufbewahrung von Rohdaten und aggregierten Daten
Rohdaten-Logs werden in Elasticsearch für eine vom Benutzer konfigurierbare Anzahl von Tagen aufbewahrt. Die Daten werden außerdem stündlich zusammengefasst (aggregiert) und für eine vom Benutzer konfigurierbare Anzahl von Tagen aufbewahrt. Der Zweck der Aggregation besteht darin, eine längere Aufbewahrung von Daten angesichts des begrenzten Speicherplatzes möglicher zu machen. Wenn Sie diese Aufbewahrungsparameter ändern, denken Sie daran, dass dies Auswirkungen auf Ihre Speicherressourcen hat.
Dateinamen mit gespeicherten, stündlich aggregierten Daten haben das folgende Format: rollups-northstar-yyyy-mm-dd.
Die in Tabelle 1 beschriebenen Parameter arbeiten zusammen, um das Datenaufbewahrungs- und Aggregationsverhalten zu steuern. Konfigurieren der NorthStar-Einstellungen mithilfe der NorthStar-CLI im NorthStar Controller/Planner – Handbuch "Erste Schritte " Verwenden Sie die set northstar system scheduler tasks Befehlshierarchie, um auf alle diese Parameter zuzugreifen.
Parameter |
Beschreibung |
|---|---|
Intervall (Sammlungsbereinigung) |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup interval Befehl. Steuert, wie oft der Systemtask zum Erfassen/Bereinigen ausgeführt wird, in der Anzahl der Tage, ausgedrückt als "d" oder "Tage". Beispiele: 1days, 4d. Dieser Task führt das collector-utils.py Skript aus, um alte Protokolle zu bereinigen. Der Standardwert ist ein Tag (1d). Um die Sammlungsbereinigung zu deaktivieren, legen Sie den Wert auf 0d fest. Das collector-utils.py Skript wird um ca. 1:00 Uhr NorthStar-Serverzeit ausgeführt. Das collector-utils.py Skript verwendet die Elasticsearch-APIs, um "alte" Daten wie folgt zu bereinigen:
Die Aufgabe zur Sammlungsbereinigung wird vom NorthStar-Server aufgerufen. Sie können die Bereinigungsaufgabe anzeigen (aber nicht ändern), indem Sie zu Administration > Task Schedulernavigieren. |
Dauer der Aufbewahrung von Rohdaten |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup raw-data-retention-duration Befehl. Definiert, was als "altes" Protokoll von Rohdaten in der Anzahl der Tage betrachtet wird. Die Einheiten können als "d" oder "Tage" eingegeben werden. Der Standardwert ist 14 Tage (14d oder 14days), was bedeutet, dass Rohdaten-Logs 14 Tage lang in Elasticsearch aufbewahrt werden. Um die Aufbewahrung von Rohdatenprotokollen zu deaktivieren, legen Sie den Wert auf 0d fest. |
Dauer der Aufbewahrung von Rollupdaten |
Verwenden Sie zum Ändern den set northstar system scheduler tasks collection-cleanup rollup-data-retention-duration Befehl. Definiert, was als "alte" aggregierte Daten in der Anzahl der Tage gelten. Die Einheiten können als "d" oder "Tage" eingegeben werden. Der Standardwert ist 180 Tage (180d oder 180days), was bedeutet, dass stündlich aggregierte Daten 180 Tage lang in Elasticsearch aufbewahrt werden. Um die Beibehaltung aggregierter Daten zu deaktivieren, legen Sie den Wert auf 0d fest. |
Intervall (Rollup) |
Verwenden Sie zum Ändern den set northstar system scheduler tasks rollup interval Befehl.
Hinweis:
Es wird empfohlen, diesen Standardwert nur zu ändern, um die Aggregation zu deaktivieren. Wenn Sie die Datenaggregation deaktivieren möchten, legen Sie den Wert auf 0h fest. Legt fest, wie oft die ESRollup-Systemaufgabe in der Anzahl der Stunden ausgeführt wird. Die Einheiten können als "h" oder "Stunden" eingegeben werden. Der Systemtask ESRollup führt das esrollup.py Skript aus, um die Daten des vorherigen Intervalls zu aggregieren. Der Standardwert ist 1 Stunde (1 Stunde oder 1 Stunde). Das esrollup.py Skript verwendet die Elasticsearch-APIs, um die Datenaggregation durchzuführen. Die ESRollup-Aufgabe wird vom NorthStar-Server aufgerufen. Sie können die Rollup-Aufgabe anzeigen (aber nicht ändern), indem Sie zu Administration > Task Schedulernavigieren. |
Die NorthStar-REST-API unterstützt die Aggregation von Telemetriedaten mit den zusätzlichen Parametern, die in Tabelle 2 beschrieben sind. Weitere Informationen finden Sie in der Dokumentation zur NorthStar-REST-API.
Parameter |
Beschreibung |
|---|---|
disable-rollup-query |
Wenn diese Option aktiviert ist, wird die Rollup-Abfragefunktionalität für stündlich aggregierte Daten deaktiviert. |
rollup-query-cutoff-intervall |
Wenn dieser Wert festgelegt ist und der angeforderte Zeitraum größer als rollup-query-cutoff-interval ist, verwendet die Abfrage den Rollup-Index, um Daten zu durchsuchen. |
Um Ihnen ein Beispiel für die Zusammenarbeit von Aggregationsparametern zu geben, nehmen wir an, Sie legen Folgendes fest:
collection-cleanup interval=7d raw-data-retention-duration=30d rollup-data-retention-duration=800d
In diesem Beispiel werden Rohdatenprotokolle, die älter als 30 Tage sind, und stündlich aggregierte Datenprotokolle, die älter als 800 Tage sind, alle sieben Tage gelöscht.
Die in den Rollup-Tasks enthaltenen Daten (Aggregationstypen, Felder und Zähler) werden in der schreibgeschützten esrollup_config.json-Datei definiert, die sich im Verzeichnis /opt/northstar/utils befindet.
Um die Systemaufgaben anzuzeigen, mit denen die esrollup.py- und collector-utils.py-Skripte gestartet werden, navigieren Sie in der NorthStar-Webbenutzeroberfläche zu Administration > Task Scheduler . In der Aufgabenliste gibt die Spalte Name CollectionCleanup oder ESRollup Task an. In der Spalte Type werden sie als ExecuteScript bezeichnet. Ein Beispiel ist in Abbildung 1 dargestellt.
Es gibt eine optionale Spalte in der Aufgabenliste, die angibt, ob es sich bei jeder Aufgabe um eine Systemaufgabe handelt. Bewegen Sie den Mauszeiger über eine beliebige Spaltenüberschrift, klicken Sie auf den angezeigten Pfeil nach unten und markieren Sie Columns , um eine Liste der verfügbaren Spalten anzuzeigen. Aktivieren Sie das Kontrollkästchen für Systemtask, um die Spalte Systemtask (true/false) für die Anzeige auszuwählen.
Wenn Sie eine Systemaufgabe auswählen, sind die Registerkarten "Zusammenfassung", "Status" und "Verlauf" am unteren Rand des Fensters verfügbar.