Conservation des données brutes et agrégées de NorthStar Analytics
Les journaux de données brutes sont conservés dans Elasticsearch pendant un nombre de jours configurable par l’utilisateur. Les données sont également cumulées toutes les heures et conservées pendant un nombre de jours configurable par l’utilisateur. L’objectif de l’agrégation est de rendre plus possible une conservation plus longue des données compte tenu de l’espace disque limité. Lorsque vous modifiez ces paramètres de rétention, gardez à l’esprit qu’il y a un impact sur vos ressources de stockage.
Les noms de fichiers de données agrégées horaires stockées utilisent le format suivant : rollups-northstar-aaaa-mm-jj.
Les paramètres décrits dans le Tableau 1 fonctionnent ensemble pour contrôler les comportements de rétention et d’agrégation des données. Vous pouvez modifier ces paramètres à l’aide du CLI NorthStar comme décrit dans Configuration des paramètres NorthStar à l’aide du CLI NorthStar. Utilisez la set northstar system scheduler tasks hiérarchie de commandes pour accéder à tous ces paramètres.
| Paramètre |
Descriptif |
|---|---|
| intervalle (collecte-nettoyage) |
Pour modifier, utilisez la set northstar system scheduler tasks collection-cleanup interval commande. Contrôle la fréquence d’exécution de la tâche système de collecte-nettoyage, en nombre de jours exprimé en « d » ou « jours ». Exemples : 1 jours, 4 jours. Cette tâche exécute le script collector-utils.py pour nettoyer les anciens journaux. La valeur par défaut est un jour (1d). Pour désactiver le nettoyage de la collection, définissez la valeur sur 0d. Le script collector-utils.py s’exécute vers 1h00 du matin, heure du serveur NorthStar. Le script collector-utils.py utilise les API d’Elasticsearch pour nettoyer les « anciennes » données comme suit :
La tâche de nettoyage de la collection est appelée à partir du serveur NorthStar. Vous pouvez afficher (mais pas modifier) la tâche de nettoyage en accédant à Administration > Task Scheduler. |
| durée de rétention des données brutes |
Pour modifier, utilisez la set northstar system scheduler tasks collection-cleanup raw-data-retention-duration commande. Définit ce qui est considéré comme un « ancien » journal de données brutes en nombre de jours. Les unités peuvent être saisies sous la forme « d » ou « jours ». La valeur par défaut est de 14 jours (14 jours ou 14 jours), ce qui signifie que les journaux de données brutes sont conservés dans Elasticsearch pendant 14 jours. Pour désactiver la conservation des journaux de données brutes, définissez la valeur sur 0d. |
| rollup-data-retention-duration |
Pour modifier, utilisez la set northstar system scheduler tasks collection-cleanup rollup-data-retention-duration commande. Définit les données agrégées considérées comme « anciennes » en nombre de jours. Les unités peuvent être saisies sous la forme « d » ou « jours ». La valeur par défaut est de 180 jours (180 jours ou 180 jours), ce qui signifie que les données agrégées horaires sont conservées dans Elasticsearch pendant 180 jours. Pour désactiver la rétention des données agrégées, définissez la valeur sur 0d. |
| intervalle (cumul) |
Pour modifier, utilisez la set northstar system scheduler tasks rollup interval commande.
Remarque :
Nous vous recommandons de ne pas modifier cette valeur par défaut, sauf pour désactiver l’agrégation. Si vous souhaitez désactiver l’agrégation de données, définissez la valeur sur 0h. Définit la fréquence d’exécution de la tâche système ESRollup en nombre d’heures. Les unités peuvent être saisies sous forme de « h » ou d'« heures ». La tâche système ESRollup exécute le script esrollup.py pour agréger les données de l’intervalle précédent. La valeur par défaut est de 1 heure (1h ou 1 heure). Le script esrollup.py utilise les API d’Elasticsearch pour effectuer l’agrégation des données. La tâche ESRollup est appelée à partir du serveur NorthStar. Vous pouvez afficher (mais pas modifier) la tâche de cumul en accédant à Administration > Task Scheduler. |
L’API REST NorthStar prend en charge l’agrégation des données de télémétrie avec les paramètres supplémentaires décrits dans le Tableau 2. Consultez la documentation de l’API REST NorthStar pour plus d’informations.
| Paramètre |
Descriptif |
|---|---|
| disable-rollup-query |
Si cette option est définie, désactive la fonctionnalité de requête de cumul des données agrégées horaires. |
| rollup-query-cutoff-interval |
Si cette option est définie et que l’intervalle de temps demandé est supérieur à rollup-query-cutoff-interval à partir de maintenant, la requête utilise l’index de roll-up pour rechercher des données. |
Pour vous donner un exemple de la façon dont les paramètres d’agrégation fonctionnent ensemble, supposons que vous définissiez ce qui suit :
collection-cleanup interval=7d
raw-data-retention-duration=30d
rollup-data-retention-duration=800d
Dans cet exemple, les journaux de données brutes de plus de 30 jours et les journaux de données agrégées horaires de plus de 800 jours sont configurés pour être purgés tous les sept jours.
Les données incluses dans les tâches de cumul (types d’agrégation, champs et compteurs) sont définies dans le fichier esrollup_config.json en lecture seule situé dans le répertoire /opt/northstar/utils .
Pour afficher les tâches système qui lancent les scripts esrollup.py et collector-utils.py, accédez à Administration > Task Scheduler dans l’interface utilisateur Web NorthStar. Dans la liste Tâche, la colonne Nom indique CollectionCleanup ou ESRollup Tâche. Dans la colonne Type, ils sont désignés comme ExecuteScript. Un exemple est illustré à la figure 1.
système
Il existe une colonne facultative dans la liste des tâches qui indique si chaque tâche est une tâche système. Survolez un en-tête de colonne, cliquez sur la flèche vers le bas qui apparaît et mettez en surbrillance Columns pour afficher la liste des colonnes disponibles. Cochez la case Tâche système pour sélectionner la colonne Tâche système (vrai/faux) à inclure dans l’affichage.
Lorsque vous sélectionnez une tâche système, les onglets Résumé, État et Historique sont disponibles en bas de la fenêtre.