ソースとシンクの構成例
このトピックで提供される情報を使用して、サンプル ソースと対応するシンク構成を表示します。
scopeと形式に応じて、すべてのソースは次のように分類できます。
-
clusterまたはnode- 収集されるデータの範囲がクラスタ レベルかノード レベルかを指定します。 -
metricまたはlog- 収集される可観測性データの形式を指定します。
サポートされているノードソース
ルーティング・ディレクターは、以下のノード・ログおよびメトリック・ソースをサポートします。
syslog
ルーティング・ディレクター・クラスタ内のすべてのプライマリ・ノードとワーカー・ノードからシステム・ログを収集します。
カテゴリ: node, log
ソース構成の例:
root@node# set paragon monitoring source syslog node syslog
シンクの構成例:
root@node# set paragon monitoring sink syslogvlog inputs syslog root@node# set paragon monitoring sink syslogvlog elasticsearch mode bulk root@node# set paragon monitoring sink syslogvlog elasticsearch healthcheck enabled false root@node# set paragon monitoring sink syslogvlog elasticsearch api_version v8 root@node# set paragon monitoring sink syslogvlog elasticsearch compression gzip root@node# set paragon monitoring sink syslogvlog elasticsearch endpoints http://monitoring_node:9428/insert/elasticsearch/ root@node# set paragon monitoring sink syslogvlog elasticsearch query "X-Powered-By#Vector#_msg_field#message#_time#timestamp#_stream_fields#appname,hostname,facility,procid,severity,source_type"
Dockerログ
Routing Director Kubernetesクラスター内のプライマリノードとワーカーノード内のすべてのDockerコンテナからログを収集します。
カテゴリ: node, log
ソース構成の例:
root@node# set paragon monitoring source docker node docker_logs (optional) root@node# set paragon monitoring source docker node docker_logs include_containers container_id_or_name (optional) root@node# set paragon monitoring source docker node docker_logs exclude_containers container_id_or_name
シンクの構成例:
root@node# set paragon monitoring sink dockervlog inputs docker root@node# set paragon monitoring sink dockervlog elasticsearch mode bulk root@node# set paragon monitoring sink dockervlog elasticsearch healthcheck enabled false root@node# set paragon monitoring sink dockervlog elasticsearch api_version v8 set paragon monitoring sink dockervlog elasticsearch compression gzip root@node# set paragon monitoring sink dockervlog elasticsearch endpoints http://monitoring_node:9428/insert/elasticsearch/ root@node# set paragon monitoring sink dockervlog elasticsearch query "X-Powered-By#Vector#_msg_field#message#_time#timestamp#_stream_fields#container_name,container_id,stream,image"
手記：
暗黙的な変換 audit-parser は内部的に使用され、このソースに必要です。ソース ID が audit され、対応するシンクの入力フィールドが audit-parserである必要があります。
Paragon Shell cMGDログ
Paragon ShellからcMGDログを収集します。
カテゴリ: node, log
ソース構成の例:
root@node# set paragon monitoring source cmgd node cmgd_log
シンクの構成例:
root@node# set paragon monitoring sink cmgdvlog inputs cmgd root@node# set paragon monitoring sink cmgdvlog elasticsearch mode bulk root@node# set paragon monitoring sink cmgdvlog elasticsearch healthcheck enabled false root@node# set paragon monitoring sink cmgdvlog elasticsearch api_version v8 set root@node# paragon monitoring sink cmgdvlog elasticsearch compression gzip set paragon monitoring sink cmgdvlog elasticsearch endpoints http://monitoring_node:9428/insert/elasticsearch root@node# set paragon monitoring sink cmgdvlog elasticsearch query "X-Powered-By#Vector#_msg_field#message#_tim
ホストメトリック
Routing Directorクラスタノードからホストリソースの使用状況を収集します。
カテゴリ: ノード、メトリック
ソース構成の例:
root@node# set paragon monitoring source host node host_metrics scrape_interval_secs 60
シンクの構成例:
root@node# set paragon monitoring sink vm inputs add-hostname root@node# set paragon monitoring sink vm prometheus_remote_write endpoint http://monitoring_node:8428/api/v1/write root@node# set paragon monitoring sink vm prometheus_remote_write compression zstd root@node# set paragon monitoring sink vm prometheus_remote_write healthcheck enabled false
手記：
暗黙的な変換 add-hostname は、処理されたデータにホスト名フィールドを追加するために内部的に使用されます。ソース ID は host である必要があり、対応するシンクの入力フィールドは add-hostnameである必要があります。
サポートされているクラスタソース
ルーティング・ディレクターは、以下のクラスタ・ログおよびメトリック・ソースをサポートします。
Kubernetesログ
すべての Kubernetes ポッドからログを収集します。
カテゴリ: クラスター、ログ
ソース構成の例:
root@node# set paragon monitoring source k8s cluster kubernetes_logs
シンクの構成例:
root@node# set paragon monitoring sink kuberneteslog inputs k8s root@node# set paragon monitoring sink kuberneteslog elasticsearch mode bulk root@node# set paragon monitoring sink kuberneteslog elasticsearch healthcheck enabled false root@node# set paragon monitoring sink kuberneteslog elasticsearch api_version v8 root@node# set paragon monitoring sink kuberneteslog elasticsearch compression gzip root@node# set paragon monitoring sink kuberneteslog elasticsearch endpoints http://monitoring_node:9428/insert/elasticsearch/ root@node# set paragon monitoring sink kuberneteslog elasticsearch query "X-Powered-By#Vector#_msg_field#message#_time#timestamp#_stream_fields#kubernetes.pod_namespace,kubernetes.pod_name,kubernetes.pod_node_name"
監査ログ
ルーティングディレクターの監査ログからログを収集します。
カテゴリ: クラスター、ログ
ソース構成の例:
root@node# set paragon monitoring source audit cluster kafka bootstrap_servers kafka.common:9092 root@node# set paragon monitoring source audit cluster kafka group_id vector-kafka-consumer root@node# set paragon monitoring source audit cluster kafka topics audits-dev
シンクの構成例:
root@node# set paragon monitoring sink auditvlog inputs audit-parser root@node# set paragon monitoring sink auditvlog elasticsearch mode bulk root@node# set paragon monitoring sink auditvlog elasticsearch healthcheck enabled false root@node# set paragon monitoring sink auditvlog elasticsearch api_version v8 root@node# set paragon monitoring sink auditvlog elasticsearch compression gzip root@node# set paragon monitoring sink auditvlog elasticsearch endpoints http://monitoring_node:9428/insert/elasticsearch root@node# set paragon monitoring sink auditvlog elasticsearch query "X-Powered-By#Vector#_msg_field#message#_time#timestamp#_stream_fields#org_id,site_id,admin_name,src_ip"
Kube状態メトリック
kube-state-metricからKubernetesリソースの使用状況を収集します。
カテゴリ: クラスター、メトリック
ソース構成の例:
root@node# set paragon monitoring source ksm cluster prometheus_scrape endpoints http://kube-state-metrics.kube-system:8080/metrics root@node# set paragon monitoring source ksm cluster prometheus_scrape scrape_interval_secs 60
シンクの構成例:
root@node# set paragon monitoring sink vm inputs add-hostname root@node# set paragon monitoring sink vm prometheus_remote_write endpoint http://monitoring_node:8428/api/v1/write root@node# set paragon monitoring sink vm prometheus_remote_write compression zstd root@node# set paragon monitoring sink vm prometheus_remote_write healthcheck enabled false
手記：
暗黙的な変換 add-hostname は、処理されたデータにホスト名フィールドを追加するために内部的に使用されます。ソース ID は ksm する必要があり、対応するシンクの入力フィールドは add-hostnameである必要があります。
Kubernetesコンテナメトリック
Routing Directorクラスター内のKubernetesポッドのコンテナリソースの使用状況を収集します。
カテゴリ: クラスター、メトリック
ソース構成の例:
root@node# set paragon monitoring source k8s_container_metric cluster kubernetes_container_metrics
シンクの構成例:
root@node# set paragon monitoring sink cadvisor inputs k8s_container_metric root@node# set paragon monitoring sink cadvisor prometheus_remote_write endpoint http://monitoring_node:8428/api/v1/write root@node# set paragon monitoring sink cadvisor prometheus_remote_write compression zstd root@node# set paragon monitoring sink cadvisor prometheus_remote_write healthcheck enabled false
サポートされているシンク
すべてのシンクは、シンクが受け入れる可観測性データの形式を識別するために、次の方法で log または metric として分類することもできます。
データ シンクはログ ソースからの入力のみを受け入れることができ、メトリック シンクはメトリック ソースからの入力のみを受け入れることができます。
ルーティング・ディレクターは、以下のクラスタ・ログおよびメトリック・シンクをサポートします。
Elasticsearch
Elasticsearch形式をサポートする宛先にデータを送信します。
カテゴリー: log
使用可能なオプションは次のとおりです。
root@node# set paragon monitoring sink id elasticsearch ? Possible completions: api_version The API version of Elasticsearch + apply-groups Groups from which to inherit configuration data + apply-groups-except Don't inherit configuration data from these groups compression Data compression method. Default is none + endpoints HTTP(S) endpoint of sources/sinks > healthcheck Whether or not to check the health of the sink when Vector starts up mode Elasticsearch Indexing mode query Custom parameters to add to the query string for each HTTP request sent to Elasticsearch. In the format of arg1_key#arg1_value#arg2_key#arg2_value... Number of hashtag separated items has to be an even number
Prometheus リモート書き込み
メトリックデータを Prometheus リモート書き込みエンドポイントに配信します。
カテゴリー: メトリック
使用可能なオプションは次のとおりです。
root@node# set paragon monitoring sink id prometheus_remote_write ? Possible completions: + apply-groups Groups from which to inherit configuration data + apply-groups-except Don't inherit configuration data from these groups compression Data compression method. Default is snappy endpoint HTTP(S) endpoint > healthcheck Whether or not to check the health of the sink when Vector starts up
詳細については、「 https://prometheus.io/docs/practices/remote_write/」を参照してください。
既定のソースとシンク
ルーティング・ディレクター・クラスタの初回インストール時に、以下の3つのソースが自動的に作成されます。
-
Kube State Metric—
ksm -
ホスト -
host -
監査ログ -
audit
root@node# show paragon monitoring source ? Possible completions: <id> ID of the source. Should be of pattern [a-z][a-z0-9_-]* audit ID of the source. Should be of pattern [a-z][a-z0-9_-]* host ID of the source. Should be of pattern [a-z][a-z0-9_-]* ksm ID of the source. Should be of pattern [a-z][a-z0-9_-]*
デフォルト ソースごとに設定を変更できますが、ソースを削除することはできません。
Routing Director クラスタがアクセスできる独自のネットワーク上に独自のシンクをセットアップして構成する必要があります。