Help us improve your experience.

Let us know what you think.

Do you have time for a two-minute survey?

 
이 페이지의 내용
 

디바이스 텔레메트리 상태 프로브

프로브 개요

디바이스 텔레메트리 상태 프로브는 텔레메트리 수집기 상태를 확인합니다. 사용 가능한 서비스 실행의 수집 통계에 대한 분석을 실행하고 텔레메트리 수집 상태가 저하되면 이상이 발생합니다.User interface for configuring a Diagram of telemetry data showing central node Telemetry Stats linked to issues: Degraded Wait Time, Sustained Execution Failures, Timeouts, and Underruns.

이 프로브에 대한 자세한 내용을 보려면 청사진의 분석 > 프로브로 이동하여 프로브 생성을 클릭한 다음 드롭다운 목록에서 사전 정의된 프로브 인스턴스화 를 선택합니다. 사전 정의된 프로브 드롭다운 목록에서 프로브를 선택하여 프로브와 관련된 세부 정보를 확인합니다.

AI 패브릭 개선 사항

버전 6.0은 디바이스 텔레메트리 상태 프로브를 개선하여 추가 텔레메트리 서비스를 모니터링하고 향후 서비스를 자동으로 포함합니다. 이러한 업데이트는 향후 서비스의 효율적 통합을 통해 텔레메트리 수집 및 모니터링을 강화합니다.

디바이스 텔레메트리 상태 프로브는 서비스 실행 통계를 분석하여 텔레메트리 수집기 상태를 모니터링합니다. 또한 프로브는 텔레메트리 수집 품질이 저하될 때 이상을 탐지하여 사전 대응을 가능하게 합니다. 주요 특징은 다음과 같습니다.

  • 컴퓨팅 시스템 전반에서 중요한 텔레메트리 서비스 모니터링

  • 새로운 텔레메트리 서비스 자동 통합

  • 추세 분석을 위한 과거 데이터 캡처

텔레메트리 서비스 모니터링

버전 6.0부터 디바이스 텔레메트리 상태 프로브는 컴퓨팅 시스템에서 실행되는 8개의 중요한 텔레메트리 서비스의 상태를 모니터링합니다. 다음은 모니터링되는 각 서비스에 대한 간략한 설명입니다.

Telemetry monitoring dashboard for compute systems showing stats of services like run count, success count, and execution time.

기존 서비스:

  • 인터페이스: 네트워크 인터페이스의 작동 상태 및 구성을 추적합니다.

  • Interface_Counters: 패킷 수, 오류 및 드롭과 같은 인터페이스 통계를 모니터링합니다.

  • LLDP(Link Layer Discovery Protocol): 디바이스 간의 토폴로지 및 연결을 확인하기 위해 이웃 검색 정보를 수집합니다.

  • 호스트 이름: 디바이스의 호스트 이름이 올바르게 정의되었는지 확인합니다.

  • resource_util: CPU, 메모리, 스토리지 등의 시스템 리소스 활용도를 모니터링합니다.

  • disk_util: 읽기/쓰기 작업 및 용량 사용률과 같은 디스크 사용량 통계를 모니터링합니다.

6.0에 추가된 서비스:

  • gpu_hardware_counters: 사용률 및 성능 카운터와 같은 GPU 하드웨어 메트릭을 모니터링합니다.

  • gpu_infiniband_dev_to_interface: InfiniBand Mellanox 인터페이스와 GPU NICS 간의 매핑을 추적합니다. 인터페이스의 상태를 모니터링합니다.

프로브 설정


Configuration interface for editing Device Telemetry Health probe. Set parameters for anomaly detection in telemetry data, including max waiting time, anomaly time window, threshold duration, history retention, and gRPC error monitoring.
프로브에는 다음과 같은 설정이 있습니다.

  • 최대 대기 시간: 120초(서비스 실행의 최대 시간).

  • 이상 시간 창: 10분(이상 관찰 기간).

  • 임계값 기간: 6분(지속적인 오류가 경고를 트리거하는 데 필요한 시간).

  • 기록 보존 기간: 30일(텔레메트리 데이터 보존 시간).

  • 기간 내 최대 gRPC 오류: 1개 오류(gRPC 오류의 임계값).

  • gRPC 오류 모니터링 기간: 5분(gRPC 오류 추적을 위한 시간 창)