LLM 커넥터 개요

Routing Director에 내장된 LLM 커넥터 도구는 대규모 언어 모델(LLM)(bring your own LLM이라고도 함)을 활용하여 네트워크 모니터링 작업을 간소화하기 위한 고급 AI 기반 도구입니다.

LLM 커넥터를 사용하면 기존의 CLI 명령 없이도 자연어를 사용하여 네트워크 상태를 쿼리하고 문제 해결 정보를 쉽게 얻을 수 있습니다. 자연어 인터페이스는 간단한 상태 확인에서 보다 복잡한 문제 해결 명령에 이르기까지 다양한 쿼리 유형을 지원합니다.

LLM 커넥터는 쿼리를 입력할 수 있는 채팅 창을 제공합니다. 그림 1 은 최소화되었을 때(기본값) LLM 커넥터 채팅 창을 보여줍니다.

그림 1: LLM 커넥터 채팅 창 LLM Connector chat window

1 — 쿼리 입력 필드	4 — 설정 아이콘
2 — 새 대화 아이콘	5 — 최대화 아이콘
3 — 채팅 기록 아이콘

LLM 커넥터는 필요한 경우 휴식 시간 후에도 쿼리를 계속할 수 있도록 세션에 쿼리를 유지합니다.

세션은 한 시간 동안 활성화됩니다. 세션이 한 시간 이상 유휴 상태인 경우 LLM 커넥터는 다음 쿼리 세트에 대한 새 세션을 생성합니다. 이전 쿼리로 돌아가려면 채팅 기록 (시계) 아이콘(LLM 커넥터 창의 오른쪽 모서리에 있음)을 클릭합니다. 채팅 기록에는 이전 대화가 모두 나열됩니다. 대화를 계속하려면 대화를 클릭하십시오.

쿼리를 시작하면 LLM 커넥터는 사용자가 구성한 LLM과 연결되어 컨텍스트 지원을 제공합니다. LLM은 일반적인 질문에 답할 수 있고 운영상의 '읽기 전용' 네트워크 명령도 실행할 수 있습니다.

참고:

LLM은 특정 날짜까지의 데이터로 학습됩니다. 따라서 LLM에는 최신 Routing Director 릴리스 및 기능에 대한 정보가 포함되지 않을 수 있습니다.

각 응답의 하단에서 LLM 커넥터는 다음을 제공합니다.

응답 시간: 답변을 생성하는 데 걸리는 기간을 표시합니다.
피드백 옵션: 응답의 품질을 평가할 수 있습니다.
복사 옵션: 채팅 창에 표시된 응답과 추가 메타데이터가 포함된 전체 API 응답을 복사하는 기능을 제공합니다.

LLM 커넥터 도구를 사용하려면 LLM을 설정하고 API 키 및 모델 세부 정보와 같은 매개 변수를 제공해야 합니다. LLM 구성에 대한 자세한 내용은 LLM 커넥터 구성 단원을 참조하십시오.

쿼리 예제

LLM 커넥터는 다음과 같은 이점을 제공합니다.

디바이스 정보 검색. 예를 들면 다음과 같습니다.
- 호스트 이름, 모델 및 OS 버전과 함께 네트워크의 모든 라우터를 나열합니다.
- 지난 24시간 동안 디바이스 A의 주요 알람 및 경고를 나열합니다.
Junos OS 운영 명령 실행. 예를 들면 다음과 같습니다.
- 디바이스 A에서 작동 중단된 모든 인터페이스를 나열합니다. 관리자 상태 및 설명을 포함합니다.
- 지난 24시간 동안 디바이스 A의 중요 및 주요 알람을 표시합니다.
디바이스에서 수집된 텔레메트리를 기반으로 인사이트 얻기. 예를 들면 다음과 같습니다.
- 디바이스 A의 인터페이스 et-0/0/0에 대한 지난 6시간의 텔레메트리를 분석합니다.
- 지난 12시간 동안 디바이스 A의 상태(CPU, 메모리 사용률, 온도, 팬 RPM)에 대한 인사이트를 제공합니다.
네트워크에 있는 모든 VPN 목록과 해당 세부 정보, 메트릭, 상태 정보를 검색합니다. 예를 들면 다음과 같습니다.
- 네트워크 전체의 모든 VPN 목록을 검색합니다. 각 VPN에 대해 SLA 준수, 활성 알람 및 인시던트, 최근 플랩, 마지막 변경 시간을 표 형식으로 포함합니다.
- 디바이스 A에 구성된 모든 VPN 터널을 나열합니다.
고객 및 고객과 연관된 서비스 인스턴스에 대한 정보를 가져옵니다. 예를 들면 다음과 같습니다.
- 내 네트워크의 모든 고객 목록과 각 고객에 대해 연결된 VPN의 세부 정보를 검색합니다.
- 현재 성능 저하 또는 중단된 서비스 인스턴스를 고객별로 그룹화하여 나열합니다.
상태 및 메트릭 그래프와 관련된 동적 그래프 플롯. 예를 들면 다음과 같습니다.
- 디바이스 X에서 ge-0/1/2의 인터페이스 트래픽 활용도와 작동 상태를 플로팅합니다.
- 디바이스 Y의 FPC 메모리 사용률 및 라우팅 엔진 CPU 사용률을 플로팅합니다.
집계 쿼리에 응답합니다. 예를 들면 다음과 같습니다.
- 인벤토리에서 전력 소비가 가장 높은 상위 5개 및 하위 5개 디바이스를 나열합니다.
- 디바이스 X의 평균 인터페이스 사용률을 나열합니다.

LLM 커넥터 설정

LLM 커넥터 액세스

그림 2와 같이 GUI의 오른쪽 하단 모서리에 표시된 LLM 커넥터 아이콘을 클릭하여 LLM 커넥터에 액세스할 수 있습니다. 아이콘을 이리저리 움직여 GUI의 네 모서리 중 하나에 고정할 수 있습니다.

그림 2: LLM 커넥터 Routing Director GUI showing LLM Connector

를 보여주는 Routing Director GUI

—

LLM 커넥터 아이콘

LLM 커넥터 작업

LLM 커넥터는 LLM 커넥터 채팅 창에서 다음과 같은 작업 메뉴 항목을 제공합니다.

채팅 기록 - LLM 커넥터 창 상단의 채팅 기록 (시계) 아이콘을 클릭하여 채팅 기록을 확인합니다. 채팅 기록 아이콘을 다시 클릭하여 채팅 기록을 닫습니다.

채팅 기록이 나열되고 채팅 시간별로 오늘, 어제, 지난주 등으로 그룹화됩니다. 채팅 기록은 창이 최대화되면 LLM 커넥터 창의 왼쪽에 표시됩니다.

새 대화를 열려면 새 대화 아이콘(+)을 클릭합니다.
검색: 검색 필드에 검색 텍스트를 입력하여 대화 및 채팅을 검색합니다. LLM 커넥터는 사용자가 입력한 검색 텍스트를 채팅 기록의 쿼리 텍스트와 일치시키고 해당 대화를 가져옵니다.

검색 필드는 채팅 기록 목록 위에 있으며 LLM 커넥터 창을 최대화했을 때 표시됩니다.
설정 - LLM 커넥터에 대해 다음 설정을 구성합니다.
- 모델 - LLM 커넥터에서 사용할 모델을 선택합니다.
  
  사용 가능한 옵션: Azure OpenAI 및 OpenAI
- 온도 - LLM 온도를 설정합니다. LLM 온도는 LLM 출력의 무작위성 또는 창의성을 제어합니다. LLM은 낮은 온도에서 일관되고 결정적인 출력을 제공하는 반면, 높은 값에서는 출력이 더 창의적이고 다양합니다.
  
  범위: 0.1(기본값)에서 1
- 상단 P - LLM 커넥터의 상단 P를 설정합니다. Top-P는 LLM이 텍스트를 생성할 때 고려하는 단어 선택의 수를 제어합니다. 낮은 Top-P는 더 집중적이고 예측 가능한 반면, 높은 값은 더 창의적이고 다양합니다. Top-P를 온도와 함께 사용합니다.
- 범위: 0.1(기본값)에서 1
LLM 커넥터 메뉴 항목에 대한 참조는 그림 1 을 참조하십시오.

LLM 커넥터의 이점

NOC 팀의 업무량 감소: LLM 커넥터는 문제 해결 작업에 대한 명확한 지침을 제공함으로써 네트워크 운영 센터(NOC) 팀의 운영 부담을 크게 줄여 더 복잡한 문제에 집중할 수 있도록 해줍니다.
문제 해결 가속화: LLM 커넥터는 필요한 명령을 실행하고 결과를 구문 분석하여 상황에 맞는 신속한 솔루션을 제공하므로 문제를 빠르게 해결할 수 있습니다.
교육 요구 사항 간소화: LLM 커넥터는 신규 운영자가 자연어 쿼리를 사용하여 Routing Director와 상호 작용할 수 있도록 함으로써 능숙해지는 데 필요한 시간과 노력을 줄여 Routing Director 작업을 위한 학습 곡선을 최소화합니다.
데이터 개인 정보 보호 및 보안 강화: 클라우드, 프라이빗 클라우드 및 온프레미스 배포를 지원함으로써 LLM 커넥터는 다양한 데이터 개인 정보 보호 및 보안 요구 사항을 충족하는 유연한 옵션을 제공하여 안전한 운영을 보장합니다.
시스템 사용성 향상: 함수 호출 기능과 다양한 LLM 모델을 통합하면 외부 시스템과의 정확하고 효율적인 상호 작용이 가능해 문제 해결 도구로서 Routing Director의 전반적인 유용성이 향상됩니다.