2.1 DPI와 AI 기반 탐지 모델 비교

전통적인 네트워크 침입 탐지 시스템(IDS)은 패킷 페이로드를 직접 검사하여 알려진 공격 시그니처와 비교하는 DPI 방식으로 이상 트래픽을 탐지하였다.하지만 암호화 트래픽이 대다수를 차지함에 따라 페이로드의 컨텐츠를 분석하는 DPI 방식은 탐지 성능이 급격히 저하되었고, Table 1.과 같이 트래픽의 메타 데이터 및 패턴을 분석하는 AI 기반 탐지 모델이 대안으로 대두되었으며, 실직적으로도 높은 탐지 효율성을 보여준다.

2.2 트래픽 메타데이터 및 행동 특징 추출

AI 탐지 모델은 트래픽에서 암호화되지 않는 외형적 특징을 분석한다. 예를 들어 패킷 크기 별 분포, 패킷 간 도착 간격, 세션 유지 시간, 프로토콜 메타데이터 등을 주요 피처로 활용할 수 있다.

정보 이론적 관점의 엔트로피 분석과 주기성 탐지, 계층적 구조 분석을 통해 정상 트래픽과 악의적 해커 서버 간의 차이를 밝혀낼 수 있다^[6]. 특히 최근 연구 중 세션의 초기 784바이트를 2차원 그레이스케일 이미지로 변환하여 CNN에 입력하는 시각화 기법을 채택한 연구도 찾아볼 수 있다^[7]. 이 방식은 암호화된 프로토콜 내 구조적 패턴을 효과적으로 추출하며, VPN과 non-VPN 트래픽 구분에서 99% 이상의 정확도를 보여준다^[8].

트래픽 메타데이터는 크게 패킷 수준, 플로우 수준, 세션 수준의 세 계층으로 구분된다^[9]. 패킷 수준에서는 개별 패킷의 크기, 패킷 간 도착 시간(Inter-Packet Arrival Time, IPA), 전송 방향 등의 피처를 추출할 수 있다^[10]. 플로우 수준에서는 출발지IP, 목적지IP, 포트, 프로토콜 별로 집계된 패킷들의 통계 값인 바이트 전송률, 패킷 전송률, 통신의 지속 시간 등을 활용한다^[11]. 세션 수준에서는 인바운드·아웃바운드 플로우를 양방향으로 결합하여 송수신 바이트 비율, 응답 시간 분포 등 응용 계층의 행동 특성을 반영하는 피처를 추가로 도출할 수 있다.

이러한 메타데이터 피처 중에서도 특히 포트와 무관한 피처의 중요성이 부각된다. 기존의 포트 번호 기반 탐지는 비표준 포트를 사용하는 우회 공격에 취약하므로, 포트 번호를 배제하고 통신의 행동 패턴만으로 프로토콜을 식별하는 접근이 요구된다. 패킷 도착 간격의 평균 및 분산, 패킷 크기 분포, 세션 방향 비율, 엔트로피 기반 랜덤성 지표 등은 암호화 여부와 무관하게 추출 가능하며, 서비스 유형에 따라 고유한 통계적 특성을 나타내므로 포트 독립적 분류의 핵심 피처로 활용된다^{[5, 12]}. 특히 봇넷 트래픽은 일정한 비콘 주기를 가지므로, 패킷 도착 간격의 주기성 분석이 악성 트래픽 탐지에 효과적으로 적용될 수 있다^[6].

한편 트래픽 메타데이터의 해석 가능성을 확보하기 위한 연구도 활발히 진행되고 있다. 각 피처가 탐지 모델의 예측에 미치는 기여도를 정량화하기 위해 게임 이론 기반의 SHAP(SHapley Additive exPlanations) 방법론이 적용되며, 이를 통해 어떤 피처가 특정 공격 탐지에 핵심적인 역할을 하는지 데이터 기반으로 분석할 수 있다^[13]. 이는 보안 전문가의 직관에 의존하던 피처 선정 과정을 객관화하고, 탐지 모델의 신뢰성을 제고하는 데 중요한 역할을 한다.

2.3 심층 학습 모델 적용

네트워크 트래픽은 시간적 순서가 중요한 시계열 데이터이므로 RNN, LSTM, GRU 기반 모델이 널리 활용된다. CNN과 GRU를 결합한 하이브리드 모델은 공간적, 시간적 특징을 동시에 포착하여 단일 모델보다 우수한 성능을 발휘하기도 한다^[14]. 또한 Graph Neural Network(GNN)은 IP와 포트를 노드로, 트래픽 흐름을 엣지로 모델링하여 공격자의 측면 이동 공격이나 봇넷 통신 구조를 파악하는데 용이하다^{[15, 16]}. GNN 알고리즘을 이용한 HyperVision은 흐름 상호작용 그래프를 통해 암호화 페이로드에 의존하지 않는 탐지 성능을 보여주었다^[17]. Table 2는 주요 심층 학습 모델을 비교하고 있다.

2.4 비지도 학습 및 자기 지도 학습 적용

비지도 학습은 데이터의 별도 레이블을 사전에 정의하지 않고 데이터들의 숨겨진 구조나 패턴을 찾아내는 것으로 이를 이상 트래픽 탐지 기술에 적용하면 별도 위협 트래픽의 사전 학습 없이 이상 트래픽을 탐지할 수 있다. 이는 별도 라벨 없이도 알려지지 않은 공격을 탐지할 수 있어 위협 트래픽이 충분히 확보되지 않은 상황에서 유용하며, 특히 제로데이 위협 대응에 효과적으로 적용할 수 있다.

비지도 학습 기반 알고리즘에는 재구성 오차를 활용하는 Autoencoder, 데이터 간 밀도 및 거리를 기반으로 하는 One-Class SVM(OCSVM), 입체적인 초구를 경계선으로 구분하는 Deep Support Vector Data Description(SVDD) 등의 알고리즘을 살펴볼 수 있다. Autoencoder 기반 이상 트래픽 탐지 모델은 재구성 오차를 기반으로 정상 트래픽 분포를 학습한 후 해당 임계 값을 초과하는 세션에 대해서는 이상 트래픽으로 분류하는 방식이다. 정상 트래픽 데이터만으로 입력을 받아 압축·복원한 재구성 오차에 비해 이상 트래픽은 재구성 오차가 크게 발생하게 되므로 탐지가 가능하게 되는 원리이다.

자기 지도 학습(Self-Supervised Learning, SSL)은 레이블이 없는 데이터에서 학습 신호를 자동으로 생성하여 의미있는 데이터 표현을 만들어 내는 방법론이다. 이중 대조 학습은 유사·비유사 쌍의 구분을 통해 레이블없이 분류가 가능하다^[18]. 대조 학습의 대표적인 프레임워크인 ET-SSL은 정상 트래픽이 임베딩 공간에서 가깝게 뭉치도록 하고, 이상 트래픽은 멀리 분리되도록 유도하는 방식을 통해 10Gbps 고속 환경에서도 15~25ms의 낮은 지연으로 실시간 탐지가 가능한 확장성을 제공한다^[19].

2.5 생성형 AI 기반 데이터 증강

나아가 생성형 AI를 통해 데이터를 합성할 경우 자기 지도 학습을 통해 레이블을 맵핑하여 학습 데이터로서의 활용도를 높일 수 있다. GAN과 VAE를 활용하여 실제 공격 트래픽과 통계적으로 유사한 합성 데이터를 생성함으로써 데이터 불균형 문제를 해소하는 접근법이 주목받고 있다. CTGAN, CopulaGAN 등 테이블형 데이터 특화 생성 모델을 적용함으로써 소수 클래스 학습 샘플을 대폭 보강할 수 있다^[20].

2.6 LLM 기반 위협 예측

네트워크 로그를 구조화 텍스트 형태로 변환하여 LLM이 시맨틱 의미를 분석하고 위협을 예측한다. 검색 증강 생성(Retrieval-Augmented Generation, RAG)와 결합하면 최신 위협 인텔리전스를 실시간 참조하여 재학습 없이도 새로운 공격 유형에 대응할 수 있다. LLM 기반 이상 트래픽 예측은 크게 세 단계로 구성된다. 먼저 패킷 크기, 패킷 도착 간격, 세션 유지 시간 등 수치 피처를 자연어 형태로 변환하는 전처리 단계, 두번째로 변환된 텍스트를 LLM에 입력하여 트래픽의 시맨틱 패턴과 공격 의도를 추론하는 단계, 마지막으로 RAG를 통해 최신 위협 인텔리전스를 실시간 참조하여 재학습 없이도 미지의 공격 유형에 대응하는 단계이다. 이 과정을 통해 단순 이상 여부 판별을 넘어 공격 유형 예측, 탐지 근거 생성, 사람이 이해 가능한 탐지 규칙 자동 생성 등이 가능하다^{[21, 22]}.

3.1 플랫폼 설계 개요

Table 3은 암호화 트래픽 탐지 플랫폼의 3단계 프로세스별 문제점, 기술 발전 추이, 관련 연구 및 솔루션을 통합 정리한 내용이다. 참고로 각 단계의 기술발전 추이에 해당하는 기존 실증 연구 성과를 명시하여, 유사 연구 수행 시 참고할 수 있도록 구성하였다.

3.2 (1단계) 데이터 수집

공격 트래픽은 실운영 환경에서 정상 트래픽 대비 작은 수량으로 존재하는 극단적 불균형 문제를 내포한다. 1세대 DPI 기반 수집은 암호화 환경에서 적용이 어려우며, 2세대의 플로우 데이터(NetFlow/IPFIX) 수집이 현재 주류를 이루고 있다.

네트워크 트래픽 수집 방식은 크게 패킷(Packet) 기반, 플로우(Flow) 기반, 세션(Session) 기반으로 구분된다. 패킷 기반 데이터는 상세한 통신 정보를 포함하지만 데이터 크기가 방대하여 분석에 막대한 컴퓨팅 자원이 요구된다. 플로우 기반 데이터(NetFlow)는 출발지·목적지 주소가 동일한 패킷들을 하나로 집계하여 크기를 대폭 줄일 수 있지만, 단방향성으로 인해 전체 세션의 맥락을 파악하기 어렵다는 한계가 있다. 이를 보완하기 위해 세션 기반 데이터는 양방향의 인바운드, 아웃바운드 플로우를 하나로 결합한 데이터로 표현하여, 플로우 데이터 단독으로는 표현하지 못하는 통신의 맥락을 분석할 수 있다^[12]. 이러한 방식으로 DARPA99 Week4 데이터셋 기준으로 패킷 기반 대비 세션 기반 데이터의 행을 6,461,795건에서 175,330건으로 약 97% 감소시켜 학습 데이터의 처리 효율을 대폭 개선하였다.

3세대에서는 GAN, VAE 등 생성형 AI를 활용하여 소수 클래스 공격 트래픽을 합성함으로써 원본 학습 데이터를 이용하는 모델 탐지 성능 대비 재현율(Recall)을 최대 35% 향상시키는 연구가 진행되었다^[20].

실제 네트워크 환경에서 SSH 공격 트래픽은 정상 트래픽 대비 극히 희소하여 심각한 클래스 불균형 문제를 야기한다. 기존 연구에서는 이러한 문제를 해결하기 위해 WGAN-GP(Wasserstein GAN with Gradient Penalty) 알고리즘을 활용하여 SSH 트래픽을 학습 데이터로 생성하였다. 기존 GAN은 모드 붕괴(Mode Collapse)로 인해 제한된 다양성의 샘플만 생성하는 한계가 있으며, WGAN은 가중치 클리핑으로 인한 기울기 소실 문제가 존재한다. 하지만 기존 연구에서 적용한 WGAN-GP는 EM(Earth Mover) 거리 기반의 목적 함수에 경사 페널티(Gradient Penalty)를 추가하여 이러한 한계를 극복한다. 실험적으로 GAN과 WGAN이 Softmax 출력값 0.75 이상의 유효 샘플을 전혀 생성하지 못한 반면, WGAN-GP는 충분한 수의 유효 샘플을 생성하여 우수한 합성 성능을 입증하였다. 또한 Generator Loss 값에 따라 샘플의 유사도를 평가하여 고손실·저손실 범위 샘플을 혼합하여 사용하는 샘플 선별 전략을 통해 F1–Score 0.999를 달성하였다^[12].

4세대에서는 LLM이 다양한 공격 시나리오를 기반으로 이상 행위 트래픽을 생성하는 방향으로 진화가 예상된다. LLM을 활용하여 다양한 공격 시나리오를 기반으로 레이블을 고려하지 않고도 직접 트래픽을 합성하는 방향으로 진화가 예상된다. ET-BERT는 대규모 비레이블 트래픽으로부터 BERT 기반 데이터그램 표현을 사전 학습하여 소량의 레이블만으로 암호화 트래픽 분류에서 F1–Score 99.2%를 달성하였다^[29]. TrafficLLM은 트래픽 전용 토크나이저와 이중 단계 파인튜닝 파이프라인을 통해 탐지와 합성을 동시에 지원하며, 기존 GAN 기반 메타데이터 합성의 한계를 넘어 정확한 헤더와 페이로드를 포함한 전체 패킷 합성이 가능함을 입증하였다^[30]. 특히 Knowledge-to-Data 연구는 실제 데이터 샘플이나 테스트베드 없이 LLM의 도메인 지식만으로 프로토콜 제약 조건을 준수하는 구조화된 트래픽을 합성할 수 있음을 보여주었으며, 이는 레이블 획득이 극히 어려운 환경에서의 데이터 보강 전략으로서 주목된다^[28].

4세대에서 LLM 기술을 적용할 시 고려할 사항으로는 우선 할루시네이션에 따른 신뢰성 결여 문제가 있다. LLM이 실제 존재하지 않는 가상의 공격 패턴이나 프로토콜 규격에 부합하지 않는 트래픽 생성 로직을 출력하는 할루시네이션 문제는 치명적 오탐으로 이어질 수 있다. 이러한 오류를 방지하기 위해, LLM 모델에만 의존하지 않고 최신 위협 인텔리전스를 정보를 실시간으로 업데이트하는 RAG를 고려할 수 있으며, LLM이 설계한 트래픽 생성 로직이 실제 네트워크 규격에 맞는지 컴퓨터가 자동으로 검사하는 모듈을 추가하여 생성 데이터의 신뢰성을 높이고자 한다. 추가로 네트워크 패킷의 수치 시퀀스 데이터는 일반적인 자연어 텍스트와 구조적으로 이질적이므로 표준 토크나이저로는 의미 있는 표현 학습이 제한된다. 네트워크 트래픽에 특화된 도메인 전용 토크나이저 설계와 Structured-to-Text 변환 전략을 통해 LLM이 트래픽 데이터의 시맨틱 패턴을 효과적으로 학습할 수 있도록 하는 것 또한 필수적으로 고려되어야 한다.

3.3 (2단계) 데이터 전처리

IP 주소, 포트 번호 등 가변 정보를 제거하고 패킷 길이 시퀀스, 패킷 도착 간견, 세션 방향 비율 등 포트 독립적 피처를 추출하는 것이 핵심이다.

전처리 단계에서 유효 피처 선정은 탐지 성능에 직결되는 핵심 과정이다. 기존 연구에서는 결정 트리를 활용하여 피처 중요도를 분석하고, 의사결정 노드에서 빈번하게 사용된 피처를 주요 피처로 선정하였다^[5]. 송수신 비율, 세션 시간, 패킷 도착 간격의 평균, 패킷 도착 간격의 분산 이상 4가지 피처가 선정하였으며, 나머지 피처들은 주성분 분석(Principal Component Analysis, PCA)를 적용하여 주성분(PC) 값으로 대체하였다. 특히 패킷 도착 간격 시간의 평균과 분산은 기존 연구에서는 세션 기반 데이터에 적용되지 않았던 신규 피처로, 플로우 기반의 Duration이 단방향 패킷 특성만 반영하는 한계를 보완한다. IPA 시간은 송수신 방향에 무관하게 연속 패킷 간의 시간 간격을 측정하여 응용 계층의 응답 특성을 포착하며, 이 피처를 추가함으로써 기존 모델 대비 재현율 11.8%, 정밀도 50.1%가 향상되었다. 또한 일부 피처에 로그(Log) 함수를 적용하여 분포 밀도를 줄이고 선형적 특성을 강화하였으며, 전체 피처를 0~100 범위로 정규화하여 학습 안정성을 확보하였다^[12].

3세대에서는 오토인코더가 원시 트래픽으로부터 의미 있는 잠재 표현을 학습하는 자동 특징 추출을 채택하며, SHapley Additive exPlanations(SHAP) 기반 특징 중요도 분석으로 해석 가능성을 제고하였다^[13]. 나아가 4세대에서는 흐름 통계를 자연어 프롬프트 형태로 변환하여 LLM이 맥락을 이해하도록 구성하게 된다.

4세대 데이터 전처리 방식으로 텍스트 임베딩 기반 전처리는 피처 간 관계와 맥락을 함께 설명할 수 있다는 점에서 기존 수치 벡터 방식 대비 장점을 가진다. 다음의 3가지 연구는 실제 장점을 수치적으로 보여주고 있다. ET-BERT는 대규모 비레이블 트래픽으로부터 BERT 기반 데이터그램 표현을 사전 학습함으로써 수동 피처 설계 없이도 암호화 트래픽 분류에서 F1–Score 98.9%를 달성하여 전이 학습의 유효성을 입증하였다^[29]. 둘째, GPT-2 및 LLaMA 기반 TrafficLLM은 최소한의 파인튜닝으로 CNN 기반 모델 대비 최대 21.5%의 성능 향상을 달성하여 알려지지 않은 트래픽에 대한 일반화가 가능하다는 것을 증명하였다^[31]. 셋째, MET-LLM은 도메인 특화 토크나이저를 통해 자연어와 네트워크 데이터 간의 모달리티 격차를 해소하고 악성 흐름과 정상 흐름의 맥락적 차이를 효과적으로 포착하였다^[32]. 이러한 연구들은 텍스트 임베딩 기반 전처리가 수동 피처 공학의 한계를 극복하고 알려지지 않은 위협에 대한 범용적 탐지 성능을 제공하는 핵심 전처리 방식으로 사용될 수 있음을 보여준다.

3.4 (3단계) 탐지모델 설계

1세대 시그니처 매핑 탐지 기술은 Snort 등과 같은 도구를 활용하여 알려진 공격 패턴을 페이로드 기반 시그니처와 대조하는 심층 패킷 검사 방식에 의존하였으나, 트래픽 암호화가 확산됨에 따라 가시성 확보에 한계를 드러냈다. 2세대 부터는 실시간 탐지를 위해 높은 정확도와 낮은 지연 시간을 동시에 만족해야 하는 근본적 상충 관계가 본격화 된다. 2세대 탐지 모델의 경우 암호화 해제 없이도 이상 징후를 포착하기 위해 패킷 길이 분포와 도착 시간 간격 등 외형적 통계 피처를 정상과 공격 트래픽을 분류하는 머신러닝 기반 행동 분석 기술로 발전하였다. Random Forest, CNN-LSTM 등과 같은 2세대 지도 학습 기반 분류 모델은 95% 이상의 탐지 정확도를 달성하고 있으며, 3세대에서는 앙상블과 비지도 학습을 결합하여 미지 공격에 대한 탐지 범용성을 추가로 확보하였다.

4세대에서는 QLoRa와 같은 경량 LLM(Llama-1B 등)을 도입하여 메모리 사용량을 절감하면서 높은 정확도를 유지하는 연구가 진행 중이다. 4세대에서는 LLM이 이상 트래픽 탐지에 직접 투입되는 방향으로 연구가 진행되고 있다. 경량화 측면에서는 QLoRA 파인튜닝과 RAG를 결합한 LLaMA-1B 모델이 재학습 없이 미관측 공격을 제로샷으로 탐지하는 가능성을 실증하였다^[34]. Lin 등^[21]은 LLM 기반 탐지 규칙 자동 생성 프레임워크인 RuleLLM을 제안하여 전문가 개입 없이 91.8%의 정확도로 탐지 규칙을 생성하였으며, Lian 등^[33]은 새로운 공격의 개념 증명만으로도 IDS 규칙·설명·방어 권고를 동시에 출력하는 RuleMaster+를 제시하였다.

4.1 실험 목적 및 설계

본 장에서는 4세대 LLM 기반 트래픽 합성 기법의 실현 가능성을 개념 증명 수준에서 검증하였다. 구체적으로, 실제 SSH 트래픽 피처를 Structured to Text(S2T) 방식으로 자연어 프롬프트로 변환하여 LLM에 입력하고, LLM이 출력한 텍스트를 구조화 데이터로 파싱하는 방식으로 합성 샘플을 생성할 수 있는지를 확인하였다.

실험에 사용된 원본 데이터는 선행 연구^[12]에서 구축한 DARPA99 기반 세션 데이터셋이며, Table 4는 해당 데이터셋의 피처에 대해 설명한다. DARPA 99의 트레이닝 데이터셋에서 원본 SSH 트래픽 1,000건을 랜덤하게 선택하였으며, 이를 WGAN-GP 합성 샘플 1,000건, LLM으로 합성한 샘플 1,000건과 함께 데이터의 분포를 비교하였다.

본 실험에서 LLM 기반 트래픽 합성 시에는 고비용 시스템을 필요로 하는 대형 모델 없이도 일반적인 LLM 모델로도 통계적으로 유효한 합성데이터를 검증하는 것을 검증하기 위하여 llama-3.2-3b-instruct을 사용하였다.

LLM 모델을 기반으로 합성 트래픽을 생성하여 탐지 모델에 적용하는 과정은 “1단계:수집 데이터셋 피처 분석”, “2단계:각 피처의 통계적 범위 정의”, “3단계:신규로 생성한 피처에 대한 설명 및 수식 표현”, “4단계:생성한 합성 데이터의 분포 비교”, “5단계:훈련 데이터넷을 보강하여 탐지 모델에 적용”으로 구분하였다. 합성데이터를 생성하는 부분에 있어 GAN, WGAN과 같은 기존 생성형 모델과의 차이점은 원본 데이터셋을 직접 입력하지 않고 데이터셋의 특성을 LLM 프롬프트에 입력하는 부분이다.

표 5. 합성 데이터 생성을 위해 LLM 프롬프트에 입력하는 항목 설명

Table 5. Feature relationships entered into the LLM prompt

네트워크 트래픽 합성을 위해 프롬프트에 입력하는 정보로는 원본 데이터의 통계적 특성인 평균, 표준편차, 최소값, 최대값 그리고 피처 간의 관계를 자연어 프롬프트로 변환하여 입력하는 방식으로 합성을 수행하였다. Table 5는 앞서 1∼3단계에서 확인한 각 피처 간의 관계에 대한 수식과 설명으로 LLM 프롬프트에 입력하는 정보이다. 본 실험은 개념 검증을 위한 실험으로 LLM에 대한 별도 파인튜닝을 진행하지 않았으며, NVIDIA RTX 2000 Ada 16GB, Intel Xeon w5-2445이 설치된 워크스테이션 환경에서 1,000개의 샘플을 LLM 기반으로 생성하는데 706초가 소요되었다.

4.2 LLM 합성 트래픽 데이터 분포 비교

Fig. 1은 원본 데이터셋, WGAN-GP 합성 데이터셋, LLM 합성 데이터셋 간 유사도 비교를 위한 t-SNE 분포 다이어그램이다. LLM이 생성한 합성 트래픽은 기존 연구에서 사용한 WGAN-GP 모델로 생성한 트래픽에 대비하여 원본 트래픽과 좀 더 유사한 형태를 나타내고 있다. 이는 각 피처들을 Jensen-Shannon Divergence (JSD)를 이용한 Fig. 2.의 분포 비교에서도 LLM으로 생성한 트래픽은 JSD 평균 0.2105로 WGAN-GP의 0.6746 보다 68.8% 낮아 WGAN-GP로 합성한 데이터와 대비하여 원본과 유사한 분포를 보여주었다.

그림 1. 합성 트래픽 분포 비교 (t-SNE)

Fig. 1. Synthetic traffic distribution (t-SNE)

그림 2. 항목 별 젠슨-섀넌 발산 비교

Fig. 2. Jensen-Shannon Divergence per Features

LLM이 생성한 합성 트래픽이 원본과 분포가 유사한 이유는 원본 데이터 각 피처의 평균, 분산, 최대값, 최소값을 프롬프트에 입력한 부분이 반영된 것으로 예측할 수 있다. 이러한 결과로 미루어 보아, 향후 LLM을 이용한 트래픽 합성 연구가 높은 실효성을 보여줄 것으로 예상할 수 있다.

4.3 LLM 합성 트래픽 데이터 분포 비교

원격접속 통신을 분류하는 탐지 모델은 Random Forest를 이용하였으며, 4.1장에서 생성한 1,000개의 샘플을 훈련 데이터셋에 반영했을 때 탐지 성능을 확인하였다. 4.2 데이터 분포에서 예상할 수 있듯이 WGAN-GP보다 넓은 분포를 가진 LLM 기반 합성 데이터셋이 탐지 모델의 Recall을 큰 폭으로 향상시키는 것을 확인할 수 있었다. Table 6에서 LLM 모델로 생성한 합성 데이터 1,000개를 추가한 상황에서 Recall 42.3%, F1–Score가 21.4% 개선되는 것을 확인할 수 있었다. 참고로 본 실험에 사용한 데이터셋과 탐지 모델은 Github 레파지토리 통해 공개하고 있다^[35].

5.1 기대효과

본 논문은 SSH·RDP 등과 같은 암호화된 원격 접속 접속을 효과적으로 탐지하기 위해 AI 기반 탐지 플랫폼의 설계 가이드라인을 체계적으로 제시하고 있다. 데이터 수집부터 전처리, 탐지모델 설계에 이르기 까지 3단계 프로세스별 핵심 문제점을 규명하고, 1세대 DPI에서 4세대 LLM 기반 예측으로의 기술 진화 과정을 기존 실증 연구와 연계하여 설명하였다.

4세대 기술이 성숙 단계에 도달할 경우, 보안 관제 자동화 수준이 획기적으로 향상될 것으로 기대된다. 자연어 기반 탐지 규칙 자동 생성으로 보안 전문인력 의존도를 낮추고, 제로데이 공격을 별도 재학습 없이 제로샷 탐지 능력으로 탐지하게 되어 APT 등 고도화된 위협에 선제 대응이 가능할 것으로 예상한다. 추가적으로 LLM 추론 능력을 활용한 공격 의도 분석으로 대응 우선순위 자동화를 구현할 수 있을 것으로 예상한다. 이러한 탐지 성능의 개선은 보안 관제의 패러다임을 기존의 반응적(Reactive) 보안 관제에서 예측적(Predictive) 보안 관제로 변화시켜 갈 것이다.

5.2 향후 연구계획

기존 연구에서는 2세대 연구는 포트와 상관없이 다중 분류로 우회 공격 탐지의 실효성을 입증하였고^[5], GAN 기반 데이터 증강으로 극단적 불균형 환경에서의 탐지 성능을 향상시키는 연구를 수행하였다^[12]. 향후에는 LLM 기반 4세대 기술이 이상 트래픽 탐지의 핵심적으로 축으로 부상할 것으로 예상하고 있으며, 이때 일반 자연어와 상이한 수치 시퀀스 중심의 트래픽 데이터를 효과적으로 처리할 수 있는 도메인 특화 토크나이저 및 최적의 데이터 합성을 위한 Structured to Text(S2T)에 대한 연구를 추가로 진행할 예정이다.