2.1 CNN(Convolutional Neural Network) 구조

전반적인 CNN의 구조는 입력층, Convolution layer, Pooling layer, 일반적인 NN의 은닉 층에 해당하는 Fully connected layer 그리고 출력 층으로 구성되며 이중에서 합성곱 연산을 하는 Convolution layer와 Pooling layer는 CNN알고리즘에서 중요한 역할을 담당한다.

Convolution layer에서 필터는 지정한 칸만큼 이동하여 합성곱 연산을 통해 입력데이터의 특징을 추출함과 동시에 데이터의 차원을 축소시켜 특징 맵을 쌓는다. 이때 만들어진 특징 맵의 크기는 입력데이터의 크기, 필터의 크기, 패딩(Padding)의 유무 그리고 이동간격에 따라 달라지며 그에 관한 식은 아래와 같다.

여기서 $O$는 특징 맵의 크기, $I$는 입력 이미지의 크기, $F$는 필터의 크기, $S$는 필터의 이동간격이고 $P$는 패딩의 크기로 패딩은 데이터의 정보손실을 막기 위해 입력데이터에 추가로 여분의 공간을 만들어주는 기법이다.

그러나 필터의 개수가 많아짐에 따라 그 만큼 많은 특징 맵이 쌓이게 되고 이는 고차원의 파라미터를 요구하여 학습 속도 저하 및 과적합(over-fitting)문제를 초래 할 수 있으며 이를 해결 하고자 Pooling layer가 존재한다. Pooling은 방식에 따라 크게 두 가지로 나뉘며 영역 내에서 최댓값 하나를 추출하는 Max Pooling과 영역내의 평균값을 추출하는 Average Pooling이 있고 일반적으로 두 경우 모두 특징 맵의 크기를 반으로 줄이며 그 식은 아래와 같다.

여기서 $O$, $I$ 그리고 $S$의 의미는 식(1)에서와 동일하며 $F_{P}$는 [$F_{P}$ × $F_{P}$]로 표현 되는 Pooling 필터의 크기이며 보통 $F_{P}$와 $S$의 크기는 같게 설정한다.

본 논문에서는 2개의 Convolution layer와 Pooling layer로 구성된 CNN을 사용하였으며 그 구조는 그림 1과 같다.

Convolution layer 및 Fully connected layer의 활성함수로는 식(3)의 Relu함수를 사용하였다.

Pooling layer의 경우 Max Pooling을 적용하였으며 식(4)의 softmax함수를 출력 층에 사용하였다.

여기서 $n$은 출력 층의 노드수이며 $z_{k}$는 출력 층의 $k$번째 노드의 입력이며 손실함수로는 식(5)의 Cross-Entropy함수를 사용하였으며 학습은 Backpropagation을 통해 이루어졌다.

여기서 $S$는 전체 샘플 수를 의미하며 $t_{ik}$는 실제 클래스의 출력을 의미하고 $\hat Y_{ik}$는 패턴 분류기의 출력을 의미한다.

2.2 기존 부분방전 데이터 처리방법

부분방전 검출 시스템에서 신호 패턴분석을 위해 보편적으로 사용되는 기법에는 시간이 흐름에 따라 발생하는 신호를 한 주기마다 나누어 좌표 상에 겹겹이 쌓아 위상, 주기 그리고 진폭의 크기를 보여주는 PRPS(Phase Resolved Pulse Sequence)방법과 이렇게 만들어진 PRPS데이터를 바탕으로 방전크기 별 방전횟수 정보를 한 주기에 집약시켜 표현하는 PRPD(Phase Resolved Partial Discharge)방법이 있다. PRPS기법의 경우 부분방전신호 패턴을 시간정보와 함께 볼 수 있어 부분방전 신호가 간헐적으로 발생하는지 지속적으로 발생하는지 알 수 있고 PRPD의 경우 방전신호의 Φ-q-n 패턴을 보는데 유리하다.

4.1 GIS 모의실험 및 방전 데이터 구성

본 논문에서는 환경 노이즈가 포함된 상태에서 부분방전과 노이즈의 데이터를 그림 9와 같이 GIS 모의실험과 UHF(Ultra High Frequency)센서를 통해 얻는다. 실험 환경은 표 2와 같이 단상 3kV에서 한 샘플 당 총 10초 동안 7680Hz의 샘플링 주파수로 샘플링 된다. 이때 UHF센서의 대역 대는 0.5~1.5GHz 이며 코로나, 플로팅, 절연체, 자유 도체 총 4개의 부분방전 시험기를 사용한다. 노이즈 데이터는 환경 노이즈를 제거하지 않고 정상상태인 경우의 신호를 수집하여 얻는다.

4.2 입력 데이터 구성 및 CNN모델 구조

본 논문에서 사용된 입력 데이터의 경우 실험을 통해 코로나 방전, 플로팅 방전, 절연체 방전, 자유 도체 방전, 노이즈 전체 5개의 클래스로 구분되는 부분방전 신호 데이터 집합을 PRPS, PRPD, Projection 총 3개의 전처리 기법을 통해 처리하여 3개의 각기 다른 이미지 데이터 집합을 획득하였다. 입력데이터 구성 및 사용된 CNN 구조의 추가적인 정보는 아래와 같다.

표 3은 입력데이터의 구성을 나타낸 표이다. 부분방전 발생 시험을 통해 얻은 전체 데이터는 800개로 코로나, 플로팅, 절연체, 자유 도체 방전이 각각 150개, 노이즈 200개로 구성되어있으며 전처리 기법에 따라 PRPS, PRPD, Projection 총 3개의 이미지 데이터 세트로 변환되며 PRPS 이미지의 경우[600×128], PRPD 이미지의 경우 [256×128], Projection 이미지의 경우 [256×128]의 크기로 나타내어지며 각 이미지 세트 별로 3번의 교차검증(k-fold)을 통해 평가를 진행하였다.

표 4는 사용된 CNN의 구조를 나타낸 표로 본 논문에서는 모델의 구조가 아닌 전처리방법에 대한 비교를 중점으로 하고 학습시간을 고려하여 복잡하지 않은 CNN모델을 사용한다. 패턴 분류기의 학습은 PRPS, PRPD, Projection의 순서대로 총 3번 진행 하며 설계된 CNN패턴 분류기의 구조는 1개의 Input layer, 2개의 Convolutional layer, 2개의 Pooling layer, 1개의 Fully connected layer 그리고 1개의 Output layer로 구성 되어있고 그 중에서 첫 번째 Convolutional layer에서는 [5×5]크기의 필터가 32개, 두 번째 Convolutional layer에서는 같은 크기의 필터가 16개 있으며 Pooling layer의 경우 첫 번째, 두 번째 층 모두 [2×2]크기의 필터를 사용하며 필터의 이동 간격(Stride)은 Convolutional layer에서 1칸씩 Pooling layer에서는 2칸씩 움직이고 학습률은 0.001, 한 번에 학습되는 샘플 수(Size of batch)는 10개이며 전체 학습 샘플에 대한 학습(epoch)은 500번 반복된다. 즉, 1-fold 당 640개의 학습 데이터를 10개씩 나누어 64번 학습된 경우가 1epoch 이며 이를 500번 반복하여 전체 iteration은 32000회 이다.

4.3 전처리 방법에 따른 특징 맵 분석 및 결과 비교

CNN기반 패턴 분류기 내부에서 필터를 통해 추출하는 특징 맵을 바탕으로 제안하는 Projection기법과 PRPD기법을 통해 얻어지는 자유 도체 방전과 노이즈 데이터에 대한 이미지들의 차이를 확인한다. 그림 15와 같이 CNN구조의 학습이 완료된 상태에서 테스트 이미지를 입력으로 넣어 각층에서 만들어진 특징 맵들 중 하나를 나타내어 비교한다. 본 논문에서 사용된 CNN의 구조상 첫 번째 컨볼루션 층에서 32개, 첫 번째 풀링 층에서 32개, 두 번째 컨볼루션 층에서 512개, 두 번째 풀링 층에서 512개씩 특징 맵이 추출되며 각 층마다 추출된 특징 맵은 각각 [252×124], [126×62], [122×58], [61×29]의 크기를 가지는 이미지이다.

그림 15는 PRPD 이미지 세트의 학습 데이터로 학습을 완료한 CNN패턴 분류기에 자유 도체 방전의 테스트 이미지를 입력으로 하여 각 층별로 특징 맵을 추출하는 과정 및 추출 된 이미지에 대한 그림이고 (f)는 CNN패턴 분류기의 입력, 컨볼루션, 풀링층에 대한 구조이다. 그림 16은 노이즈에 대한 PRPD 이미지를 입력으로 하였을 때 그림 15의 (f)의 각 층별로 추출한 특징 맵을 입력이미지와 함께 나타낸다.

그림 15와 그림 16의 (a)는 각각 자유 도체 방전과 노이즈에 대한 PRPD 테스트 입력 이미지이고 (b)는 첫 번째 컨볼루션 층의 12번째 특징 맵(C1), (c)는 첫 번째 풀링 층의 12번째 특징 맵(P1), (d)는 두 번째 컨볼루션 층의 14번째 특징 맵(C2), (e)는 두 번째 풀링 층의 14번째 특징 맵(P2)이다. 각 이미지들에 대하여 1대1 대응으로 비교할 경우 (a), (b), (c)에서 자유 도체 방전과 노이즈를 구분하기가 어려우나 (d)와 (e)에서는 이전 층과는 다르게 자유 도체 방전이미지에서 숨겨졌던 방전신호에 대한 정보가 나타나 어느 정도 구분이 가능함을 확인 할 수 있다.

그럼에도 그림 15의 (d)와 (e)에서 방전신호 보다는 노이즈 신호에 그 특징이 두드러지게 나타며 이는 본 논문에서 지적한 것처럼 이미지의 픽셀 값이 상대적으로 노이즈 신호에 집중되어 나타난 현상으로 보인다.

그림 17은 Projection 이미지 세트의 학습 데이터로 학습 된 CNN패턴 분류기에 자유 도체 방전의 테스트 이미지를 입력으로 하여 각 층별 특징 맵을 그림 15와 같은 방식으로 추출하여 나타낸 그림이다. 그림 18은 같은 방식으로 노이즈의 테스트 Projection 이미지를 입력으로 하여 얻은 이미지를 각 층별로 나열한 그림이다.

그림 17과 그림 18의 (a)는 각각 Projection 이미지 세트의 테스트 데이터 중 자유 도체 방전과 노이즈에 대한 입력 이미지이다. 그림 17과 18의 (b), (c)는 각각 첫 번째 컨볼루션(C1), 풀링(P1) 층의 1번째 특징 맵이고 (d), (e)는 각각 두 번째 컨볼루션(C2), 풀링(P2) 층의 2번째 특징 맵이다. 그림 17과 그림 18의 (a), (b), (c), (d), (e)별로 이미지를 비교해보면 (a)의 경우 자유 도체 방전에서는 어느 한곳이 집중적으로 부각되어지는 곳이 없고 중앙부에 방전신호가 대체적으로 넓게 분포 되어있으나 매우 작은 점으로 표현되어 단번에 알아보기는 어렵다. 노이즈에서는 자유 도체 방전과는 다르게 방전신호가 보이지 않고 신호의 아래쪽 보다 위쪽이 부각되어지고 있는 것을 확인 할 수 있다. (b)를 통하여 자유 도체 방전의 경우 (a)에서 작게 표현되던 방전신호를 보다 크게 표현하고 있는 것을 확인하고 노이즈의 경우 자유 도체 방전과 마찬가지로 위쪽의 신호를 집중적으로 나타내고 있는 것을 볼 수 있다. (c)를 통하여 보다 분명하게 자유 도체 방전과 노이즈를 육안으로 구분할 수 있다. (d)와 (e)를 통하여 CNN의 두 번째 컨볼루션, 풀링 층에서 각 클래스의 특징을 보다 분명하게 잡아내는 것을 확인 할 수 있다.

그림 16의 (e)와 그림 18의(e)의 비교를 통해 노이즈데이터의 경우 최종적으로 PRPD와 Projection 이미지 모두 이미지 하단부에 ‘ㅡ’의 모양이 나타나는 비슷한 특징을 가지는 것을 알 수 있다. 그림 15와 그림 17의 구도로 (b), (c)를 비교해보면 Projection 이미지 데이터를 이용한 경우가 PRPD 이미지 데이터를 이용한 경우보다 보다 빠르게 방전신호의 특징을 추출할 수 있음을 확인 할 수 있다. 또한 (d), (e)를 통한 비교로 기존 PRPD기법으로 만들어진 이미지 데이터의 문제인 노이즈는 강하게, 방전신호는 약하게 표현되는 것을 제안된 Projection기법을 통해 어느 정도 개선하였다고 볼 수 있다.

표 5의 (a), (b), (c)는 각각 PRPS, PRPD, Projection기법을 통해 만들어진 이미지 데이터 세트에 대해 3-fold로 평가한 분류 성능을 각 클래스 별로 확인하기 위한 혼돈행렬(Confusion Matrix)⁽¹⁸⁾이다. 이때 각 세트마다 적용되는 테스트 데이터 수는 160씩 3번으로 총 480개로 같으나 그것을 구성하는 데이터들에 대한 차이가 있다.

(a)를 통하여 PRPS 이미지 데이터 세트의 경우 플로팅 방전과 절연체 방전에 대해서는 100%로 분류하며 코로나 방전에 대해서는 전체 88개중 1개를 노이즈로 잘못 분류하여 98.9%의 분류 성능을 보여준다. 하지만 자유 도체 방전을 분류하는 데에 있어서 전체 62개의 데이터를 1개는 절연체 방전으로 20개는 노이즈로 잘못 분류 하여 66.1%의 분류 성능을 보여준다. 전체 146개의 노이즈 데이터 중 59개를 자유도체로 잘못 분류 하여 노이즈에 대한 분류 정확도가 59.6%인 것을 알 수 있다. 이를 통해 PRPS 이미지의 전반적인 분류 성능은 83.3%로 높은 듯 보이지만 실제 자유 도체 방전과 노이즈의 분류에 있어서는 좋지 못한 성능을 보이는 것을 확인 할 수 있다.

(b)를 통해 PRPD 이미지 데이터 세트에 대한 전반적인 분류 성능이 96.4%로 높게 나오는 것을 확인 할 수 있다. 각 패턴에 따른 성능을 확인 해보면 코로나 방전과 플로팅 방전이 100%로 분류되고 절연체 방전의 경우 전체 86개의 데이터 중에서 3개를 자유 도체 방전으로 잘못 분류하여 96.5%의 정확도를 보여준다. 자유 도체 방전의 경우 전체 94개의 데이터 중에서 2개를 절연체 방전, 3개를 노이즈로 잘못 분류하여 94.7%의 성능을 보여준다. 노이즈의 경우 전체 113개의 데이터 중에서 1개를 플로팅 방전, 8개를 자유 도체 방전으로 잘못 분류하여 92.0%의 성능을 보여준다. PRPD데이터 세트의 경우 PRPS데이터 세트에 비하여 절연체 방전에 대한 분류성능은 떨어지나 월등히 높아진 자유 도체 방전과 노이즈에 대한 분류 성능과 더불어 모델의 전반적인 성능 향상을 확인 할 수 있었다.

(c)를 통하여 Projection 이미지 데이터 세트의 전반적인 분류 성능을 확인 해보면 99.8%로 기존 두 개의 전처리 기법보다 높은 성능을 보이는 것을 확인 할 수 있다. 부분방전 패턴별로 코로나 방전 87개, 플로팅 방전 101개, 절연체 방전 85개 그리고 자유 도체 방전 99개를 100%의 확률로 분류하나 전체 108개의 노이즈데이터 중에서 1개를 자유 도체 방전으로 잘못 분류하여 99.1%의 분류 성능을 보이는 것을 알 수 있다.

표 5의 (a), (b), (c)를 통해 PRPS세트를 사용한 경우 보다 PRPD세트를 사용한 경우에 자유 도체 방전 및 노이즈에 대한 분류성능이 67.2%, 59.6%에서 94.7%, 92.0%로 각각 27.5%, 32.4%만큼 증가하였으며 Projection세트를 사용한 경우와 비교하면 100%, 99.1%로 각각 32.8%, 39.5%만큼 증가한 것을 알 수 있다.

그림 19는 부분방전 전처리 기법에 따라 만들어진 CNN기반 패턴분류기 모델의 분류율의 평균을 epoch에 따라 나타낸 그림이다. (a), (b), (c)는 각각 PRPS, PRPD, Projection 이미지 데이터로 학습된 모델의 결과를 보여주며 각 그림에서 파란색 선과 주황색 선은 학습데이터와 테스트 데이터에 대한 결과를 나타낸다.

표 5는 학습 데이터와 테스트 데이터의 최종 분류성능을 부분방전 데이터 전처리 기법별로 나타낸 표이다. 그림 19의 (a), (b), (c)의 epoch가 500인 지점에서의 결과와 그 값이 동일하다.

표 5와 그림 19를 통하여 PRPS 이미지 데이터 세트의 경우 대략 30epoch의 짧은 시간에 학습데이터는 99.84%로 테스트 데이터는 83.33%로 수렴하는 것을 확인 할 수 있다. PRPD의 경우 10~150epoch의 구간에서는 테스트 데이터에 대한 성능이 높게 나오나 그 이후로 학습데이터의 성능이 더 높아지며 학습데이터의 경우 약 400epoch에서 테스트 데이터는 약 300epoch 부근에서 각각 98.96%, 96.42%로 수렴한다. Projection의 경우 PRPS와 비슷한 속도로 약 50epoch 부근에서 학습 데이터와 테스트 데이터가 모두 99.79%로 수렴하는 것을 볼 수 있다.

전체적으로 보았을 때 PRPD세트의 경우 PRPS세트에 비해 13.09%높은 분류 성능을 보인다. Projection 세트의 경우 PRPS세트에 비해 16.46%, PRPD세트에 비해 3.37%높은 분류성능을 보이는 것을 확인 할 수 있다. PRPD의 경우 다른 기법들에 비해 학습 수렴속도가 느리다는 것을 볼 수 있다. 본 논문에서는 이에 대해 그림 17의 (b)처럼 첫 번째 컨볼루션 층에서 특징이 잡히는 Projection세트와 다르게 그림 15의 (b)처럼 첫 번째 컨볼루션 층에서 특징이 빠르게 잡히지 못하는 PRPD 이미지의 특성에 원인이 있다고 판단한다.