2.1 특징 추출

내시경 영상을 정확도 있게 분류하기 위해서 병변의 특징을 추출하는 단계는 매우 중요한 과정이다. 위 병변을 진단하는 방법으로는 형태적 특징과 색상변화에 근거를 둔다⁽¹¹⁾. 이를 기반으로 4가지의 색상 특징과 2가지의 질감 특징을 추출하였다.

2.1.1 색상 특징

정상의 위 기관은 색소 분포가 비정상의 분포와 크게 다르기 때문에 이를 이용하기 위해 색 공간 특징을 사용하였다. 건강한 위는 위벽이 균일한 분홍색이다. 이에 반해 병변의 점막은 색의 분포가 균일하지 못하고 붉은색, 황색, 백색, 또는 검정색을 띈다. 색상 특징 벡터를 획득하기 위해 RGB 히스토그램, HSV 히스토그램, HSI-Intensity 히스토그램, Opponent RGB 히스토그램을 추출하였다.

Opponent RGB 히스토그램의 각 채널 O1, O2, O3 값을 구하는 공식은 다음과 같다⁽¹²⁾.

2.1.2 질감 특징

주름의 형태와 점막 모양의 불규칙함 정도를 이용하여 정상과 비정상을 분류할 수도 있다. 정상의 위 점막 평면에는 윤기가 있고 광택이 난다. 또한, 위 주름의 두께가 5mm 이하이다. 하지만 비정상으로 진단되는 위는 공기 주입 시에 점막의 주름이 편평하게 펴지지 않거나 일부만 펴지기도 하고, 주름이 5mm 이상을 넘어가기도 한다⁽¹³⁾. Local Binary Pattern (LBP)과 Gray-Level Co-occurrence Matrix(GLCM)는 최근에 질감 특징을 추출하기 위해 많이 사용되는 방법이다. 두 개의 특징 모두 RGB scale 영상을 Gray scale 영상으로 바꿔준 뒤 획득하였다.

LBP는 그림 3과 같이 픽셀 하나를 중심으로 그 주변 픽셀값과 비교하여 크면 1, 작으면 0을 할당한다. 할당된 0과1 값들을 반시계방향으로 읽어 들이면 8비트의 LBP값을 얻을 수 있다⁽¹⁴⁾. 본 연구에서는 8비트로 얻을 수 있는 256개의 값을 uniform LBP 방법을 사용하여 59개의 값으로 묶어 사용하였다. 비트가 0에서 1로 또는 1에서 0으로 바뀌는 횟수가 2 이하인 경우 균일 패턴이라고 지정한다. 총 58개의 균일 패턴은 각각의 값을 지정해주고 나머지 패턴들은 하나로 묶어 하나의 값만 할당하였다.

질감 특성을 이용하기 위한 또 다른 방법으로 GLCM 알고리즘을 사용하였다. GLCM은 그림 4처럼 영상 내에 인접한 픽셀 간의 관계를 좌표값으로 이용하여 좌표값의 빈도를 나타내는 행렬이다. GLCM으로 새롭게 생성된 영상에서 20개의 특징 값들을 획득하여 사용하였다. 특징 값에 대한 이론과 수식은 ^(15-17)을 참고하였다. 획득한 특징들은 표 1을 통해 나타내었다. 획득한 방법은 픽셀 간의 거리는 2, 4, 6으로, 방향은 0˚, 45˚, 90˚, 135˚로 각각 지정하여 8*8 행렬로 생성하였다. GLCM을 정규화 한 행렬을 $P$라고 나타낼 때 $P(i,\:j)$는 GLCM의 각 원소 값을 의미하고 8*8 행렬을 생성했으므로 $i$와 $j$는 0부터 7까지의 값을 가지게 된다.

엔트로피(entropy)는 불확실성을 나타낸다. 불확실성이 높아질수록 정보의 양이 많아지면 엔트로피의 값은 커진다. 사용된 수식은 다음과 같다.

대비(contrast)는 명암도 차이를 측정하는 특징으로, GLCM에서 대각선으로 멀리 떨어져 있는 $P(i,\:j)$에 대해서 높은 가중치를 준다. 따라서 명암도 차이가 크게 나는 화소의 수가 많을수록 큰 값을 가진다. 다음 식(5)를 이용하여 구하였다.

분산(variance)은 식(6)을 이용하여 구하였다. $P(i,\:j)$가 $P$의 원소들의 평균 $\mu$으로부터 얼마나 멀게 분포된 지를 나타낸다. 멀리 분포되어있을수록 분산의 값은 커진다.

상관관계(correlation)은 선형적인 상관관계를 보여준다. 사용된 식은 아래와 같다.

$\mu_{x},\:\mu_{y},\:\sigma_{x},\:\sigma_{y}$는 다음 식(8)-(10)을 통해 구할 수 있다.

에너지(energy)는 명암도의 균일함을 측정할 수 있는 특징이며, 명암도가 균일할수록 높은 값을 가진다. 사용된 수식은 다음과 같다.

Cluster Shade와 Cluster Prominence는 행렬의 왜도, 즉 비대칭한 정도를 나타내는 특징 값이다. 이 값이 높을수록 $P$의 대각을 기준으로 비대칭이 크다는 뜻이다. Cluster Shade와 Cluster Prominence는 각각 아래 식(12)와 (13)을 통해 구하였다.

Homogeneity는 $P$의 대각 행렬에 행렬 값들이 분포한 정도를 측정한다. 대각 행렬에 분포가 많이 되어 있을수록 Homogeneity 값은 높아지고 입력 영상의 밝기 분포가 균질하다는 뜻을 의미한다. 2가지의 수식을 이용하여 구하였다. Homogeneity 2는 Inverse Difference Moment(IDM)이라고도 불린다.

추출된 특징 벡터들은 각각의 특징 정보에 따라 소수점 단위의 값부터 만의 자리까지 넓은 범위를 가지고 있다. 그렇기 때문에 특징값을 그대로 사용하면 더 큰 값을 가진 특징에 가중치가 높게 적용된다. 이를 방지하기 위해 본 연구에서는 평균이 0이고 분산이 1이 되도록 특징값들을 정규화하였다.

추출된 특징과 각 특징의 차원 수는 다음 표 2을 통해 확인할 수 있다.

2.2 Least Square Support Vector Machine model

영상에서 획득된 특징들을 이용한 분류기 모델을 생성하기 위해서 Least Square Support Vector Machine (LS-SVM)을 사용하였다. SVM은 초평면이 구해지는 방법에 따라 성능이 달라진다.

LS-SVM은 보다 간단한 초평면 수식을 사용함으로써 계산량을 줄이고 분류의 성능을 높일 수 있기 때문에 LS-SVM을 채택하였다. 내시경 영상에서 추출한 특징 벡터들을 기반으로 정상과 비정상으로 나누어 학습하였다.

라벨이 지정된 훈련 데이터를 획득하였을 때 우리는 {$(x_{i},\:y_{i}),\: i=1,\:2,\:\cdots ,\:N$} 와 같이 표현할 수 있다. $x_{i}$는 특징 벡터, $y_{i}$는 라벨 -1 또는 1(정상 또는 비정상), $N$은 영상의 수를 의미한다. 일반적으로 두 클래스가 선형 분리가 가능한 경우에 SVM의 초평면은 다음과 같은 식으로 구해진다.

subject to :

$w$는 초평면의 방향, $C$는 패널티의 정도, $\xi$는 잘못 분류된 데이터까지의 거리를 나타내는 여유변수이다.

LS-SVM은 식(17)과 같이 부등식을 사용한 기존의 SVM 제약 조건에서 동등한 조건만을 고려하여 초평면을 구한다. 따라서 {$(x_{i},\:y_{i}),\: i=1,\:2,\:\cdots ,\:N$}인 데이터가 주어졌을 때 LS-SVM의 초평면을 구하는 과정은 다음과 같다⁽¹⁸⁾.

subject to :

$e_{i}$는 시간 $i$에서의 오차 변수이고 $\gamma$는 라그랑주 승수이다. 식(19)을 기반으로 최적화를 위해 라그랑주 승수를 도입하면 다음과 같다.

식(20)을 각 $w,\:b,\:e_{i},\:\alpha_{i}$에 대해 미분을 하면 다음과 같이 산출된다.

식(17)과 식(19)로부터 LS-SVM이 계산적으로 간결해지는 이유를 알 수 있다. 결과적으로 SVM은 2차식의 문제를 해결해야 하는 반면 LS-SVM은 선형문제를 해결한다. 우리는 LS-SVM을 사용하여 향상된 성능을 가져오도록 하였다.

3.1 데이터

내시경 영상 데이터는 2017년 11월부터 2019년 7월까지 경상대학교 병원에서 수집하였다. 수집된 데이터는 103명의 내시경 검사자들의 영상을 포함하고 있다. 사용된 모든 데이터는 임상 시험 심사 위원회(IRB, Institutional Review Board)의 허가를 받았으며(승인번호: GNUH 2017-09-019-003) 모든 진단은 내과 전문의에 의해 이루어졌다. 데이터 셋은 표 3과 같이 학습에 350장 테스트에 335장, 총 685장을 사용하였다. 병변 구성은 표 4와 같이 400장의 정상 데이터와 285장의 비정상 데이터로 이루어져 있다. 비정상 데이터는 위암 73장, 종양 82장, 용종 29장, 궤양 86장, 출혈 15장으로 구성된다. 본 연구와 실험에는 457*406 픽셀의 해상도를 가진 백색광 내시경 영상만 사용하였다. 그림 5와 6은 사용된 영상데이터 중 일부 예시를 나타낸 것이다.

3.2 결과 및 토론

성능 지표로 ROC(Receiver Operating Characteristic) curve를 사용하였다. 추출한 6가지의 특징을 개별로 사용하였을 때의 AUC값을 표 5를 통해 나타내었다. 색상 특징 중에서 HSV 히스토그램 특징이 0.83으로 가장 좋은 성능을 보였고 질감 특징 중에서는 근소한 차이로 uniform LBP의 성능이 0.80로 가장 좋았다. 4가지의 색상 특징을 모두 사용하였을 때 0.82이었고, 2가지의 질감 특징을 모두 사용하였을 때 0.81이었다. 색상 특징은 히스토그램으로 추출되어 색상의 분포 정보를 가지고 있을 뿐 병변의 튀어나온 모양이나 주름의 정도를 알기 어렵다. 질감 특징은 Gray scale의 영상으로부터 추출되어 비정상 병변이 정상 점막과 비교될 수 있는 색 정보가 없다. 따라서 색상과 질감 특징 모두 사용되었을 때 성능이 가장 좋은 것을 알 수 있다.

LS-SVM 분류기 모델의 성능을 SVM과 함께 그림 7에 나타내었다. 모든 특징을 사용하여 정상과 비정상으로 분류한 결과 AUC값은 0.85을 도출하였다. 일반적인 SVM을 이용하여 분류한 결과는 0.83로 LS-SVM의 성능이 약 0.02 더 높은 것을 볼 수 있다. LS-SVM은 균등 조건을 사용함으로써 닫힌 형태로 분류기 모델을 생성해 나가고, 이는 고차원 계산일수록 더 효율적으로 적용되기 때문에 더 높은 성능을 보여준 것으로 예상된다.