김장연
(Jang-yeon Kim)
1iD
김태경
(Tae-kyeong Kim)
2iD
조현종
(Hyun-chong Cho)
†iD
-
(Dept. of Electronics Engineering Kangwon National University, Korea.)
-
(Dept. of Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon National
University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Agriculture, Apple disease classification, Deep learning, Smart farm
1. 서 론
통계청의 농업법인정보화수준 및 활용도 조사에 의하면, ICT를 농업에 접목하여 작물의 적절한 생육환경을 관리 및 유지할 수 있는 스마트팜 도입에 관심을
두고 있거나 추진할 계획, 혹은 추진을 위해 예산과 인력을 확보 중이라고 응답한 비율은 2021년 각각 44.9%, 8%, 1.4%로 2019년의
30.1%, 7%, 0.8%와 비교해 스마트팜에 관한 관심과 수요는 점점 증가하고 있음을 보인다(1). 스마트팜은 인공지능을 이용하여 작물의 생육 및 재배환경, 질병 진단뿐만 아니라 작물 재배의 모든 과정에서 적합한 의사결정을 도와 농업인들의 위험부담을
줄일 수 있다. 특히, 질병 진단의 경우 신속한 진단을 통한 상황대처를 통해 질병에 의한 품질 저하, 생산량 감소 등의 피해를 줄일 수 있어 중요하다.
질병 관리의 경우 예방을 위해 사전에 농약을 살포하는 방법과 이미 발병한 작물의 경우 농업인의 판단이나 전문가의 자문을 통해 적절한 처리를 하는 방법으로
이루어지고 있다. 하지만 전문가의 자문을 기다리는 동안 많은 시간이 소요되어 적절한 예찰, 방제 시기를 놓쳐 큰 손해를 입을 수 있다. 농업기술원,
국가농작물 병해충관리시스템 등에서 국내 농작물 병해충에 대한 데이터베이스 및 상담을 제공하고 있지만, 제한적인 정보와 증상이 비슷한 질병의 경우 적절치
않은 농약과 방제 방법을 사용하여 질병 관리가 되지 않거나, 토양 오염 등의 심각한 2차 피해까지 연쇄적으로 일어날 수 있다.
우리나라 사과나무의 병해 중 살균제를 살포하여 방제해야 하는 병은 갈색무늬병, 점무늬낙엽병, 탄저병 등 8종 정도가 있다(2). 또한 부란병과 기타 토양 병해도 과수원에 따라서는 농약 처리하여 방제해야 한다. 특히, 우리나라에서 2015년 처음 보고되어 2018년부터 급격히
증가한 과수화상병은 발생 후에 한 달 만에 271.4ha 면적에 달하는 과원을 폐원시킬 만큼 아주 치명적인 세균병이다. 한 주라도 발병하면 발생 과원의
반경 100m를 방제 구역으로 설정해 방제 구역 내의 사과나무는 매몰 대상이 된다(3). 현재까지 뚜렷한 치료법이 없고 확산이 빨라 피해 규모가 큰 만큼 예찰을 철저히 해서 발생 즉시 매몰하는 것만이 최선의 방법이다.
딥러닝에 기반하여 사과 병해를 분류하는 연구는 꾸준히 있었다. 먼저 사과 잎사귀를 대상으로 정상, 갈색무늬병, 점무늬낙엽병을 분류하는 연구가 있다.
질병 분류를 위해 미세튜닝 Transfer Learning 기반, 심층 특징 추출 및 멀티스케일 기반, 이선형 기반의 합성곱 신경망, 그리고 다중
스트림 네트워크 기반의 4가지 딥러닝 기법으로 연구를 진행하여 성능을 비교하였다. 훈련 데이터와 테스트 데이터의 비율을 1 : 1로 구성하고, 평가
척도로는 전체 데이터에서 맞게 인식한 이미지의 개수를 나타나는 Correct Recognition Rate를 사용하였다. 그 결과 Transfer
Learning 기반 중 VGG-16 모델은 74.7%, ResNet 모델은 76.6%의 성능을, 심층 특징 추출 및 멀티스케일 기반은 81.7%,
이선형 기반의 합성곱 신경망은 81.67%, 마지막으로 다중 스트림 네트워크 기반은 96.58%로 가장 높은 성능을 보였다(4). 다음으로 PlantVillage 사과 병해 이미지를 사용하여 정상을 포함한 4개의 클래스를 분류하는 연구가 있었다. 사과나무 잎사귀 이미지만 사용하였고,
raw image에서의 분류 성능을 향상하기 위해 SLIC (Simple Linear Iterative Clustering) 기반의 슈퍼픽셀 분할로
영역 분할을 진행한 뒤, CNN (Convolutional neural network)을 학습시켜 병해를 분류하게 했다. 그다음 각각 raw image
데이터와 영역 분할을 거친 데이터로 학습시킨 모델의 분류 성능을 비교하였다. raw image 데이터와 슈퍼픽셀 분할 데이터에 대한 성능은 Accuracy
각각 98.29%, 92.43%, F1-Score 은 각각 0.98, 0.92이다(5).
관련 연구들은 사과나무의 잎사귀나 과일로만 구성된 데이터세트로 진행되었다. 하지만 병해에 따라 병변 부위와 증상이 달라 잎사귀로만 구분할 수 있는
병해의 수에는 한계가 있다. 본 논문에서는 정상인 사과나무와 병해에 걸린 사과나무의 열매, 꽃, 잎, 가지, 줄기, 과일 이미지를 이용해 CNN 중
Xception 모델을 활용하여 정상을 제외한 5종류의 병해를 분류하는 연구를 진행한다. 또한, 실제 농가에 적용 시 데이터 획득 과정에서 발생할
수 있는 Noise에 의한 분류 성능 저하를 막기 위해 테스트 데이터에 Gaussian Noise, Salt-and-pepper Noise, Speckle
Noise, Poisson Noise를 삽입하여 모델의 분류 성능을 평가한다. 연구의 결과를 통해 과수농가에서는 병해가 의심되는 증상이 발견되면 이를
촬영하여 분류된 질병에 필요한 조치를 빠르게 시행하여 피해를 최소화할 수 있을 것이다.
2. 연구방법
2.1 Xception
데이터 학습을 위해 컨볼루션 연산을 통해 특징맵을 추출하여 학습하는 CNN을 사용하였다. CNN은 입력으로 들어오는 이미지 데이터의 특징맵을 추출하는
컨볼루션 연산과, 풀링 연산을 통해 최대, 최소, 평균 등을 다음 층으로 가져오며 특징맵의 크기를 줄이는 과정을 반복한다. 출력층에서는 결과를 실제
정답과 비교해 반대로 올라가며 가중치를 갱신하는 역전파 작업이 시작된다. 이러한 과정들을 반복하며 입력 데이터에 최적화된 필터의 값을 찾게 된다.
본 논문에서는 CNN 중에서 2016년 발표된 Xception(6) 네트워크를 사용하였다. Xception은 extreme version of inception module의 줄임말로 Inception에 기초를 두고
있으며, ImageNet 데이터세트와 약 3.5억 개의 거대한 이미지 분류 데이터세트에 대해서 2015년 ILSVRC 대회에서 2등을 한 Inception
V3 모델보다 우수한 결과를 냈다. Inception module의 아이디어는 채널 간의 상관관계와 지역 정보를 독립적으로 특징을 추출하는 것으로
노드 간의 연결을 줄이는 것이다. 여기서 더 나아가, 그림 1과 같이 Xception 네트워크는 Depthwise separable convolution을 수정해서 만든 Xception 모듈로 채널 간의 상관관계와
이미지의 지역 정보의 mapping을 완전히 분리하고자 했다. 모든 채널과 지역 정보를 고려해 하나의 특징맵을 만드는 기존의 컨볼루션과 달리, Depthwise
separable convolution은 특징맵을 채널별로 만든 후 1x1 컨볼루션 연산함으로 특징맵의 출력 수를 조정한다.
그림. 1. Inception 모듈의 Extreme version (Xception)
Fig. 1. Extreme version of Inception module (Xception)
2.2 학습 데이터세트
본 연구는 AI Hub의 검증된 개방 데이터인 “과수화상병 촬영 이미지” 데이터세트 중 사과에 대한 데이터를 기반으로 진행되었다. 본 데이터는 주요
과수(사과, 배)의 화상병 및 유사 병종의 이미지 데이터이며 주요 과수 질병의 종류에 따라 발현되는 부위와 증상이 달라서 사과나무의 열매, 꽃, 잎,
가지, 줄기, 과일로 세분화해 촬영된 100만 화소 이상의 고해상도 데이터로 이루어져 있다. 병해 클래스는 갈색무늬병(Marssonina blotch),
과수화상병(Fire Blight), 부란병(Valsa canker), 점무늬낙엽병(Alternaria blotch), 탄저병(Bitter rot)으로
구성되어 있다. 해당 데이터세트의 구축은 정상 작물의 경우 과원 20~30곳에서, 질병 감염 이미지는 과원 및 질병별 담당 대학이나 연구기관에서 인위
접종 또는 자연 발생에 의한 병해를 촬영하는 것으로 이루어졌다(7). AI Hub의 “과수화상병 촬영 이미지” 데이터세트 일부를 그림 2에 나타내었다.
원본 데이터세트는 총 41,655개의 이미지로 구성되어 있으며 정상 클래스의 경우 약 32,000장으로 가장 많았고 나머지 5개 병해 클래스의 경우
약 1,800장에서 1,900장 정도의 데이터가 있다. 전체 데이터세트를 클래스별로 8 : 2의 비율로 학습 데이터와 테스트 데이터로 나누어 모델
성능을 테스트할 때 학습에 사용되지 않은 데이터를 분류하게 하였다. 데이터세트 분류에 대한 자세한 구성은 표 1에 정리하였다.
표. 1. 사과 병해 데이터세트 요약
Table. 1. Summary of apple disease dataset
그림. 2. 데이터세트 예시
Fig. 2. Example of dataset
2.3 이미지 증대
모델 성능을 높이기 위해 이미지 증대 기법을 사용하여 사과 질병 학습 데이터를 증대시키고 선별하여 학습에 사용하였다. 이미지 증대를 통해 이미지에
회전, 이동, 색상변화 등과 같은 전처리를 적용하여 다양한 형태의 이미지를 확보하여 특징을 추출해 성능을 향상시킬 수 있다.
본 논문에서는 구글의 AutoAugment(8) 16가지 기법 중 Cutout과 Sample Pairing을 제외한 모든 기법이 사용되는 CIFAR-10 증대정책을 이용하여 데이터를 25배 증대
후 선별하여 데이터세트를 구성하고 학습하였다. AutoAugment의 증대 기법에는 Shear X/Y, Translate X/Y, Rotate, Auto
Contrast, Invert, Equalize, Solarize, Posterize, Contrast, Color, Brightness, Sharpness,
Cutout, Sample Pairing이 있다. 이미지를 회전하거나 비트는 Shear X/Y, Translate X/Y, Rotate 5가지 기법을
제외한 나머지는 색상 변환을 이용한 기법이다. CIFAR-10 증대정책은 AutoAugment 기법 16가지 중 2가지씩을 짝지어 CIFAR-10
데이터세트를 증대 후 학습하였을 때 가장 학습이 잘 되는 경우 25가지이다. 증대한 데이터의 예시는 그림 3에 나타내었다.
그림. 3. CIFAR-10 증대정책으로 증대한 데이터 예시
Fig. 3. Example of disease data augmented with CIFAR-10 Policy
CIFAR-10 데이터세트(9)는 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭 10개의 클래스로 라벨링 되어있는 32 X 32픽셀의 60,000개 컬러이미지로
이루어져 있다. CIFAR-10 데이터세트가 다양한 클래스의 물체와 색감으로 구성되어있어 선택하였지만, CIFAR-10 증대정책으로 증대된 학습 데이터는
사과 병해의 특성을 반영하고 있지 않을 수 있고, 잘못된 특징을 추출함으로 모델의 학습 성능 향상에 악영향을 미칠 수 있어 선별 작업이 필요하다.
데이터 선별을 위하여 원본 데이터로 학습시킨 Xception 네트워크에 증대된 데이터를 입력으로 넣어 Softmax 함수가 출력하는 예측 확률이 임곗값이
0.9 이상인 이미지만 학습 데이터세트에 추가하고 학습하여 이에 따른 분류 성능을 비교하였다.
2.4 Noise 삽입
디지털 이미지에서의 Noise는 Gaussian Noise, Salt-and-pepper Noise, Speckle Noise, Poisson Noise
등이 있다(10)(13). 이 중에서도 Gaussian Noise는 전기적 잡음에 의해 발생하는 Gaussian 분포를 따르는 Noise로 자연의 조명 환경이나 이미지 센서의
영향을 받아 빈번하게 발생한다(11). 또한 Salt-and-pepper Noise는 Impulse Noise 중 하나이며 카메라 센서 픽셀의 오작동이나 잘못된 메모리를 사용하는 등
디지털 이미지를 전송하는 과정에서 빈번히 생기는 Noise이다(12). Speckle Noise는 분산 지점의 후방에 산란된 신호를 하나로 처리하여 발생하는 Noise이다. 이미지 처리 장치보다 작거나 같은 크기의
물체에서 반환되는 신호가 급격하게 변동할 때 Speckle Noise가 발견된다(10). 이미지 시스템에서 이미지를 만들 때 노출 시간 동안 센서에 도달하는 광자를 축적하여야 한다. 하지만 어두운 조건에서 적은 수의 신호에 따라 Poisson
Noise가 나타나게 된다(13).
그림. 4. Noise가 삽입된 테스트 데이터 예시
Fig. 4. Example of test data with noise inserted
그림. 5. 사과 질병 분류 모델 학습 과정
Fig. 5. Training Process of Apple Disease Classification Model
AI Hub 데이터세트는 100만 화소 이상의 고해상도 데이터로 이루어져 있지만, 실제 농가에서 촬영될 이미지의 경우 이러한 Noise가 발생하여
모델의 인식률을 떨어트릴 수 있다. 본 논문에서는 아래 그림 4와 같이 테스트 데이터로 분류한 원본 데이터에 각각 4가지의 Noise를 추가하여 새로운 테스트 데이터 4개를 생성하였다. Noise에 대한 변수는
다음과 같다. 평균이 0, 분산이 0.01인 Gaussian Noise를 생성하였으며 평균이 0, 분산이 0.05인 균일하게 분포된 랜덤한 Noise를
Input 이미지에 곱한 것을 원본 데이터에 더하여 Speckle Noise를 추가한 테스트 데이터 생성하였다. 또한 잡음 밀도가 0.05인 점잡음을
원본 데이터에 추가하여 Salt-and-pepper Noise가 삽입된 테스트 데이터를 생성하였으며, 마지막으로 원본 데이터를 기반으로 생성된 Poisson
Noise를 삽입하여 테스트 데이터를 생성하였다(12)(13).
3. 연구결과
본 연구는 CNN 기반의 Xception 모델을 통해 정상과 사과 병해 5종을 분류하게 하였다. 그림 5와 같이 총 2가지 방법으로 학습한 모델을 Noise가 추가된 테스트 데이터로 분류 성능을 평가하였다. 2가지 모델은 Original 이미지만 학습한
모델, Original 이미지와 CIFAR-10으로 증대한 이미지를 임곗값 0.9로 선별한 모델이다. 모델은 과적합이 일어나지 않도록 Train loss와
Validation loss가 충분히 수렴하였다고 판단 되었을 때 학습을 조기 종료하였다. 학습된 모델의 성능은 혼동 행렬(Confusion Matrix)을
사용하여 계산하였으며 분류 성능 지표로는 F1-Score가 사용되었다. Precision은 모델이 예측한 정답 중 실제 정답의 비율이고 Recall은
실제 정답 중에서 모델이 정답으로 예측한 비율이다. F1-Score는 Precision과 Recall의 조화평균이다. Precision, Recall
그리고 F1-Score를 구하는 수식은 다음과 같다.
각각의 클래스마다 Precision, Recall 값을 구하고 그 값을 통하여 계산된 F1-Score를 표 2에 작성하였으며 이를 통해 각 모델의 전체적인 성능을 비교하였다.
Gaussian Noise의 경우 원본 데이터로 학습한 모델의 F1-Score는 0.833의 성능을 보였다. 그리고 본 논문에서 제안하는 방법인 AutoAugment의
CIFAR-10 증대정책으로 증대된 데이터를 Softmax 함수 출력의 임곗값 0.9 이상인 데이터만을 학습 데이터세트에 추가해 학습시킨 모델의 F1-Score는
0.896을 보이며 원본으로 학습시킨 모델보다 향상된 성능을 보였다.
Salt-and-pepper Noise, Speckle Noise, Poisson Noise의 경우 원본 데이터로 학습한 모델의 F1-Score는
각각 0.720, 0.965, 0.967이며 본 논문에서 제안하는 방법 학습시킨 모델은 각각 0.777, 0.969, 0.973으로 테스트를 진행한
모든 Noise에서 성능이 향상된 것을 볼 수 있다.
또한 표 2를 보았을 때 서론에서 언급한 빠르게 퍼지며 치명적인 세균병인 과수화상병(Fire Blight)에 대한 성능이 원본 데이터로 학습한 모델보다 제안하는
모델이 크게 향상되었으며 사과부란병(Valsa canker)을 제외한 모든 병해에 대한 분류 성능이 향상되었다.
CIFAR-10 증대정책으로 증대된 데이터가 학습 데이터세트에 포함된 모델의 성능 지표를 살펴보았을 때 사과부란병(Valsa canker)이 원본만
학습한 모델보다 큰 차이가 없거나 일관적으로 성능이 매우 떨어진 것을 확인할 수 있었다. 사과부란병(Valsa canker)의 경우 병해의 특성상
데이터가 사과나무의 줄기로만 구성되어 있는데, CIFAR-10 증대정책으로 증대된 데이터는 줄기와 줄기에 나타나는 병해에 대한 특징을 잘 나타내지
못한 것이라고 그 이유가 예측된다.
그림. 6. 사과탄저병 CIFAR-10 증대 예시
Fig. 6. Bitter rot CIFAR-10 augment Example
CIFAR-10 증대정책으로 증대된 데이터를 선별하지 않고 사용하여 학습한 모델은 원본 데이터를 학습한 모델보다 분류 성능이 떨어지는 결과를 보였다.
이는 아래 그림 6과 같이 원본 데이터에 존재하던 사과탄저병의 특징이 증대 과정에서 사라지며 증대된 데이터에서는 사과탄저병만의 특징을 반영하지 못하여 나온 결과로 예측된다.
따라서 증대된 데이터를 임곗값 0.9를 통하여 선별 후 학습을 진행한 모델을 사용하였다. 이를 통해 이미지 증대정책이 모델을 학습하는 과정에서 Noise에도
강인한 모습을 볼 수 있다.
표. 2. 사과 병해 분류 성능 결과
Table. 2. Results of apple disease classification
4. 결 론
사과나무의 열매, 꽃, 잎, 가지, 줄기, 과일 이미지로 병해를 분류하는 시스템을 연구하였다. AI Hub의 “과수화상병 촬영 이미지” 데이터세트로
정상을 포함한 6개의 클래스의 학습 데이터를 구성해 Xception 네트워크를 학습시켰다. 실제 농가에서 촬영 시 이미지에 생길 수 있는 Noise에
대한 강인한 네트워크 구축 검증을 위해 원본 테스트 데이터에 디지털 이미지에서 빈번하게 발생하는 4가지 Noise를 추가하였다. 원본 테스트 데이터에
각각 Gaussian Noise, Salt-and-pepper Noise, Speckle Noise, Poisson Noise를 삽입하여 새로운 테스트
데이터를 생성하였다.
모델의 분류 성능 향상을 위해 AutoAugment의 CIFAR-10 증대정책으로 학습 데이터를 증대하였다. 원본 데이터만으로 학습시킨 모델과 증대된
데이터를 원본으로만 구성된 학습 데이터로 학습시킨 모델로 분류해 Softmax 함수의 출력이 임곗값 0.9 이상인 데이터만 선별하여 학습 데이터세트에
추가하여 학습시킨 모델의 성능을 비교하였다. 추후에는 CIFAR-10 증대정책이 아닌 다양한 이미지 증대정책에 관해 후속 연구를 진행하여 사과나무
줄기의 특징을 잘 나타낼 뿐 아니라 나머지 병해에 대한 특징도 더 잘 반영하며, 다양한 Noise에도 강인한 증대정책을 찾는 것이 필요하다. 마지막으로,
현재 연구에서 나아가 더 많은 종류의 병해와 작물을 대상으로 확대해간다면 스마트팜을 도입할 수많은 농가에서 활용하여 병해로부터의 작물의 피해를 최소화할
수 있을 것이다.
Acknowledgements
This work was supported by the National Research Foundation of Korea(NRF) grant funded
by the Korea government(MSIT) (No. 2017R1E1A1A03070297). This research was supported
by Basic Science Research Program through the National Research Foundation of Korea(NRF)
funded by the Ministry of Education (No. 2022R1I1A3053872)
References
Korean Statistics Information Service, Agricultural corporation informatization level
and utilization survey
Rural Development Administration, 2019, 『Apple Cultivation (Agricultural Technology
Guide 5)』, Human Culture Arirang
nongsaro, last modified, 2020, Fruit tree corona, tips on how to deal with Fire Blight,
http://www.nongsaro.go.kr/portal/ps/psb/psbo/vodPlay.ps?mvpNo=1815\&mvpClipNo=\&menuId=PS00069\&cntntsNo=224771
H.-J. Yu, C.-H. Son, D.-H. Lee, 2018, Deep Learning Based Image Recognition for Disease
Diagnosis of Crops, Proceedings of KIIT Conference
M.-B. Kim, C.-Y. Choi, 2020, Superpixel-based Apple Leaf Disease Classification using
Convolutional Neural Network, JOURNAL OF BROADCAST ENGINEERING 25.2: 208-217
François Chollet, 2017, Xception: Deep learning with depthwise separable convolutions,
Proceedings of the IEEE conference on computer vision and pattern recognition
AI Open Innovation Hub, 2022, image of Fire Blight, last modified 2022, http://www.aihub.or.kr
Ekin D. Cubuk, 2019, Autoaugment: Learning augmentation strategies from data, Proceedings
of the IEEE/CVF Conference on Computer Vision and Pattern Recognition
Alex Krizhevsky, Hinton Geoffrey, 2009, Learning multiple layers of features from
tiny images, 7
Rohit Verma, Ali Jahid, 2013, A comparative study of various types of image noise
and efficient noise removal techniques, International Journal of advanced research
in computer science and software engineering, Vol. 3, No. 10
Mohammed Abd-Alsalam Selami Ameen, Ahmed Freidoon Fadhil, 2016, A study of the effects
of gaussian noise on image features, Kirkuk University Journal-Scientific Studies,
Vol. 11, No. 3, pp. 152-169
Erkan Uğur, Levent Gökrem, Serdar Enginoğlu, 789-798 2018, Different applied median
filter in salt and pepper noise, Computers & Electrical Engineering
X. -Y. Kong, L. Liu, Y. -S. Qian, 2021, Low-Light Image Enhancement via Poisson Noise
Aware Retinex Model, in IEEE Signal Processing Letters, Vol. 28, pp. 1540-1544
K. Deng, A. Peng, W. Dong, H. Zeng, 2021, Detecting C&W Adversarial Images Based on
Noise Addition-Then-Denoising, 2021 IEEE International Conference on Image Processing
(ICIP), pp. 3607-3611
저자소개
Jang-yeon Kim is currently working toward a B.S. degrees in Department of Electronic
Engineering from Kangwon National University, South Korea.
Tae-kyeong Kim is currently working toward B.S. and M.S. degree in Interdisciplinary
Graduate Program for BIT Medical Convergence from Kangwon National University, South
Korea.
Hyun-chong Cho received his M.S. and Ph.D. degrees in Electrical and Computer Engineering
from the University of Florida, USA in 2009.
During 2010- 2011, he was a Research Fellow at the University of Michigan, Ann Arbor,
USA.
From 2012 to 2013, he was a Chief Research Engineer in LG Electronics, South Korea.
He is currently a professor with the Department of Electronics Engineering and Interdisciplinary
Graduate Program for BIT Medical Convert- gence, Kangwon National University, South
Korea.