1. 서 론

소의 특이행동 및 이상징후 검출은 축산업에 종사하는 관리자에게 중요한 요소로 존재해왔다. 그중에서도 번식 관리와 연관되는 특이행동인 소의 발정과 이를 판별하는 것은 축산 농가에 있어 큰 관심거리이다⁽¹⁾. 발정이 판별된 소는 축산 농가 관리자에 의해 인공적인 수정 등 조치가 취해진다⁽²⁾. 하지만 발정 판별이 적시에 이뤄지지 못한 경우에는 번식 관리의 실패로 이어진다. 암소가 임신하지 않은 공태 기간이 길어지며, 장기적으로 소의 개체 수가 감소하게 된다. 더욱이 소에게서 얻을 수 있는 우유와 같은 각종 부산물의 생산량도 함께 감소하게 된다. 이처럼 소의 발정 판별은 축산 농가의 생산성과 이익에 직접적인 영향을 미친다⁽³⁾.

통계청에 따르면 국내의 한우 사육 개체 수는 2017년 기준으로 약 270만 마리이며, 한우 축산업의 생산액은 전체 축산업 생산액의 20%가 넘는 약 4조 4천억 원에 달한다. 그림 1 (a)와 같이 한우 사육 개체 수 100마리 이상의 다두를 사육하는 대형 축산 농가는 점점 늘어나는 반면 그림 1 (b)에서 확인할 수 있듯이 축산 농가의 종사자 수는 줄어들고 60세 이상의 고령 종사자 비중은 늘어나고 있다⁽⁴⁾. 축산 농가 대형화, 종사자 수 감소 및 고령화는 1명의 축산 농가 종사자가 관리해야 하는 소의 두수를 급격하게 증가시켰으며, 과거와 같이 관리자의 직접적인 육안 관찰을 통한 소의 발정 판별은 현실적으로 어려워졌다. 이러한 상황은 한국뿐만 아니라 전 세계적으로 진행되고 있는 문제점이며, 이를 해결하기 위해 스마트팜과 같은 농축산업과 IT 기술이 합쳐진 융합 분야의 연구가 활발하게 진행되었다^(5,6). 축사의 온도 및 습도 조정과 같은 기본적인 환경 관리에서부터 앞서 언급한 소의 발정을 판별할 수 있는 여러 기술까지 연구가 진행되었다. 하지만 발정을 판별하는 대다수의 연구는 소의 목이나 다리 부위에 부착하는 센서를 기반으로 이루어졌다^(7,8). 센서는 가속도 센서나 자이로 센서로 구성되고 소의 운동량을 측정하여 발정이 일어나는 경우 관리자에게 알려주는 방식으로 작동한다. 센서 형태의 기기는 부착식으로 소에게 스트레스를 유발할 가능성이 있으며, 센서의 구매, 주기적인 배터리의 교체 등 유지 보수를 위한 추가적인 비용 문제를 가진다.

그림. 1. 한우 축산 농가 현황 (출처 : 대한민국 통계청)

Fig. 1. Status of livestock farms for korean native cattle

카메라의 영상 입력을 통한 소의 발정 판별은 앞선 방법의 대안이 될 수 있다⁽⁹⁾. 이는 비접촉식으로 스트레스를 유발하지 않으며, 카메라의 설치가 완료되면 낮은 유지 비용을 가진다. 영상 입력을 기반으로 한 소의 발정 판별 방법으로는 MHI(Motion History Image)기법과 같은 행동 인식(Activity Recognition)을 위한 알고리즘을 사용하여 진행된 연구가 있다^(10,11). 영상에서 특정한 행동을 인식하기 위해 사용하는 행동 인식 알고리즘의 대다수는 인접 프레임 간의 연관성을 확인하여 이루어진다⁽¹²⁾. 행동 인식을 위해 특정 행동이 발생하는 경우 발생 부의 인접 프레임에서 옵티컬 플로우(Optical Flow) 등의 기법을 사용하여 움직임 벡터와 같은 특징점 파라미터를 추출한다. 행동 인식 알고리즘은 추출된 파라미터 값을 확인하여 분류기(Classifier)를 제작해 사용하거나, 파라미터 간의 연관 관계를 분석하고 수식을 통한 규칙을 정의하여 행동 인식을 진행한다⁽¹³⁾. 하지만 이는 수식이 복잡해질수록 많은 계산량을 요구하며, 실시간 처리에서 강점을 가지지 못할 수 있다.

본 연구에서는 앞선 문제점들을 보완하기 위해 딥 러닝 모델(Deep Learning Model)을 기반으로 한 객체 인식(Object Detection) 알고리즘을 사용하여 소의 특이행동 검출 및 발정 판별을 진행하였다. 객체 인식 알고리즘을 통한 행동 인식은 인접 프레임 간의 연관 관계에 상관없이 단일 프레임 이미지 내에서 행동 검출이 이루어지며, 상대적으로 낮은 연산량을 통한 빠른 처리가 가능하다.

2. 본 론

2.1. 소의 승가 행위

소는 발정하였을 때 다양한 특이행동을 표출하는데, 특이행동 중 하나로 그림 2와 같이 한 마리의 소가 다른 소의 등 위로 올라타는 승가 행위를 나타낸다. 본 연구에서는 소가 나타내는 특이행동 중 하나인 승가 행위에 대해 행동 인식을 진행하며, 이를 바탕으로 소의 발정을 판별한다.

그림. 2. 소의 승가 행위

Fig. 2. Mating posture of cattle

2.2. 영상 데이터 획득

제안된 연구의 학습 및 성능 검증에 사용될 소 승가 행위 데이터 획득을 위해 강원도 춘천시 신북읍에 위치된 강원대학교 목장에 카메라를 설치하였다. 카메라는 4.1~16.4mm의 초점 거리를 가지며, 최대 1920 x 1080의 해상도 설정이 가능한 네트워크 IP 카메라(GB-CDX04, GASI)가 사용되었다. 목장의 4m x 8m 크기의 우사 2개가 연구에 사용되었으며, 그림 3과 같이 우사 모서리 기둥에 3m 높이로 4대의 카메라를 설치하였다. 카메라는 약 45도의 각도로 두 우사의 중심점을 바라보게 설정되었다. 연구는 8마리의 소에 대하여 관찰이 진행되었고 각각의 우사는 적령기의 수소 2마리와 암소 2마리가 배치되었다.

그림. 3. 우사 구조 및 카메라 배치도

Fig. 3. Cattle barn with camera installed

영상 데이터의 획득은 2019년 1월 22일부터 2019년 4월 25일까지 총 94일간 진행되었으며, 배치된 4대의 카메라를 통해 총 9,024시간의 영상 데이터를 확보하였다. 영상 데이터는 주간 영상 데이터와 우사 주변의 빛이 적어지는 시간대에 카메라의 IR 기능이 작동된 야간 영상 데이터로 나뉜다. 영상 데이터는 끊김 없는 데이터의 송수신과 용량의 효율적인 조절을 위해 표 1과 같은 설정으로 저장되었다.

그림. 4. 데이터셋 제작 과정

Fig. 4. Dataset procedure

표 1. 획득 영상 데이터 특성

Table 1. Property of video stream data

	해상도	프레임 속도	IR LED 동작
영상 데이터	1280(w) x 720(h)	30 frame/sec	0 lux 이하

2.4. 객체 인식 알고리즘을 통한 행동 인식

딥 러닝 모델을 기반으로 한 이미지 분석은 그림 6과 같이 분류(Classification), 위치 검출(Localization), 객체 인식(Object Detection)으로 나눠진다. 분류는 입력으로 주어진 이미지 안의 단일 객체의 종류를 구분하는 행위이다. 위치 검출은 주어진 이미지 안의 객체가 어느 위치에 있는지 위치 정보까지 출력해 주는 것을 나타내며 분류와 마찬가지로 단일 객체를 대상으로 한다. 객체 인식의 경우 분류와 위치 지정이 동시에 수행되며 단일 및 다수의 객체를 검출한다.

소의 승가 행위 행동 인식은 딥 러닝 모델을 기반으로 한 객체 인식 알고리즘을 사용하여 진행되었다. 객체 인식 알고리즘을 통한 행동 인식은 행동 발생 지점에서 인접 프레임 간의 연관 관계를 확인할 필요 없이 단일 프레임 내에서 행동 인식이 이루어진다. 이로 인해 상대적으로 낮은 연산량을 가지며, 빠른 처리 속도를 기반으로 한 실시간 영상처리에서 강점을 가진다.

그림. 5. 승가 행위 시작점 및 종료점

Fig. 5. Start point and end point of mating posture

그림. 6. 분류, 위치 지정, 객체 인식

Fig. 6. Classification, Localization, Object Detection

소의 승가 행위 탐지를 위한 객체 인식 알고리즘의 종류로는 YOLOv3(You Only Look Once)가 사용되었다. CNN(Convolutional Neural Network)을 기반으로 하는 YOLO 알고리즘은 이미지 내의 경계 박스와 분류 예측 가능성(Class Probability)을 하나의 문제로 간주, 이미지를 한 번만 바라보는 방법으로 객체의 종류와 위치를 추측한다. YOLO 알고리즘은 입력단에서 이미지를 S x S 개의 그리드(Grid)로 분할을 진행한다. 각각의 그리드는 경계 박스에 포함된 그리드가 객체에 포함될 확률과 어떤 범주와의 연관성을 가지는지에 대한 분류 예측 가능성이 계산된다. 그 결과로 가장 높은 객체 인식 정확성을 가지는 경계 박스를 표시하며, 물체 중심의 위치 좌표(x, y), 높이(w), 너비(h) 및 물체의 종류에 관한 확신도(Confidence)를 검출한다.

YOLOv3 알고리즘은 제안된 연구에서 목표로 하는 승가 행위의 실시간 탐지에 적합한 빠른 처리 속도와 준수한 객체 인식 성능을 가지고 있다⁽¹⁴⁾. 416 x 416의 입력 이미지 크기를 가지는 YOLOv3–416의 경우, 동일한 환경에서 다른 객체 인식 알고리즘인 RetinaNet50–500, RetinaNet101–500, SSD–513(Single Shot Detection)과 비교했을 때 2배 이상 빠른 객체 추론 속도를 보여준다. 더욱이 객체의 검출률인 mAP–50(mean Average Precision)의 경우 55.3으로 각각 50.9, 53.1, 50.4의 수치를 보이는 RetinaNet50–500, RetinaNet101–500, SSD–513과 비교하였을 때 가장 높은 성능을 보여준다.

2.5. 딥 러닝 모델 기반 학습

소의 승가 행위 행동 인식을 위한 학습은 YOLOv3 모듈의 백본망(Backbone Network) Darknet–53을 통해 이루어졌다. YOLOv3에서 사용된 Darknet–53은 다른 객체 인식 알고리즘에서 주로 사용되는 백본망인 ResNet–101 및 ResNet–152 비교하였을 때 1.5배 이상의 높은 처리 속도를 보여준다⁽¹⁰⁾. Darknet–53은 총 53개의 Convolution 계층으로 구성되어 있으며, 전체적인 구조는 그림 7과 같다.

그림. 7. Darknet-53 네트워크 구조

Fig. 7. Structure of Darknet-53

학습은 앞서 제작된 102,400개의 승가 행위 프레임 이미지 데이터를 통해 진행되었다. 입력 이미지 크기는 512 x 512로 설정되었으며, 결과의 정확성에 영향을 미치는 학습률(Learning Rate)는 0.001로 설정하였다. 과적합 상태로 학습 데이터에 대해서는 높은 정확도를 보이지만 성능 검증을 위한 실제 적용 시에는 정확도가 떨어지는 현상인 오버피팅(Overfitting)을 방지하기 위해 큰 가중치에 주는 페널티인 디케이(Decay) 값은 0.0005로 설정하였다. 2,048의 Batch Size로 11,000번의 Iteration이 이루어졌으며, Epoch로는 220번 진행되었다. 딥 러닝 모델의 학습에 따른 손실 함수 그래프는 그림 8과 같으며, 학습에 사용된 기기의 성능 및 설정은 표 2와 같다.

그림. 8. 학습 횟수에 따른 손실률

Fig. 8. Loss rate per iteration

표 2. 학습에 사용된 기기 성능 및 설정

Table 2. Device performance and settings

CPU	Intel(R) Xeon(R) CPU E5-2620 v4
GPU	NVIDA TITAN Xp
Memory	128GB RAM
	WIndows 10 x64
	CUDA 10.0
	OpenCV 3.4

3. 연구 결과

본 연구에서 제안된 객체 인식 알고리즘을 통한 소의 승가 행위 행동 인식 구조도는 그림 9과 같다.

성능 분석은 51,200개의 프레임 단위 이미지 데이터를 사용하여 이루어졌으며, 51,200개의 데이터는 일반 데이터 25,600개와 승가 행위 데이터 25,600개로 구성되었다. 일반 데이터는 우사에서 획득한 전체 영상 데이터에 대하여 프레임 단위의 추출을 진행한 후, 승가 행위가 존재하는 프레임 데이터를 제거한 25,600개의 프레임 단위 이미지 데이터로 구성되었다. 승가 행위 데이터는 앞서 획득한 15,028개의 승가 행위 영상 데이터 중 학습에 사용되지 않은 5,028개의 영상 데이터에서 추출한 25,600개의 프레임 단위 이미지 데이터로 구성되었다.

그림. 9. 소의 승가 행위 행동 인식 구조도

Fig. 9. Overview of mating posture detection

성능 지표로는 승가 행위 데이터에서 승가 행위를 제대로 판별한 경우인 TP(True Positive), 일반 데이터를 승가 행위로 판별하지 않은 경우인 TN(True Negative), 일반 데이터를 승가 행위로 판별한 경우인 FP(False Positive), 승가 행위 데이터에서 승가 행위를 제대로 판별하지 못한 경우인 FN(False Negative), Precision, Accuracy, Recall, F1-score를 사용하여 표기하였다. 객체 인식 알고리즘을 통한 소의 승가 행위 행동 인식 성능 분석은 표 3과 같다.

Precision 값은 약 97%의 수치를 보여주었다. YOLO 알고리즘은 이미지 전체를 한 번에 바라보는 특성상 범주에 대한 맥락적 이해도가 높다. 이로 인해 낮은 background error(FP)를 가지며 오탐에 대해 강인한 모습을 보인 것으로 판단된다. 직관적으로 모델의 성능을 나타낼 수 있는 지표인 Accuracy 값은 약 96%의 수치를 나타냈으며, Precision과 trade-off 관계를 갖는 Recall 값도 약 95%로 준수한 성능을 보여주었다.

4. 결 론

축산 농가에서 소의 발정 판별은 번식 관리와 연관되어 소의 개체 수에 직접적인 영향을 미치고 축산 농가의 이익과 직결된다. 하지만 다수의 개체를 사육하는 대형 축산 농가는 점점 증가하고 있으며, 반면에 축산 농가 종사자 수는 감소하여 1명의 종사자가 다수의 개체를 관리해야 하는 상황 속에서 소의 발정을 판별하는 것은 어려운 문제이다.

본 연구에서는 이러한 문제점의 해결을 위해 객체 인식 알고리즘을 소의 승가 행위 행동 인식에 적용하여 발정을 판별할 수 있게 하였다. 객체 인식 알고리즘을 행동 인식에 적용하여 해결함으로써, 기존의 행동 인식 알고리즘과 같이 인접 프레임 간의 연관 관계를 확인하기 위해 많은 계산량을 처리할 필요가 없으며 단일 프레임 내에서 행동 인식이 가능하였다. 객체 인식 알고리즘으로는 성능이 뛰어나고 빠른 처리 속도로 실시간 환경에서 강점을 가지는 YOLO 알고리즘을 사용하였다. 강원대학교 목장 우사에서 획득한 자체적인 영상 데이터에서 승가 행위를 분류하여 프레임 단위 이미지의 데이터셋을 제작하였으며, YOLO 알고리즘의 딥러닝 모델 기반으로 학습을 진행하였다. 학습을 통해 제작된 YOLO 모듈을 기반으로 소의 승가 행위 행동 인식이 이루어졌으며, 연구된 승가 행위 행동 인식 구조는 51,200개의 성능 검증을 위한 데이터에 대해 약 96%의 Accuracy를 보여주었다.

즉, 본 연구에서는 행동 인식에 객체 인식 알고리즘을 적용하여 적합한 성능을 보여줄 수 있는지 확인하였다. YOLO의 기본적인 출력을 바탕으로 자체적인 데이터셋과 연구 목표를 설정하여 분류와 위치 지정이 동시에 진행되는 객체 인식 알고리즘이 행동의 인식에서도 적용될 수 있는지 평가하며, 이를 기반으로 객체 인식 알고리즘 기반 소의 승가 행위 행동 인식 구조를 제안하였다. 향후 연구로는 주간 영상 데이터와 야간 영상 데이터를 분리하여 학습을 진행한 후 성능의 향상이 가능한지 확인할 예정이다. 딥러닝 모델을 기반으로 하는 다른 객체 인식 알고리즘을 적용하고 성능의 비교 분석을 진행할 것이다. 현재의 학습 데이터와 입력 이미지는 아무런 전처리 기법도 가해지지 않은 raw-data로 진행되었는데, 성능의 향상이 가능할 것으로 판단한 다양한 전처리 방법들을 적용하고 테스트를 진행할 예정이다.