국내 축산업은 전업화와 대형화로 인해 가축을 돌보는 직원이 줄어들고 관리 가능한 사육 두수가 가파르게 증가하면서 축산농가의 관리 부실로 이어져 위생 관리 및 가축 질병에 대한 초기 대응 실패로 인해 지난 10년 동안 구제역 (foot-and-mouth disease, FMD), 아프리카 돼지 열병 (african swine fever virus, ASFV)과 같은 질병으로 많은 피해를 입었다. 축산업의 전업화와 대형화를 감안할 때 농장을 효과적으로 관리하려면 축산 농가의 부담을 줄이고 개별 가축을 지속적으로 자동 모니터링할 수 있는 스마트 팜 시스템이 필요하다. 특히 스마트 팜 시스템은 질병의 발생 또는 확산을 방지하기 위해 가축 건강의 변화와 밀접한 관련이 있는 가축의 행동을 추적하고 질병을 퍼뜨리는 중요한 이유 중 하나인 사람의 무단 침입을 탐지하고 추적 및 탐지 결과를 팜 관리자에게 경고한다.
따라서 이 논문에서는 스마트 팜 관리를 위한 심층 신경망 (deep neural network, DNN) 기반 다중 객체 추적 및 사물인터넷 (Internet of Things, IoT) 알림 시스템을 제안한다. DNN 기반 다중 물체 추적 모듈은 가축 검출/추적 모델과 사람 침입 탐지 모델의 두 모델로 구성된다.
첫째, 가축 검출을 위해 Faster Region-based Convolutional Neural Network (R-CNN)이 고려되었다. 이 시스템에서는 기본 네트워크로 ResNet50 아키텍처가 사용되고, RMSprop 최적화기로 Region Proposal Network(RPN) 및 Fast R-CNN의 손실함수를 최소화한다. 가축 추적을 위해 중심점 추적 알고리즘을 제안하였다. 중심점 추적 알고리즘은 이전 이미지 프레임에서 검출된 가축 객체의 중심점과 현재 이미지 프레임의 검출된 가축 객체의 중심점 사이 최소 거리를 찾는다. 그런 다음 세 가지 사례에 따라 다른 방법으로 추적합니다. 우선 거리 차이가 미리 정의된 임계값 보다 작다면, 임계값이 계산된 값으로 갱신되고 이 과정이 반복되어 거리 차이가 가장 작은 검출 결과를 찾는다. 또한 거리 차이가 거리 임계값 보다 크고 이전 프레임의 추적 결과에 값이 존재한다면, 이전 프레임의 추적 결과 값은 현재 프레임의 추적 결과에 그대로 반영된다. 반대로 거리 차이가 거리 임계값 보다 크지만 이전 프레임의 추적 결과에 값이 존재하지 않는다면, 현재 프레임에서 새로 검출된 가축 검출에 대한 값을 반영하여 추적된다. 둘째, 사람의 무단 침입을 탐지하기 위해 OpenPose라는 자세 추정 모델이 고려되었다. 기본 네트워크로 VGG19를 사용하고 손실함수 최소화를 위해 Multi-stochastic Gradient Descent (SGD) 최적화기를 사용한다. 또한 모델을 만들기 위해 표준화된 COCO 데이터셋과 같은 통합 데이터셋을 제작하기 위한 주석 도구를 개발한다. 통합 데이터셋은 시멘틱 분할, 객체 검출, 자세 추정 등과 같은 다양한 길쌈 심층 신경망에 사용할 수 있다.
IoT 알림을 위해 가축 검출/추적 및 사람 침입 탐지와 같은 DNN 기반 다중 객체 추적 결과 이미지를 공유하기 위해 Mobius(서버) 및 &Cube(클라이언트)라는 oneM2M 규격을 준수하는 IoT 플랫폼을 기반으로 기능 아키텍처를 새로 설계하였다. DNN 기반 다중 객체 추적 모듈에서 IoT 클라이언트는 Application Dedicated Node-Application Entity (ADN-AE)로 모델링된다. 모델이 base64로 인코딩된 이미지를 출력할 때마다 이를 포함하는 컨텐트 인스턴스를 Infrastructure Node-Common Service Entity (IN-CSE)로 모델링된 IoT Server로 전송한다. 팜 관리자의 경우 소셜 네트워크 서비스 (social network service, SNS) 에이전트는 Infrastructure Node-Application Entity (IN-AE)로 모델링된다. IoT 클라이언트와 관련된 base64로 인코딩된 이미지와 같은 알림 메시지를 수신하기 위해 IoT 서버에 구독 메시지를 요청한다.
제안된 DNN 기반 다중 객체 추적 및 IoT 알림 시스템의 성능 평가를 위해 가축 농장의 폐쇄 회로 텔레비전 (closed-circuit television, CCTV) 카메라에서 돼지와 같은 가축 이미지와 인간 이미지를 수집하였다. 가축 탐지를 위한 Faster R-CNN의 성능은 약 70.35%로 나타났으며 가축 추적을 위한 중심점 추적 알고리즘의 다중 물체 추적 정확도 (multi-object tracking accuracy, MOTA) 성능은 약 61.18%로 나타났다. 사람 침입 탐지를 위한 OpenPose의 성능은 약 97.66%로 나타났다. 마지막으로 팜 관리자의 스마트폰 텔레그램 애플리케이션에서 알림 메시지를 확인하여 IoT 알림 서비스의 유용성을 확인하였다.

핵심단어: 객체 추적, 스마트팜, 사물인터넷, 질병예방

The domestic livestock industry has been a lot of damage by diseases such as foot- and-mouth disease (FMD) and african swine fever virus (ASFV) over the past 10 years, because a steep increase in the number of livestock led to poor hygiene management on livestock farms and failure of initial response to livestock disease. To manage a lot of livestock effectively, we need a smart farm system to ease the burden on individual caregivers and monitor individual livestock continuously and automatically. Especially, to prevent the occurrence or diffusion of diseases, the smart farm system has to track the livestock behavior whose changes closely correlate with changes in the livestock health, detect unauthorized human intrusion which is one of important reasons to spread the diseases, and alert the tracking and detection results to farm managers quickly.
Therefore, in this paper, we propose a deep neural network (DNN)-based multi- object tracking and Internet of Things (IoT) alerting system for smart farm manage- ment. The DNN-based multi-object tracking module consists of two models: a livestock detection/tracking model and a human intrusion detection model.





First, for livestock detection, a faster region-based convolutional neural network (R- CNN) was considered. It has the ResNet50 architecture as a backbone network and the RMSprop optimizer to minimize the loss functions of region proposal network (RPN) and Fast R-CNN. For livestock tracking, the center point tracking algorithm was pro- posed. It finds the minimum distance between the center points of livestock objects detected in a previous image frame and those in a current image frame. Then, we track in different methods as follow three different cases. Case 1, if the distance difference is smaller then the predefined threshold, threshold is update with calculated value and this process is repeated to find the detection result having the smallest distance difference. Case 2, If the distance difference is larger than the distance threshold and there is exists a value in the tracking result of the previous frame, the tracking result value of the previous frame is reflected inthe tracking result of the current frame as it is. Conversely as case 3, if the distance difference is larger than the distance threshold and there is no value ex- ists, to tracked by reflecting the value for newly detected livestock. Second, for detecting unauthorized human intrusion, a pose estimation model, called OpenPose, was consid- ered. It has the VGG19 architecture as a backbone network and the Mulit-Stochastic Gradient Descent (SGD) optimizer to minimize the loss function. In addition, to create the models, we develop an annotation tool for construction of the unified dataset, namely the standardized COCO dataset. It can be used for various convolutional DNNs such as semantic segmentation, object detection, pose estimation, etc.
For the IoT alerting, we newly design a functional architecture based on an oneM2M- compliant IoT platform, called Mobius (server) and &Cube (client) in order to share the DNN-based multi-object tracking results such as images of livestock detection/tracking





and human intrusion detection. In the DNN-based multi-object tracking module, an IoT client is modeled as an application dedicated node-application entity (ADN-AE). Whenever the models output base64-encoded images, it sends content instances includ- ing them to an IoT server modeled as an infrastructure node-common service entity (IN-CSE). For farm managers, a social network service (SNS) agent is modeled as an infrastructure node-application entity (IN-AE). It requests a subscription message to the IoT server to receive a notification message (i.e. base64-encoded images) related to the IoT client.
For performance evaluation of the proposed DNN-based multi-object tracking and IoT alerting system, we collected livestock images (i.e. pigs) and human images from closed-circuit television (CCTV) cameras in a livestock farm. A precision performance of the faster R-CNN for livestock detection was shown about 70.35%, and a multi-object tracking accuracy (MOTA) performance of the center point tracking algorithm for live- stock tracking was shown about 61.18%. A precision performance of the OpenPose for human intrusion detection was shown about 97.66%. Finally, we showed the usefulness of the IoT alerting service by confirming the notification message on a smartphone SNS (i.e. telegram) application of farm managers.

Key word: Object Tracking, Smart Farm, Internet of Things, Disease Prevention