ETRI 기술이전 홈페이지

본 기술이전은 감시 영상에서 쓰레기 투기 행위를 자동 탐지하기 위한 기술로서, 사람 포즈와 물체 관계 활용 딥러닝 기반 쓰레기 투기 행위 판단 기술, 오탐지 감소를 위한 장면 이해 기술로 구성되며, 기술을 활용처에 따라서 기본 엔진과 추가 기능을 포함한 기술로 구성되어 있으며, 각각의 개요는 다음과 같음


ㅇ 세부기술 1. 사람 포즈와 물체 관계기반의 투기 행위 의심 상황 탐지 엔진
감시 영상에서 수 많은 사람 중 쓰레기 투기 행동과 관련 있는 대상은 물체를 들고 가는 사람이므로, 해당 사람에게만 집중하는 기술이 필요. 본 기술은 동영상 입력에서 전체적인 움직임 정보를 이용하는 기술과 세부 관절 정보를 이용하는 기술을 결합하여, 사람과 들고 가는 물체를 탐지함. 이후 사람과 물체 간의 관계 이해를 통해 물체를 버리는 사람에 대한 후보 정보를 제공. 본 기술은 관절 정보를 이용하여 행동을 추론하고 인식하는 기술로 관절 정보를 추출하는 기능은 포함하지 않고 있음

ㅇ 세부기술 2. 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술
본 기술은 쓰레기 투기 행위 탐지에서 발생하는 오탐지 감소를 위해 장면 이해 기술을 제공. 먼저, 멀티 태스크 학습을 통해 쓰레기 투기 행위 이외에도 여러 행동 데이터셋의 결과를 동시에 추론해주는 기술임. 40 여개의 다른 행동 데이터셋에서 학습된 결과를 한 네트워크에서 동시에 추론해 줌으로서, 쓰레기 투기 행동 인식에서 자주 발생하는 오탐지를 줄여주는 기능으로 수행. 그리고 장면에서 투기가 빈번하게 일어나는 쓰레기 투기 지역 탐지를 통해, 그 이외의 영역에서의 오탐지 감소 기능 제공

ㅇ 기존의 영상 기반 쓰레기 투기 감지 기술은 단순 영역 침범 탐지에 그치거나, 잘 보이는 곳에 물체를 두고 가는 경우에만 동작하는 한계가 있음

- 쓰레기 투기 영역을 미리 지정해줘야 하므로 카메라가 보는 영역이 변화하면 관리자가 다시 수동으로 설정해야 함
- 단순 움직임 기반의 방식으로 영상 노이즈, 사람이 아닌 움직임 등에 취약하여 잦은 오탐지 발생
- 기존 놓고 간 물체 탐지 방법은 이벤트 발생 후 일정 시간이 지나야 탐지가 가능할 뿐 아니라, 물체만 탐지하고 쓰레기 투기를 행한 사람을 찾지 못함.

ㅇ 본 기술은 사람의 관절 정보와 주변 들고 가는 물체 정보를 활용하고, 학습 기반 방식으로 기존의 문제점을 해결
- 관절 수준의 움직임을 이용하여 사람과 물체를 들고가는 사람에 집중하는 방식을 취함
- 20여만 장의 데이터로 학습된 쓰레기 투기 판단 모듈을 이용하여 오탐지가 대폭 감소된 쓰레기 투기 행동 탐지기 제공
- 지능형 영상 감시에서 문제가 되는 오탐지 감소를 위한 기술에도 초점

- 세부기술 1. 사람 포즈와 물체 관계 활용 딥러닝 기반 쓰레기 투기 행위 판단 기술
. 포즈 기반의 행동 인식 엔진을 투기 행위를 감지하도록 개발한 기술
. 관절 및 물체 관계를 이용하여 실시간 의심 상황 인식이 가능하도록 적용

- 세부기술 2. 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술
. 다른 일반적인 행동 데이터가 갖는 행위들도 동시에 알려줌
. 사용자가 지정할 필요 없이, 투기물이 많은 지역을 자동으로 찾음

단계 : 6 기술의 성숙도란?

ㅇ 본 기술은 감시 환경에서 쓰레기 투기 행위 탐지라는 응용에 맞게 개발되었지만, 각 요소를 구성하는 기술은 여러 영상 환경에서 적용될 수 있고, 다음의 시나리오로 확장될 수 있음. 본 기술은 투기 행위 탐지에 최적화 되어 있어 사업화에 필요한 추가적인 기술 개발이 필요함

- CCTV 이벤트 분석 및 검색: 감시 영상에서 사람과 움직이는 영역에 집중하여, 이벤트 요약 및 주요 사건 검색을 지원하는 기술 분야
- 고령자 상태 및 행동 분석: 사람 포즈 기반의 기술로서 쓰러짐 등과 같은 위험 상태를 파악 및 사용하는 물체와 상호작용을 이해하는 방법으로 확장 가능

쓰레기 투기 행위를 판단하기 위한 SW 및 관련 기술로 인식 및 시각화 기술을 포함하여 추진하며, 다음의 세부기술들을 조건에 따라 조합하여 기술 이전됨

- 세부기술 1. 사람 포즈와 물체 관계기반의 투기 행위 의심 상황 탐지 엔진
. 주어진 동영상에서 전경 탐지 기술을 활용하여 사람의 외형을 탐지하는 기술
. 사람 관절 좌표들과 전경 탐지 기술을 활용하여 물체와의 관계를 인식하는 기술
. 학습 기반의 딥러닝 기술을 이용하여 최종적으로 투기 상황을 판단하는 기술

- 세부기술 2. 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술
. 멀티 태스크 학습을 이용한 여러 행동의 동시 추론 기술
. 쓰레기 투기 행동이 빈번하게 일어나는 지역 탐지 기술

o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과서

o 세부기술 1 : 사람 포즈와 물체 관계 기반의 투기 행위 의심 상황 탐지 엔진

- 특허

선별적 시각 인지 보조 장치 및 방법
영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석 기반 가변 배경 학습 방법 및 시스템
상호작용 이벤트 탐지 결과에 대한 신뢰도 평가 시스템 및 방법
비디오 해석 장치 및 방법
비디오 어노테이션 장치 및 방법

- 기술문서

의미 영역 분할을 위한 기술 설명서
불법 쓰레기 투기 검출을 위한 쓰레기 봉투 인식 실험
OpenPose 활용 방법
투기 행위 탐지를 위한 기술 설명서
단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향

- 프로그램

의미영역 분할을 위한 변화 탐지 프로그램
영상 기반 자동 투기 행위 탐지 프로그램

o 세부기술 2 : 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술

- 특허

영상에서 다수의 객체를 인식하는 방법
동적 물체 탐지 시스템 및 방법
비디오 어노테이션 장치 및 방법
데이터를 이용한 전이 학습 방법

- 기술문서

Object detection 최신 기술 분석
Hyper Feature Network 실험
Soft NMS와 Box Refinement

- 프로그램

객체 검출 시스템을 위한 데이터 계층 라이브러리
실시간성 딥러닝 프레임워크를 위한 심층 신경망 구축 프로그램
물체 검출 학습데이터의 증강과 균등화를 위한 프로그램

비독점적 통상실시권 계약체결일로부터 5 년간 ※ 정액기술료(단위:천원)

구분	중소기업	중견기업	대기업
정액기술료	70,000	210,000	280,000

1 개월 / 0 천원정(부가세 별도)
ㅇ 오픈소스 SW 사용 리스트

오픈소스SW명 출처(URL) 라이센스명 버전 비고
OpenCV www.opencv.org BSD 3.0
PyTorch www.pytorch.org BSD 1.1
CUDA www.nvidia.com NVIDIA 9.0

ㅇ 세부기술2는 세부기술1 관련 지적재산권을 기본 제공

기술개발 발표당시	시각지능연구실 박종열 (042-860-5935, jongyoul@etri.re.kr)
현재	시각지능연구실 배유석 (042-860-4818, baeys@etri.re.kr)

기술이전실 주명혁 (042-860-5838, mhju@etri.re.kr)