2차원 영상으로부터 사람의 움직임을 인식하고 3차원으로 복원하는 기술은 컴퓨터 비전의 중요한 연구 분야로서 모션캡처, 가상현실, 인간-컴퓨터 상호작용, 스마트 감시 시스템, 지능형 로봇 등 다양한 분야에서 활용되고 있으며, 향후 더욱 광범위한 분야에 적용 가능하기 때문에 많은 사람들이 관심을 가지고 발전시켜 왔다. 또한 다양한 디바이스들의 등장과 효율적인 3차원 자세 추정 기술의 발전으로 제스처 인식 및 복원은 기존 비전 시스템이 가지고 있는 어려움들을 극복하여 다양한 산업분야에 적용되어 활용되고 있다.
본 논문에서는 주변 환경 및 동작 캡처 공간에 대한 제약을 최소화하며 맞춤형 콘텐츠의 사용자 인터페이스 및 스마트 홈 가전 시스템 같은 다양한 시스템과 결합 가능한 컴퓨터 비전 기반의 실시간 3차원 동작 복원 및 제스처 인식 알고리즘을 제안한다. 컴퓨터 비전 기반의 비접촉식 3차원 동작 복원 방법은 카메라를 통해 획득된 영상으로부터 사람의 움직임을 추적하는 기법으로 사용자에게 장비 부착의 불편함을 해소하여 자연스러운 움직임이 가능하다는 장점을 가지고 있다. 그러나 3차원 공간상에서 사람의 움직임은 큰 자유도를 갖는 객체이기 때문에 2차원 영상들에 포함된 신체의 특징점 및 포즈 정보만을 이용하여 3차원 모델로의 복원은 불가능하다. 따라서 3차원 공간상에서 움직이는 사람을 3차원 모델로 복원하기 위해서는 2차원 영상으로부터 기본적인 정보를 추출하고 추출된 정보에 다양한 3차원 정보들을 접목하여 계산하는 과정을 거쳐야 한다.
제안된 방법은 2차원 영상으로부터 추출 가능한 신체 특징점의 3차원 정보를 이용하여 영상에서 추정이 불가능한 나머지 중간관절의 움직임 정보를 계산하여 사람의 동작을 실시간에 3차원 복원이 가능하며, 복원된 3차원 동작 정보를 이용하여 동작자의 자세를 인식할 수 있다. 영상으로부터 추출되지 않는 중간관절의 3차원 후보 위치들은 역운동학 이론을 이용하여 계산되어지며, 계산된 후보 위치들에 관절의 해부학적 제약조건과 다양한 시·공간적 조건을 적용하여 후보군의 수를 줄인다. 또한, 보다 정확한 중간관절의 위치를 계산하기 위해 이전 프레임의 위치값을 칼만 필터에 적용하여 움직임 예측값을 계산한다. 중간관절의 후보군 값들에 계산된 예측값과 이전 프레임과의 거리에 대한 상관관계를 적용하면 보다 정밀한 최종 위치값을 구할 수 있다. 실시간에 각 관절의 3차원 위치 및 회전값을 계산하여 모션 데이터를 생성할 수 있으며, 복원된 3차원 모션 데이터에서 관절과 관절 사이를 잇는 법선벡터들을 하나의 벡터로 통합한 3차원 자세기술자를 사용하여 명령형 제스처 인식이 가능하다.
비전 시스템 기반의 3차원 동작 복원은 수치적 방법을 기반으로 계산되기 때문에 복원된 3차원 동작 정보가 실제 동작자의 동작과 정확히 일치 할 수 없다. 그러므로 본 논문에서는 각 관절의 변위에 대한 상관계수를 구하여 패턴의 상관성을 토대로 복원된 동작의 유사성을 비교 분석한다. 3차원 동작 복원 알고리즘 결과의 유사도를 비교하기 위해 접촉식 모션 캡처 시스템의 모션 데이터를 이용하여 실험하였다. 정확한 비교를 위해 상용 모션 캡처 데이터의 동일한 피실험자 신체 정보와 root와 end-effector들의 3차원 위치값을 본 논문에서 제안한 3차원 동작 복원 알고리즘에 적용하여 중간관절의 3차원 위치를 계산한다. 계산된 중간관절의 3차원 위치값과 상용 모션 데이터의 중간관절의 3차원 위치값에 대한 상관계수를 계산하여 두 모션 데이터의 상관성을 비교하였다. 샘플 동작들의 상관계수를 계산한 결과 상관계수의 범위가 0.86 ~ 0.99를 보임으로서 높은 상관성을 보였다.
제안된 방법은 실시간에 사용자의 동작을 3차원으로 복원이 가능하므로 사용자의 움직임 정보를 이용하여 상호작용할 수 있는 다양한 콘텐츠와 결합이 가능하며, 제스처를 사용자 인터페이스로 사용하는 다양한 시스템에 활용될 수 있을 것으로 기대된다.