Moving Object Tracking in H.264/AVC Bitstream

소개글

T-DMB BIFS 데이터 방송은 방송 AV 콘텐츠에 부가데이터를 연결하여 방송함으로써 대화형 방송 서비스를 가능하게 하고 있다. T-DMB 비디오 콘텐츠에서 움직이는 객체 부분에 부가데이터를 연결함으로써 시청 중에 사용자 Interaction을 통한 움직임 객체 영역의 정보 소비를 위한 응용을 고려할 때, 저작단계에서 움직임 영역을 정의하고 이를 추적하는 도구가 필요하다. 본 논문에서는 H.264|AVC 비디오에 대해 효율적인 움직임 객체 영역 추적을 완전 부호화를 수행하지 않고 비트스트림에서 부호화 정보를 이용하여 움직임 영역을 추적하는 방법을 제안한다. 제안된 방법은 움직임 정보 및 부부ㅤㄴㅓㅈㄱ으로 복원된 텍스쳐 정보를 사용하여 객체으 특성에 따라 적응적으로 객체의 특성점을 추적함으로써 빠른 처리 속도와 정확한 추적을 동시에 가능하게 한다. 실험을 통하여, 제안하는 방법이 움직임 정보만을 사용한 방법의 처리 속도와 유사하면서도 정확한 추적 성능을 보일 뿐 아니라 다양한 유형의 객체에 대한 적응적인 추적이 가능함을 확인하였다.

목차

1. 서론
2. 역방향 움직임 벡터의 순방향 매핑
3. H.264|AVC 비트스트림에서의 움직임 객체 추적
3.1. 텍스쳐 비유사성 에너지
3.2. 형태 비유사성 에너지
3.3. 움직임 비유사성 에너지
3.4. 비유사성 에너지의 최소화
3.5. 적응적인 가중치 결정
4. 실험 및 고찰
5. 결론

본문내용

본 논문에서는 H.264|AVC 비트스트림에서 움직임 객체의 특징점을 빠르고 정확하게 추적하는 새로운 방법을 제안하였다. 이 방법은 텍스쳐, 형태 및 움직임 특성을 복합적으로 분석함으로써 유사성이 가장 높은 특징점의 이동 위치를 찾는다. 텍스쳐 정보의 부분적 복원과 동적 프로그래밍을 통한 위치 예측의 최적화를 통하여 추적 성능을 향상시키면서도 복원에 소요되는 시간을 최소화한다. 또한 신경망 회로를 통하여 알고리즘의 주요 파라미터들이 동영상 또는 객체의 특성에 따라 적응적으로 최적화된다. 본 논문에 제안된 알고리즘은 움직임 벡터 정보만을 사용한 알고리즘과 유사한 처리 시간을 소요하면서도 형태가 변하고 움직임이 빠른 객체도 정확하게 추적하는 성능을 가지고 있음을 실험결과를 통하여 확인하였다. 이 제안 방법은 실시간으로 객체의 위치 정보를 생성하는 부가 콘텐츠 저작 도구에 직접적으로 응용 가능할 것으로 판단된다.

1 Introduction
H.264/AVC does not handle video objects directly while MPEG-4 contains objectbased
encoding scheme. However, the interactive broadcasting service should provide
additional object information as the form of MPEG-7 metadata to support user
interactivity. The metadata authoring tool includes object tracking function which
generates the position information of the predefined target object in all frames.
Unlike pixel-based object tracking approaches, object tracking algorithms for
H.264/AVC videos can achieve lower computational complexity by using blockbased
motion vectors or residual data extracted directly from encoded bitstream; these
are called compressed domain approaches. One difficulty in these approaches is that
motion vectors do not always coincide with the true motion or optical flow.

참고 자료

[1] R. V. Babu and K. R. Ramakrishnan, "Video Object Segmentation: A
Compressed Domain Approach," IEEE Trans. Circuits Syst. Video
Technol., vol. 14, pp. 462-474, Apr. 2004.
[2] S. Treetasanatavorn, U. Rauschenbach, J. Heuer, and A. Kaup, "Bayesian
Method for Motion Segmentation and Tracking in Compressed Videos,"
DAGM 2005, LNCS 3663, pp. 277-284, 2005.
[3] A. Aggarwal, S. Biswas, S. Singh, S. Sural, and A. K. Majumdar, "Object
Tracking Using Background Subtraction and Motion Estimation in MPEG
Videos," ACCV 2006, LNCS 3852, pp. 121-130, 2006.
[4] Fatih Porikli and Huifang Sun, “Compressed Domain Video Object
Segmentation,” Technical Report TR2005-040 of Mitsubishi Electric
Research Lab, 2005.
[5] Y. Fu, T. Erdem, and A. M. Tekalp, "Tracking Visible Boundary of
Objects Using Occlusion Adaptive Motion Snake," IEEE Trans. Image
Processing, vol. 9, pp. 2051-2060, Dec. 2000.
[6] T. H. Cormen, C. E. Leiserson, R. L. Rivest, and C. Stein, Introduction
to Algorithms. Cambridge, MA: MIT Press, 2001.
[7] R. O. Duda, P. E. Hart, D. G. Stork, Pattern Classification. New York:
John Wiley & Sons, 2001.
[8] W. Zeng, J. Du, W. Gao, Q. Huang, "Robust moving object segmentation
on H.264/AVC compressed video using the block-based MRF model,"
Real-Time Imaging, vol.11, issue 4, pp. 290-299, 2005.