[12.10-11] 3D SSD tracking with estimated 3D planes

IVC 2009
Univ. Alberta, INRIA
2005.11 제출, 2006.8 수정 제출, 2006.10 통과. 빠르진 않지만 그렇게 나쁘진 않은 듯.

내용
initialization: SFM with the first 100 frames
warped image와 template을 비교, 최소화할 식을 정의하고 (5), 이를 Taylor 시리즈로 linearize한다 (즉 둘째 항까지). 결국 overdetermined linear equation system.
이 과정에서 image derivatives (또는 derivative images) M이 사용되는데, 이것은 Lucas-Kanade 등에서도 동일한 과정인지 확인할 필요가 있을 듯.
4장은 실제 warp W를 계산하기 위한 내용. W(x;u(p)) = Hx (15) 로 warp는 결국 homography임.
4.2 Plane defined through four control points가 perform best하는 configuration인데, 최종적으로 A(p)u = B(p) (18) 식으로 linear하게 구할 수 있다(고 한다). u는 warp parameters로서, H를 구성함. 솔직히 4장은 잘 모르겠다!
5장은 SFM인데, 내가 가려는 방향과 달라서 스킵 -.-

결과
기껏 2D SSD tracking과 비교. 그런데 2D의 경우 global 3d scene tracking이 아니라 각각의 이미지 패치를 그냥 추적한 것 같다. Fig.5의 1행 2열 그림을 보면 알 수 있음.
위로부터 SSD (2D), SSD+PL, SSD+PLCT, SSD+3DPT (섹션 4.2)