ISMAR 2003,
CVPR 2003 (Fusing online and offline information for stable 3D tracking in real-time),
TPAMI 2004,
Vaccheti, Lepetit, Fua (EPFL)
좀 OSMU라능... 그래도 당당하게 밝히고 쓰네. CVPR에 내고 PAMI에 확장해서 내는 건 기본인 건가!
Motivation
robust online tracking remains an open issue (I think still it is).
online only - drift
offline only - jitter
online + offline = -_-)b 라는, 누구나 할 수 있을 것 같은 생각
주요 내용
CVPR에서는 RANSAC 기반의 필터링.
TPAMI에서는 M-estimator 기반 bundle adjustment (오히려 더 간단해진).
online과 offline reprojection error를 minimize.
[offline tracking]
baseline이 크므로 직접 NCC를 취하기 어렵다. keyframe의 interest point 주변 patch를 (이전 프레임의 P를 이용해서) 현재 프레임과 비슷한 모습으로 projective 변환한다 (그마저도 affine으로 approximation).
[online tracking]
3D model, t-1의 camera pose Pt-1, 2D correspondences가 주어졌을 때, Pt를 구하라.
원래 이전 프레임의 interest point 추출, (back-projection, 3D points, 현재 프레임에 re-projeciton), 2D points, 이전 2D points와 비교(거리). 이러한 복잡한 과정을 거쳐야 하나, 괄호 부분을 transfer function (a homography)으로 대체함. 내가 보기엔 별 차이가...?
[online tracking CVPR 버전 - 3.Simple recursive tracking 요약]
1. 2D-2D match (Harris corner, 아마도 NCC)
2. 프레임 t-1에서 3D points (Mt-1) 계산. camera center와 point mt를 잇는 직선이 object surface와 만나는 점이 Mt-1. 해당 surface를 미리 정하기 위해 각 메시(facet)마다 다른 컬러로 렌더링한 'facet-ID' 이미지를 얻는다.
3. 프레임 t에서 3D points를 얻었다. Mt := Mt-1
4. 프레임 t에서 2D-3D match가 known이므로, [16] (25 lines)을 이용하여 camera pose를 계산한다.