Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment

ACM SIGCHI Int. Conf. on Advances in Computer Entertainment... 2004
Inamoto and Saito (Keio Univ.)
비슷한 내용으로 매우 많은 논문을 발표해 OSMU의 진수를 보여준다. 옛날에 한 번 훑어본 논문이지만 업무와 관계가 있어 다시 분석.

주 내용
HMD를 이용한 축구 경기의 재연.
multiple cameras의 F와 평면의 H를 이용. multiple cameras는 미리 calibration한 것이겠지?
HMD 추적은 Hough 변환으로 골라인의 직선 네 개를 추적함으로써 수행.
ref. camera 두 개를 골라서 homography 변환해서 blending하여 합성.
공 높이 추정: 두 ref. 이미지에서 공 아래로 수선을 그어서 그 선을 HMD 이미지에 homography 변환. 그러면 plane 위에 존재하는 점이 두 homography를 다 만족시키므로 두 선이 plane 상의 점에서 만난다. 그 선으로부터 높이 h1과 h2의 대략 평균 높이 위에 볼을 그려줌.

평가
응용 위주의 여러 테크닉의 모음집 느낌임.
hough transform을 이용한 HMD tracking은 안습... 골라인 네 개가 다 보여야 사용 가능.
선수 추출과 매팅 부분은 상용화에 어려움을 예고. --> binary가 아니라 continuous한 alpha값을 주면 좀 나을 듯 - 이런 건 일반 matting 논문에 많이 있겠지?
굳이 선수를 추출할 필요 없이 전체 이미지를 덮어쓰는 것도 괜찮을 듯.