양고네 연구노트

Proc. of IEEE International Conference on Video and Signal Based Surveillance (AVSS) 2006
Li and Shen

주 내용
기존 self-calibration은 DIAC(omega)의 positive-definiteness가 보장되지 않음. convex programming의 special case인 linear matrix inequality를 사용, 일종의 constrained optimization을 수행함으로써 positive definiteness를 100% 보장함.

평가
필요성이나 접근방법 등 다 괜찮아 보이는데 왜 더 간지나는 학회에 내지 않았을까 하는 생각이 듦. convex programming이 별로인가?

Useful Information
DIAC이 원래 positive definite구나 -_-
positive definite해야 can be factorized (using Cholesky decomposition)

의문점
convex programming을 일종의 nonlinear optimization으로 생각하고 읽었는데, 아닌 모양?

저널 페이퍼이므로 이틀에 걸쳐서 분석. 또한 1일1독 계획의 실패 여부는 주말이 끝난 시점(즉 월요일 아침까지)에 판단하는 것으로 한다. 다시 말해 주중에 아무것도 안했더라도 주말에 5편을 읽으면 된다는 것. 계획 성공을 위해서 두어야 되는 예외규정이랄까... 또한 논문 작성과 회사 야근 시에는 면제한다는 규정을 추가함. 즉 요즘처럼 비교적 한가한 시기에 집중적으로 시행 예상.

CVIU 2006
Sinha, Pollefeys (신하와 폴리페서)
2004년 Towards calibrating a pan-tilt-zoom camera network (OMNIVIS 2004) 논문에서 조금 더 붙여서 낸 것 같다.

주 내용
최대 줌아웃 상태에서 회전에 의해 calibration.
1. H, V(가로 세로 방향 homography)를 선형적으로 계산. ref 이미지와 임의 위치 이미지 사이의 T는 homography 중첩으로 계산 가능. 에러가 누적되므로 significant registration errors 존재.
2. 왜곡과 T를 bundle adjustment (Bundle I).
3. T로부터 K와 R을 분해. 우선 이미지를 undistort한 후에 'accurate' T를 구하는 듯하나, 이 과정이 언제 실행되는지는 불명확.
4. 왜곡, K, R을 함께 최적화 (Bundle II).

회전 없이 줌을 증가시키며 zoom calibration.
5. Hzoom 계산
6. K와 왜곡을 pairwise bundle (i번째 zoom과 i-1번째)
7. zoom 0에서 max까지 whole zoom에 대해 bundle (Zoom Bundle)

4장은 high-resolution calibrated panoramic mosaics인데... 대충 읽음;;

평가
zoom에 의한 calibration 가능성을 보여줌.
ground truth와의 비교 부재.
왜곡(특히 Kappa2) 추정 결과가 실망스러움. 결국 uncertainties에 의해 강제 clamp. 역시 zoom만으로 왜곡 추정에는 한계가 있는 듯.

아이디어
zoom만으로도 일부 calibration이 가능한 것으로 보임. 그러나 zoom 시에 translation이 발생한다는 것이 문제. 또한 왜곡의 경우 zoom in이 될 수록 영향이 줄어들어 추정하기 힘들다
 - 본문 중: Estimating radial distortion only from a zoom sequence has inhnerent(by nature보다 훨 낫군 써먹자) ambiguities since a distortion at a particular zoom can be compensated by a radial function at another zoom.
결론은 zoom(과 focus)으로는 f와 principal point 추정을 하자? - zoom/focus는 원격제어 가능하니 그것만 돼도 나쁘지 않겠는데?
1. zoom out, pan/tilt and capture
2. estimate K, R, and distortion from rotation
3. estimate K and distortion with varying zoom/focus
4. nonlinear optimization with arbitrary rotation by the operator, initialized with the result of 3
   (a pattern or known point required for the estimation of the nodal point)
또는 1,2를 제외한 nonlinear optimization과 zoom calibration만 사용하는 방법 검토...

justification:
1. why not pattern-based? - not suitable for production site environments...라고 주장하자. we use only casual(?) objects...
2. why not self-calibration only? - not pure rotation

robust homography를 위해 linear estimation, RANSAC, 다시 nonlinear minimization을 거친다는데, GPU (+ force? + HDR) 기반으로 robust하게 만들어 주면 impact가 있지 않을까? 위의 2과정에 넣을 수도...

DAGM-Symposium 2007
금요일인 어제 술먹느라 못 보고 주말을 기해서 읽었다. 아이의 공격을 피해 냉방에서 읽느라 얼어죽는줄... (잠들면 안 돼!) 

주 내용
rotation에 대한 일부 정보가 주어졌을 때 non-linear optimization에서 결과 향상이 있음을 보였다.
많은 다른 방법들처럼 linear 방식으로 초기치를 구한 후 추가적인 non-linear optimization을 수행한다 (second order Trust Region 알고리즘).
fixed intrinsic. varying은 linear까지만 가능. non-linear에서는 K를 하나로 고정.

Hartley's self-calibration for a purely rotating camera:
1. H 계산
2. DIAC w* = H w* H' 를 H로부터 계산
3. w* = K K' 에서 Cholesky decomp. 등을 이용해서 K 계산.

Useful informaiton
대부분의 self-calibration은 noise에 매우 민감하다.
However, most self-calibration methods are very sensitive to noise.

의문점
common axes, common rotation?

아이디어
linear initialization --> non-linear refinement including nodal point and radial distortion

IEEE Conf. on Advanced Video and Signal Based Surveillance (AVSS) 2003
self-calibration에서는 surveillance가 주 타겟 중 하나이다.
self-calibration에 대해 방대한 literature를 잘 축약해 놓았음. 향후 참조하기 좋을 듯.
엄청나게 많은 연구들에 대한 지루한 분석이라, 읽는 중간에 아찔함을 느끼며 의식을 잃기를 몇 차례...
다소 오래된 (2003년) 발행 년도가 아쉬우나, 이 분야에서 대부분의 진보는 1990년대에 이루어진 것으로 보인다 (최근에는 known rotation 관련 테마 정도가 있는 듯).

주 내용
모든 시작은 1992년 Faugeras로부터이다.
constraints에 따라 camera intrinsic만 있는 경우와 camera motion에도 제한이 있는 경우, 그리고 scene에 제약이(planar information 등 - Zhang의 calibration도 결국 이 경우임) 있는 경우로 나누어 분석.

Useful informaiton
radial distortion은 self-calibration에 크게 영향을 미치므로 미리 제거해야 한다 [Tordoff ICPR 2000].
일반적인 경우 pure rotation 가정은 유효하다 [Hayman 2002].
camera lens sensor calibration은 1999년 Agapito와 Hartley의 "Linear calibration of a rotating and zooming camera"를 참고해야할 것 같다.

ECCV 2008
낚임: 페이퍼를 거의 끝까지 읽다가 이것이 멀티뷰를 이용한 연구라는 것을 깨달았다.
drift-free라는 게 별 게 아니라 anlysis-by-synthesis approach를 말함. 내가 원하는 방향임.
최신의 기법을 사용하고는 있지만 이것저것 좋은 것들을 가져다 붙인 연구라는 느낌.
실시간과는 거리가 있지만 (7.6 sec per frame) 추적 결과는 고무적임.

주 내용
complementary tracking = patch-based + region-based
region-based matching: closest point algorithm [Zhang IJCV 1994]으로 실루엣 매칭.
patch-based matching: nearest neighbor distance ratio matching [Mikolajczyk CVPR 2003] (관심!).
matching으로부터 pose estimation: Taylor approximation을 이용한 linear least squares.

의문점
본문에 계속 언급되는 'cue'란 무엇인가?

Nvida PhysX 개발자포럼에 올린 질문에 그림을 링크하기 위한 글...
해당 포럼에서 .gif로 끝나는 깨끗한 링크만을 받아들이기 때문에 결국은 사용하지 못했던...

I want two lines (that belong to separate actors) getting closer, being connected by a rubber band. The rubber band (or spring) is tied to each line but can slide along the lines.
I drew a picture using visio and attach it here.


I think there will be a few ways to do it:

1. Put a point-on-line (POL) joint on each line, connect a dummy actor to the joint, and put a distance joint between the two dummy actors. Then the connection is:
actor with line - POL joint - dummy actor - distance joint - dummy actor - POL joint - another actor with line

2. Put a cylindrical joint on each line (for 1 sliding DOF), dummy object onto it, distance joint to connect two dummy objects.
Connection:
actor with line - cylindrical joint - dummy actor - distance joint - dummy actor - cylindrical joint - another actor with line

At first I thought connecting two lines with a distance joint will be enough, but the point on the lines must be fixed. Isn't there a joint that is a point-on-line joint and simultaneously a distance joint?

Any suggestion will be appreciated, thanks!