[12.4-7] Entropy minimizationfor shadow removal

IJCV 2009
Finlayson 외

개요
ECCV 2004 논문을 (조금) 확장해서 IJCV에 냈다. 30페이지가 넘는데 다 읽지는 못했고, 개요만.

영상에서 다양한 illumination 소스에 의해 illuminate된 scene 표면은 log-chromaticity 평면에 선형으로 나타난다. 이에 대한 설명은 Planckian lighting에 대해 2.2에서 다루고 있으며, 수식적으로 surface와는 independent한, temperature T에 의한 선으로 나타남을 보이고 있다.

이 선들은 서로 parallel하며 각각의 선을 하나의 점으로 projection함으로써 (LDA에서 하듯이) lighting에 invariant한 representation을 만들 수 있다. 이 선(의 각도)을 찾는 것이 본 논문의 목표이다.

각도 theta를 찾기 위해 Entropy minimization을 사용할 수 있으며, local minima가 많기 때문에 그보다는 quadratic entropy 또는 information potential을 사용함으로써 단일한 minimum을 구할 수 있음을 보인다.

보통 이러한 intrinsic image 만들기 작업은 camera를 calibration하거나 수작업을 통해 구하는 것이 일반적인데, 본 논문은 촬영된 영상만을 사용하여 illumination-invariant한 이미지를 만들고 원래 이미지와 edge 성분을 비교하여 shadow edge를 구한 다음, 그 정보를 사용하여 shadow removal을 구현하였다.

감상
플랑크상수가 등장하다니... 간지 만땅임.

결과 및 비교
그림 설명: 원본, chromaticity image, information potential, invariant L1 chromaticity image, re-integrated image.

그런데 아래 그림의 "pyramid based shadow removal"이 훨씬 결과가 좋다. ㅡㅡ
이건 그림자 부분을 사용자가 클릭해 준 것인 듯. 그런데 그냥 그림자 제거만 할 거라면 이렇게 heuristic이 들어가도 괜찮지 않을까?