classification with localization (one object per image)

https://www.youtube.com/watch?v=GSwYGkTfOKk

Image Classification -> Image Classification with localization -> Detection

 

우리가 당장 인터넷을 켜서 AI 비전 인식에 대해 검색을 하면, 나오는 최신 기술은 이미지 내에 object의 갯수가 몇 개이던 그리고 클래스 종류가 다양하던 간에 다 찾아내는 Object Detection과 픽셀 단위로 물체의 경계선까지 인식하는 Image Segmentation이다. 하지만, 이미지 분류에서 시작한 이미지 인식 기술이 앞의 최신 기술들로 갑자기 발전했을까. 이미지 분류 기술이 확실하게 입증되자 사람들은 이미지 내  물체의 클래스와 위치에 대해 연구하기 시작했다. 처음에는 이미지 내 물체 하나. 예를 들어 강아지 사진이라 치면, 강아지 한마리가 든 이미지들에 강아지 위치 인식. 인식률이 입증되면 강아지 두마리... 세 마리... 네 마리... 이 부분에서 새삼스럽게 내가 느꼈던 것은 모든 과학 기술은 떠오른 아이디어의 가능 여부를 체크하고 느리지만 정확하게 확장해나간다는 것이다. 오늘 아침 일어나자마자 밑도 끝도 없이 object detection에 대해 알아야겠다고, R-CNN 논문부터 펼친 내가 경솔하게 느껴졌다. 기초가 다져져있지 않은 상태로 무작정 읽으니 이해되는 것이 없었다. (논문을 읽으면 읽을수록 모르는 것만 늘어나서 답답했다.) 아는 부분부터 시작해서 새로운 부분을 쌓아올려야겠다는 생각을 했다.  나아가 이미지 인식 기술에 대한 발전 흐름을 느끼고, 그 흐름에 대한 합리적인 이유를 이해해야겠다는 생각이 들었다. 

아무튼 간에 한 이미지 내에 하나의 물체가 들어가는 Image Classification with localization에 대해서 설명하자면, 기존 이미지 분류와 같은 플로우에 y값이 바뀐다. y값에 [0 1 0 0]과 같은 라벨값 뿐만 아니라 [물체가 있는지 없는지 0/1, 물체의 위치 (bx,by, bw, bh)]를 추가하는 거다. (bx = x초기 좌표, by = y초기 좌표, bw= width, bh = height) 이 바뀐 y값을 가지고 이미지 분류 때와 마찬가지로 모델을 학습시키면 완성. loss function 부분은 아직 조금 헷갈린다.