컴퓨터 비전을 위한 딥러닝

Computer vision is an interdisciplinary scientific field that deals with how computers can gain high-level understanding from digital images or videos.

To extract "meaning" from pixels 

 

이미지는 광원(빛)이 물체에 반사돼 카메라의 센서에 반응하여 디지털화 한 것.

---

컴퓨터 비전의 주요 기술

• Image Classification / Localization
  • output은 스칼라 값을 가진다(개 = 0, 고양이 = 1 : softmax = 2)
• Object Detection
  • 바운딩 박스 : (x1, y1), (x2, y2), (class_value)
• Segmentation
  • 모든 픽셀에 대해서 클래스를 할당함

응용 사례

Medical Applications

• Sample Lung CT images
• Grad Cam visualization of cancer

Manufacturing Technology

• Defect detection / classification
  • Anomaly Detection : 이상탐지

Galaxy Categorization / Remote Sensing / Categorization/ Face Recognition

Pixel Restoration

• The concept of zooming into videos beyond its actual resolution was unrealistic until Deep Learning came into play.

---

딥러닝 기반 이미지 분류

Definition: Deep Learning is building a system by assem
bling parameterized modules into a (possibly dynamic) co
mputation graph, and training it to perform a task by opti
mizing the parameters using a gradient-based method.

모듈의 파라미터를 경사하강법(기울기 손실)을 통하여 assembling을 진행한다. 이것은 학습을 통해 이루어진다.

https://wikidocs.net/37406(각 가중치의 기울기 조정 과정)

---

linear classification의 분류 방법

벡터의 내적(양수 or 음수)으로 분류 한다

 

 

• 가중치 벡터 w는 결정 경계에 수직이다
• 벡터 w의 방향은 데이터 포인트의 클래스에 따라 결정됩니다. w^T x > 0인 경우 레드판다 클래스, w^T x < 0인 경우 개 클래스로 분류

---

신경망의 데이터 변환 과정

 https://cs.stanford.edu/people/karpathy/convnetjs/

선형데이터를 비선형 변환을 거쳐 두 클래스가 명확하게 구분

---

합성곱 신경망(Convolutional Neural Networks : CNN)

이미지에 특화된 변환을 수행한다 

 

합성곱층

• 특징(feature)을 추출하는 역할.
• 필터(filter) 또는 커널(kernel)을 사용하여 입력 데이터와 합성곱 연산을 수행

풀링층

• 입력 특징 맵의 공간 차원을 줄여서 계산 비용을 낮추고, 과적합을 방지
• 최대 풀링(max pooling)과 평균 풀링(average pooling)이 사용

---

멀티모달 딥러닝 (Multimodal Deep Learning)

멀티모달 딥러닝(Multimodal Deep Learning)은 서로 다른 유형의 데이터(텍스트, 이미지, 음성, 비디오 등)를 동시에 처리하고 통합하여 학습 

이미지와 텍스트와 같이 다른 모달리티(modalities)를 통합한다