[Machine Learning] 딥러닝의 비지도학습

Autoencoder 의 구조

• Input과 output의 값이 같아지도록 학습하는 뉴럴네트워크

 

Autoencoder 의 유용성과 학습방법

• output을 input과 완전히 동일하게 복원하는 뉴럴네트워크는 유용하지 않음
  • => 오히려 완전히 동일하게 복원되지 않도록 학습시키는 것이 중요함
  • Autoencoder에 제한조건을 두어 input에 근사하게 복원되도록 학습시킴
  • 이를통해, autoencoder가 데이터의 중요한 속성(property)만 학습하도록 함
• 전통적으로는 autoencoder를 dimension reduction을 위해 사용
  • 압축된 code는 데이터를 저차원에서 표현한 벡터
  • PCA의 차원 축소와 유사하나 비선형성을 반영할 수 있어 더 유용할 수 있음
• Multilayer Neural Network의 특별한 경우라고 볼 수 있음
  • =>Mini-batch, gradient descent, back-propagation 등을 사용하여 일반적인 네트워크와 같은 방식으로 학습

 

GAN(Generative Adversarial Network,  생성적 적대 네트워크)

• 생성자(generator)가 상대방(adversary)을 반드시 이겨야하는 게임이론 시나리오(game theoretic scenario)에 기반한 생성 네트워크
• 학습 과정 동안 generator는 점차 실제와 유사한 데이터를 생성하고 discriminator는 real과 fake 데이터를 더 잘 구별하게 됨

 

GAN의 구조

• Generator와 discriminator는 모두 뉴럴네트워크임
• Generator의 input은 임의의(random) 노이즈(noise)임

Generative Adversarial Network

 

 

GAN의 학습(discriminator)

• Discriminator는 실제 데이터와 generator가 생성한 데이터를 입력받아 이를 더 잘 구분하는 방향으로 학습됨
  • => 이 때 generator는 학습되지 않음(weight가 고정,freeze 됨)

• Generator가 만든 fake 데이터를 discriminator가 구분해냈을 때, penalty를 받아 이를 줄이는 방향으로 학습됨
  • => 이 때 discriminator는 학습되지 않음(weight가 고정,freeze 됨)