첫번째 논문 클럽 : Perceptual Losses for Real-Time Style Transfer and Super-Resolution(1)

오늘부터 Perceptual Losses for Real-Time Style Transfer and Super-Resolution

이라는 어려운 주제로 논문을 파헤쳐 볼 것이다.

살면서 거의 처음으로 하는 논문 발표인데, 잘 할 수 있을지 걱정이 되지만

반대로 우리가 하는 프로젝트의 중요한 논문이라고 하니 지금 충분히 숙지하면 나중에 아주 도움이 될 것이다.

---

1. 제목 파악

실시간 스타일 전달을 위한 '지각 손실'과 '초해상도'

초해상도는 알겠는데, 지각 손실(perceptual Loss)는 정말 처음 들어본다.

Q1. 지각 손실(perceptual loss)이 무엇일까?

2. 요약

기존에 영상의 변환되는 과정에 문제가 있었다.

특별히 입력영상이 출력영상으로 바뀌는 과정 중에 문제가 있다.

그 문제는 보통

"픽셀 당 손실(per pixel loss)"를 사용한

피드-포워드 컨벌루션 신경 네트워크(feed-forward convolutional neural network)를 

훈련시는 방법으로 해결했다.

병렬 작업은 고품질 영상을 학습된 네트워크에서 추출된 특징에 의한  지각 손실(perceptual loss) 함수를 정의하고 최적화 시켜 생성할 수 있음을 보여준다. 진짜 이게 무슨 말인지..

상위 두 개의 개념을 합쳐서 우린 영상을 변환시켜야 한다.

따라서 다음과 같은 방법을 만들었다.

"피트 포워드 네트워크"을 학습시키기 위한 "지각 손실(perceptual loss) 함수"

이 논문에서 영상의 스타일적인 부분을 옮기는 결과(style transfer)(아래 그림 참고)를 볼 수 있다.

여기서 피드 포워드 네트워크는 최적화 문제를 해결할 수 있도록 훈련했다.

사진 출처 : https://towardsdatascience.com/artistic-style-transfer-b7566a216431

우리 네트워크와 최적화 기반 방식은 유사한 결과를 볼 수 있지만 속도의 측면에서 3배더 빠르다.

추가로 Super Resolution 실험도 했는데, 

loss를 지각 손실(perceptual loss)를 사용하여 상당히 좋은 결과를 얻을 수 있었다.

---

수정해야 할 사항이 상당히 많다...

이해를 돕기 위해서 수많은 개념을 정리해야하기 때문에

우선 오늘은 여기까지 쓰고 자도록 하자...