딥러닝 기술 동향 주워듣기

https://youtu.be/ePmLtfj01Jc

유튜브 알고리즘에서 추천한 것 중 하나이다. 
기존의 딥러닝 방식에서 사용되던 역전파 방식(BackPropagation)의 문제점을 지적하면서 새로운 방식이 나타났고 딥러닝이 더 나아질 것이라는 내용이다. 

역전파 방식을 초기에 딥러닝에 적용한 사람 중 한 명이자 2012 ImageNet Challenge 에서 우승, 2018년 튜링 어워드를 수상한 Geoffrey Hinton 이 최근에 낸 논문에서 Forward-Forward Algorithm을 발표했다. 

그는 기존 방식은 인간의 사고 방식과 일치하지 않는다고 하면서 새로운 모델을 구상하게 되었다고 했다. 내가 이해한 대략적인 원리는 역전파에서 나타나는 역방향 path 를 조정하는 것과 달리, good 을 판단하면서 not good 의 경우에는 강도를 조정하는 방식으로 올바른 방향으로 학습을 할 수 있는 형태로 만들었다는 것이다. 

대략적인 논리 방식은 영상을 참고하면 좋을 것 같다. 

그리고 이게 한국어로는 가볍게 정리된 글이 거의 없어서 영어로 검색해야 했고, 더 간단한 개념을 파악하려고 아래 링크를 조금 참고했다.
https://www.infoq.com/news/2023/01/hinton-forward-algorithm/

여기서는 논문 발표 관련 요약 내용과 인터뷰 발췌가 있었는데, 현재로서는 CV 관련해서 MNIST 와 CIFAR 의 데이터 셋으로 2~3개의 히든 합성곱 레이어만 사용한 작은 train을 해봤다고 한다. 여기서는 역전파 방식과 비교했을 때 "아주 약간 안 좋은"("only slightly worse") 결과가 나타났다. 그리고 힌튼은 Base 방식과 Recurrent 방식 중에 Base FF algorithm은 역전파 방식에 비해 45%의 메모리를 절약했다고 했다. 

이것만 봐서는 아직 진행될 연구가 많은 방식인데도 불구하고 성능적으로도 기대되고 메모리 절약도 상당한 기술로 보여서 정말 앞으로가 기대될 것 같다.


-P.S 영어 읽기 귀찮아서 괜찮아보이고 짧은 것 하나만 봤다. 잘못된 내용있으면 말씀 부탁드리고, 관심있으신 분은 영어로 검색해서 더 찾아보시면 좋을 것 같다.