레플리
글 수 203


한달 전 구글이 또 혁신적인 모델을 공개했습니다. MLP-Mixer가 그 주인공입니다. 이름 그대로 기본 신경망인 MLP(Multi Layer Perceptrons)만 사용한 이미지 인식 모델입니다. 하지만 CNN이나 Tranformer 기반의 모델과 거의 동급의 성능을 보이고 있습니다. 대신 속도는 훨씬 빨라졌습니다.

 

ViT(Vision Transformer)는 Self-Attention을 수행할 때 모든 이미지 패치들을 서로 곱하여 계산합니다. 예를 들어, 한 사진에 ABC라는 패치들이 있다면 AA, AB, AC, BA, BB, BC, CA, CB, CC 총 3^2번 계산을 합니다. 이렇게 각 패치들을 서로 비교하면서 어디에 집중할지, 어느 패치가 이 사진에서 중요한 의미인지를 파악합니다. 문제는 패치가 많아질수록 n^2번 계산을 하기 때문에 속도가 느려집니다. 반면에 MLP-Mixer는 패치의 수가 증가해도 선형적으로만 계산량이 높아집니다. 덕분에 ViT와 비슷한 성능에도 훨씬 빠른 속도를 자랑합니다.

 

1_jLNAwCKfYSJj1kameua7Pg.png

 

 

 

아래 사진을 보면 MLP-Mixer의 동작방식을 한 눈에 이해하실 수 있습니다. 당연히 그냥 평범한 신경망은 아닙니다. 핵심적인 아이디어는 각 이미지 패치를 서로 섞는다는(mix) 것입니다. 사진 상단 왼쪽을 보면 색깔별로 이미지 패치 입력이 들어옵니다. 이를 전치행렬(T)로 행과 열을 바꿉니다. 그리고 MLP에 넣어서 계산을 하면 각 이미지 패치들이 섞이게 됩니다.

 

MLP-mixer.jpg

 

사실 이건 Transformer에서 Self-Attention과 비슷합니다. Self-Attention도 결국 모든 패치들을 서로 곱해 섞는 것이니까요. CNN도 마찬가지입니다. 각 필터들을 거친 피처맵들을 섞어 하나의 입력으로 만들고 다음 레이어에 전달합니다. 단지 ViT, CNN, MLP-Mixer는 섞는 방법만 다를 뿐입니다.

 

 

 

2017년 처음 구글이 Transformer를 발표했습니다. 그 이후 BERT, GPT와 같은 자연어처리에서부터 ViT 같은 이미지 인식까지 높은 성능을 보여왔습니다. 그랬던게 또 새로운 변화가 찾아왔습니다. 앞으로 MLP-Mixer와 같은 방식으로 구현된 다양한 모델들이 개발되지 않을까요. 아무튼 딥러닝의 발전속도가 정말 빠르네요. 그래도 그 구조가 단순해지고 있다는 점은 환영할 만합니다.

 

 

 

< 참고자료 >

- https://visionhong.tistory.com/27?category=947242

- https://towardsdatascience.com/google-releases-mlp-mixer...

 

List of Articles
제목 글쓴이 날짜 조회 수
인공지능 과학자의 꿈, 범용 AI는 가능할까 깊은바다 2021-10-15 865
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 1317
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 913
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 871
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 1068
스케치를 사진으로 바꾸어주는 프로그램 - NVIDIA CANVAS 깊은바다 2021-06-25 636
한 단어만으로 텍스트 스타일을 바꿔주는 딥러닝 모델 - TextStyleBrush 깊은바다 2021-06-24 646
GameGAN으로 직접 화면을 생성하는 GTA5 게임 깊은바다 2021-06-20 632
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 1413
GAN으로 얼굴사진을 생성하는 사이트 - Face Generator file 깊은바다 2021-04-28 2766
말로 설명하여 이미지를 변형하는 GAN - StyleCLIP file 깊은바다 2021-04-04 1803
GPT-3로 광고문구를 만드는 서비스 - Copy.ai 깊은바다 2021-03-22 645
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 415
뉴런 하나로 특정 개념을 표현한다, CLIP 모델에서 개념 뉴런을 발견 file 깊은바다 2021-03-12 568
스냅챕의 디즈니 필터 깊은바다 2021-03-12 528