레플리
글 수 203


K-003.png

 

K-004.png

 

K-005.png

 

 

 

OpenAI의 CLIP은 이미지와 텍스트를 동시에 고려하는 멀티모달 모델입니다. 이를 활용한 다양한 애플리케이션이 등장하고 있는데요. 이번에는 Text2Art란 사이트가 생겼습니다. 말로 설명하면 그림을 그려주는 서비스입니다.

 

DALL-E와 비슷하지만 동작방식에 차이가 있습니다. DALL-E는 GPT-3에 텍스트를 넣어 다음 픽셀을 예측합니다. 그 픽셀은 텍스트와 함께 다시 입력으로 들어갑니다. 이렇게 계속 반복적으로 예측하면서 전체 이미지를 생성합니다.

figure6.png

(참고 - https://jiho-ml.com/weekly-nlp-40/)

 

 

 

반면에 Text2Art는 VQGAN을 사용합니다. GAN은 생성자와 판별자가 서로 경쟁하면서 학습을 합니다. VQGAN-CLIP도 마찬가지입니다. VQGAN이 이미지를 만들면, CLIP이 그 이미지가 해당 텍스트와 일치하는지 검사를 합니다. 이 과정을 여러번 반복하면 점점 텍스트 설명과 유사한 이미지가 생성됩니다.

 

K-001.png

K-002.png

 

 

우리 뇌에서도 아마 같은 의미를 가진 다양한 형태의 개념들은 하나로 처리되지 않을까 생각됩니다. 예를 들어, '강아지'란 단어와 강아지의 이미지, 강아지가 내는 멍멍하는 소리는 서로 연결되어 있습니다. 우리는 강아지를 떠올리면 이런 개념들을 동시에 연상합니다. CLIP은 딥러닝도 같은 방식으로 동작할 수 있다는 것을 보여줬습니다. 앞으로 이를 활용한 재미있는 사례가 계속 나오지 않을까요.

 

 

 

< Text2Art >

https://text2art.com/

 

< 개발과정 >

https://towardsdatascience.com/how-i-built-an-ai-text-to...

 

< Github >

https://github.com/mfrashad/text2art

 

List of Articles
제목 글쓴이 날짜 조회 수
오픈소스로 공개된 Text-to-Image 모델 - Stable Diffusion 깊은바다 2022-09-07 1336
Dall.E 2 Prompt Book - 프롬프트 작성 가이드 깊은바다 2022-07-14 4339
최초로 인간 수준의 크기를 가진 중국의 딥러닝 모델 - BaGuaLu file 깊은바다 2022-06-23 1116
미국에서 Dalle Mini로 짤(Meme)을 만드는게 유행 file 깊은바다 2022-06-19 1582
말로 영상을 생성하는 딥러닝 모델 - CogVideo file 깊은바다 2022-05-30 1069
DALL.E를 직접 테스트해볼 수 있는 사이트 - DALL.E mini file 깊은바다 2022-05-17 11518
전문가 수준의 사진을 생성하는 NVIDIA의 PoE-GAN 깊은바다 2022-02-16 1279
메타AI의 멀티모달 자기지도학습 모델인 Data2vec 깊은바다 2022-01-26 1028
GAN으로 사진에서 특정 부분을 지워주는 서비스 - Cleanup.pictures file 깊은바다 2022-01-17 1018
3D 이미지를 만드는 GAN - StyleNeRF 깊은바다 2021-12-20 835
CLIP을 사용하여 말로 그림을 그려주는 스마트폰 앱 - WOMBO Dream file 깊은바다 2021-11-25 1777
내가 말하는 걸 보여줘, DALL-E 깊은바다 2021-11-11 1062
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 6865
원티드는 어떻게 AI로 채용 결과를 예측하고 매칭할까 깊은바다 2021-11-09 959
OpenAI의 CLIP을 한글로 구현한 KoCLIP file 깊은바다 2021-11-02 2732