글 수 497
https://venturebeat.com/2021/04/29/huawei-trained-the-chinese-language-equivalent-of-gpt-3/
화웨이가 PanGu-Alpha라는 초거대 언어모델을 공개했습니다. GPT-3의 1750억개보다 많은 2000억개의 파라미터를 가지고 있습니다. 그리고 중국어로된 전자책, 백과사전, 뉴스, SNS, 웹페이지 등 1.1테라바이트의 데이터로 학습했습니다.
한국에서도 네이버와 카카오-SKT 등 여러 대기업들이 한국어 GPT-3를 개발하고 있는데요. 이런 초거대 모델을 만들 수 있느냐가 국가 경쟁력에 중요한 요소가 될 것 같습니다.