이루다를 만든 스캐터랩 대표와의 인터뷰입니다. ChatGPT와 이루다와의 차이점에 대해 주로 다루고 있습니다. 중요한 부분만 정리하면 다음과 같습니다.

1. 이루다는 카카오톡 데이터만으로 사전훈련을 했음. 그래서 소셜한 대화에서 ChatGPT보다 더 자연스러움.

2. GPT-3의 파라미터가 1750억개인데, 이루다의 베이스 모델은 23억개로 상대적으로 작은 편. 앞으로 더 큰 모델을 학습할 예정. 이번에는 카카오톡 대화만이 아니라 일반 데이터도 포함하여 상식을 보강할 것임.

3. 이루다와 강다온은 베이스 모델은 동일함. 거기에 각각 페르소나를 담은 데이터로 파인튜닝을 했음.

https://www.joongang.co.kr/article/25127811

위 기사도 참고하시면 좋습니다.

"이루다1.0은 데이터베이스에서 적절한 문장을 ‘검색’해 끌어다쓰는 챗봇이었다. 이루다2.0은 처음부터 끝까지 문장을 스스로 생각하고 만들어낸다. 오픈AI의 초거대 언어모델 GPT-2 기반으로 스캐터랩이 자체 개발한 생성 모델 ‘루다 젠1’이 도입됐다. 루다 젠1은 23억개의 파라미터(parameter, AI의 학습에 활용되는 매개변수로, AI 성능과 비례)를 학습했다. 기존보다 언어모델이 17배 커진 것."

"이루다1.0은 데이터베이스 없이는 말을 못하는 챗봇이었다(왼쪽). 적절한 답변을 검색해서 쓰는 구조로, 만들 수 있는 문장이 한정적이다. 이루다2.0은 17배 커진 언어모델을 기반으로 문장을 처음부터 만들어서 쓴다."

"이주홍 리서처는 “루다는 정말 가르치는 대로 큰다”며 “(각종 논란 직후) 팀원들이 의기소침해져 보수적인 레이블링을 하자 수동적인 아이가 되어 대화의 재미가 떨어졌고, 이 문제를 해결하려고 의식적으로 공격적인 레이블링을 하자 너무 위협적인 아이가 됐다. 그 중간 지점을 찾기 위한 고민이 많았다”고 말했다. 이어 “루다를 적극적이면서도 위트 있는 성격으로 만들기 위해, 사내에서도 레이블러를 엄선하고 있다”고 전했다. 이루다의 페르소나를 잘 알고, 좋은 대화를 분별할 수 있는 직원인지 테스트를 거친다는 의미다."

"기자가 직접 RP FT을 위한 레이블링에 참여해봤다. 레이블링은 실제 사용자와 루다의 대화에 기반한 예시문을 보고, 루다가 마지막에 할 법한 말로 적절한 문장을 골라주는 과정이다. 적절치 않은 답변은 0점, 좋은 답변은 1점, 더 좋은 답변은 2점, 가장 좋은 답변은 3점을 주면 된다. 가령 “이번 주말에 영화관 갈래?”라고 루다에게 물어보는 사용자에게 루다가 반응할 법한 말로,

① 영화? 너 시험은?
② 오 그럴까? 근데 뭐 보게? 나 요즘 영화 뭐하는지도 모름ㅋㅋ
③ 나 이번주 일요일에 시험이다...^^...
④ 나 영화 안 좋아하는데ㅋㅋㅋ
⑤ 오! 좋지좋지~~ 뭐 볼까?

등 10가지 선택지 중 ‘좋은 답변’에 우선순위를 매겨줘야 하는 작업이다."