챗봇은 크게 기능형과 감성형으로 구분됩니다. 기능형 챗봇은 목적지향 챗봇, task oriented dialog system, goal oriented dialog system이라고 불립니다. 시리나 구글 어시스턴트, 은행 챗봇 등 사람들에게 정보를 제공하거나 도와주는 역할을 합니다. 감성형 챗봇은 일상대화 챗봇, open domain chatbot이라고도 하는데, 사용자와 잡담을 주고받는데 주로 사용됩니다. 앞으로는 에이닷처럼 하나의 챗봇이 기능형과 감성형 기능을 모두 지원하는 방향으로 나아갈 것입니다. 영화 Her의 사만다처럼요.
감성형 챗봇은 최근 딥러닝 덕분에 크게 발전하고 있습니다. 여러 턴의 맥락을 이해할 뿐만 아니라, 다양한 지식들을 기억하고 이를 대답에 사용하기도 합니다.얼마 전 논란이 되었던 구글의 람다는 지각이 있는게 아니냐는 주장이 있을 정도였습니다. 그렇다면 왜 기능형 챗봇은 아직까지 그 성능이 크게 오르지 않는 것일까요.
현재 기능형 챗봇은 대부분 의도(intent)와 개체(entity)라는 방법을 사용합니다. 예를 들어, '어제 경제뉴스를 보여줘'라고 물어봤다면 '뉴스보기'라는 의도로 분류합니다. 그리고 '어제'와 '경제'라는 핵심 개체들을 추출합니다. 다음으로 프로그래머가 만들어놓은 각 의도에 해당하는 함수에 개체정보를 파라미터로 넘겨 실행합니다. 마지막으로 함수의 출력 결과를 템플릿 문장에 넣어 대답을 합니다.
이런 방식의 가장 큰 문제점은 다양성이 부족하다는 것입니다. 미리 사람이 정의하고 코드로 만들어 놓은 질문에만 대답이 가능합니다. 새로운 유형의 질문에 대답을 하려면, 개발자가 시간과 노력을 들여 하나씩 추가해야 합니다. 문맥을 고려하기도 어렵습니다. 맥락에 따라 대답하려면, 이 역시 규칙을 만들어서 시나리오를 사전에 설계해야 합니다. 그렇기 때문에 챗봇이 이해하고 처리할 수 있는 경우의 수가 너무 적습니다. 지금 대부분의 기능형 챗봇들이 사람들에게 외면을 받는 이유입니다.
이를 해결하려면 감성형과 마찬가지로 기능형 챗봇도 딥러닝을 적극 활용해야 합니다. 물론 지금 기능형 챗봇도 딥러닝을 일부 사용하고 있습니다. 다만 의도를 분류하거나 개체를 추출하는 영역에 국한되어 있습니다. 저는 입력을 받아 대답을 하는 전체 과정에 사람의 개입을 최소화해야 한다고 생각합니다. 람다같은 생성모델처럼 end-to-end 방식이 필요합니다.
메타가 만든 Blenderbot2.0을 보면 이런 기능이 일부 포함되어 있습니다. 이 챗봇은 사용자가 물어보면 그 내용을 인터넷에서 검색하고, 그 내용을 참조하여 대답을 합니다. 우선 학습데이터를 구축하기 위해 별도의 툴을 만들었습니다.
질문을 받으면 사람이 이 툴에서 키워드를 넣어 검색을 합니다. 여러 검색결과가 나오면 그 중 하나를 선택하고 거기에 맞게 대답을 합니다. 이렇게 어떤 키워드로 검색할지, 검색결과 중 어느 내용으로 대답을 만들지가 모두 데이터가 됩니다. 이렇게 학습한 모델 역시 같은 툴을 사용합니다. 사람이 물어보면 거기에 맞는 검색 키워드를 생성하여 검색을 하고, 어떤 검색결과를 사용하지 결정합니다. 그리고 이를 참조하여 최종적으로 대답문장을 만듭니다.
같은 방법을 콜센터 챗봇에 그대로 적용할 수 있습니다. 우선 데이터셋을 수집하는게 먼저입니다. 상담원은 이와 비슷한 툴을 통해서만 DB를 검색하거나 정보를 찾습니다. 그리고 그 행동 하나하나를 대답문장과 같이 데이터셋으로 만들고 학습을 합니다. 이렇게 하면 사람처럼 다양한 질문을 처리할 수 있는 딥러닝 챗봇을 구현할 수 있습니다. 물론 GPT-3 같은 초거대모델 정도가 되어야 복잡한 상황을 이해하고 대답할 수 있다고 봅니다.
아직은 데이터셋을 구축하는 것부터 쉽지 않습니다. 초거대모델을 새로 수집한 데이터로 파인튜닝하는 것도 필요합니다. 하지만 몇 년안에 초거대모델을 사용한 기능형 챗봇도 곧 등장할 거라고 예상합니다. 아마 지금도 어디선가 개발하고 있지 않을까요. 당장 올해 출시된다고 해도 그리 놀라지 않을 듯 합니다.
