챗GPT를 장착한 Figure AI 로봇의 시연 영상입니다. 현재 눈앞에 사과와 접시, 건조대가 있다는 것을 정확히 인식합니다. 사과를 집어서 사람에게 건네고, 컵과 접시를 건조대에 가지런히 정리합니다.

Figure AI는 이미 오픈AI, MS, 엔비디아, 아마존 등으로부터 8,900의 투자를 유치했습니다. 예전에는 로봇하면 보스턴 다이내믹스가 가장 유명했습니다. 현대가 전격적으로 인수하기도 했죠. 지금은 테슬라와 Figure AI 같은 신생 회사로 완전히 주도권이 넘어갔습니다. 보스턴 다이내믹스는 하드웨어 중심의 회사라서 AI 시대에 잘 적응을 못하고 있습니다.

십수년전 로보월드에서 주방로봇을 본 적이 있습니다. 로봇팔이 물병을 잡고 컵에 물을 따르고 있었습니다. 몇 번의 실패를 거쳐 겨우 성공했는데요. 그때는 미리 정해진 위치에서 짜여진 동작만 수행하는 것처럼 보였습니다. 지금은 이런 매니퓰레이션(manipulation)을 매우 자연스럽게 수행합니다. 게다가 LLM이 로봇의 두뇌가 되면서 실제 쓸만한 수준에 점점 근접하고 있습니다.

예를 들어, 가정용 로봇에게 물을 가져오라고 시켰습니다. 로봇은 먼저 그 말을 이해하고 방법을 생각해야 합니다.

• 물은 주방 냉장고에 있다

• 주방으로 이동한다

• 냉장고를 연다

• 물병을 꺼낸다

• 건조대의 컵을 집는다

• 물병의 물을 컵에 따른다

• 컵을 사람에게 가져간다

이런 일련의 행동들을 결정하는 것을 플래닝(planning)이라고 합니다. 과거에는 탐색을 통해 플래닝을 했습니다. 그래서 확장성이 매우 떨어졌습니다. 간단한 토이 문제는 가능하지만 실세계에 적용하기 불가능했죠. 게다가 환경에 대한 지식이나 상식을 모두 사람이 룰베이스로 입력해야 했습니다.

지금은 LLM이 위와 같은 플래닝을 자동으로 해줍니다. 스탠포드대가 발표했던 생성 에이전트(Generative Agents)를 보면 NPC의 행동을 모두 챗GPT가 결정합니다. 로봇에도 이런 과정을 그대로 적용할 수 있습니다.

매니퓰레이션과 LLM이 결합하면 상용화 수준의 로봇이 금방 나올 것이라 봅니다. 이미 아마존이나 테슬라는 휴머노이드 로봇을 도입할 계획입니다. 가정용 로봇이 청소나 요리, 세탁을 대신 해주는 세상도 곧 다가올 듯 싶습니다. 만약 그런 기능이 가능하다면 차 한대 값이어도 충분히 구매할 가치가 있습니다. 사람 1년 인건비 정도니까요.

https://www.youtube.com/watch?v=Sq1QZB5baNw