구글 딥마이드가 '제니2(Genie2)'라는 대형 파운데이션 월드 모델(A large-scale foundation world model)을 공개

https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/

https://deepmind.google/api/blob/website/media/genie2_zoom_v6.mp4

화제가 됐던 '월드 모델(LWM)'이 드디어 실체를 드러내고 있습니다. 페이페이 리 스탠포드대학교 교수의 월드랩스가 지난 2일 처음으로 샘플을 공개한 데 이어, 4일에는 구글 딥마이드가 '제니2(Genie2)'라는 대형 파운데이션 월드 모델(A large-scale foundation world model)을 공개했습니다. 이스라엘 스타트업 데카르트라는 곳도 비슷한 모델을 출시한 바 있습니다.

 

구글의 홈페이지에서 확인해 보면 알 수 있지만, 두 회사가 공개한 내용은 놀라울 정도로 닮았습니다. 이미지 한장으로 상호작용이 가능한 3D 가상 세계를 만들어 줍니다.

 

https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/

Genie 2: A large-scale foundation world model

생성된 3D 월드는 사용자가 들어갈수록 새로운 풍경이 끊임없이 생성되는 것은 물론, 세계 속 개체들과의 상호작용도 가능합니다. 또 현실과 같은 물리 법칙을 적용, 벽에서는 막히고 벼랑에서는 떨어질 수 있습니다.

샘플을 확인하면 "이건 3D 게임인데"라는 생각이 들 겁니다. 월드랩스는 아예 게임과 영화, 디지털 가상 세계를 만드는 방식을 바꿀 것이라고 예고했습니다. 구글은 아티스트와 디자이너가 빠르게 프로토타입을 제작할 수 있으며, 관련 연구를 가속할 수 있다고 전했습니다.

 

LWM이라는 단어가 유행한 것은 1년이 채 안 됐습니다. 또 처음에는 개념만 존재했지, 확인할 수 있는 사례가 없어 모호했던 것이 사실입니다.

 

그러나 이제는 눈으로 이를 확인할 수 있게 되며, 앞으로 어떤 일들이 일어날지 가늠할 수 있게 됐습니다. 당장 게임 관계자들에게는 현실로 다가오게 됐습니다.

 

LWM은 실시간으로 세계를 창조합니다. 그런데 필요한 소스는 2D 이미지 한장뿐입니다. 물론 게임 안에 들어가는 캐릭터나 아이템 등 세부적인 장치에 대한 작업은 필요하겠지만, 게임의 맵을 실시간으로 생성한다는 것은 큰 변화를 예고합니다.

 

영화도 비슷할 것으로 보입니다. 또 메타버스와 같은 가상 공간에도 응용이 가능합니다.

 

물론 이제 초기 모델이 등장한 단계로, 분야별 실제 도입 사례는 아직 알려진 바 없습니다. 앞으로 모델이 발전함에 따라 응용 사례는 더욱 늘어날 수도, 반대로 특정 분야에 한정될 수도 있습니다.

 

그리고 사실 월드 모델이 가장 주목받는 이유는 기존 대형언어모델(LLM)의 한계를 뛰어넘을 수단으로 꼽힌다는 점 때문입니다. 말로만 세상을 배운 LLM이 실제 이 세계가 어떻게 작동하는지 이해 못 하는 것을, LWM은 가능하게 만든다는 개념입니다. 즉, LLM은 유리를 떨어뜨리면 깨진다는 것은 말로는 알고 있지만, 실제 그것이 어떤 일인지는 모르기 때문입니다.

 

그래서 LWM은 결국 로봇 AI와 연결됩니다. 로봇은 AI의 최종적인 유저 인터스페이스(UI)로 꼽힙니다. 사람의 지시로 현실 세계에서 움직이는 로봇은 당연히 세계에 대한 실제적인 이해가 필요합니다. 이를 LWM이 가르칠 수 있습니다.

 

또 로봇 AI를 구축하려면 모델을 학습할 물리세계의 데이터가 필요한데, 이는 매우 부족한 것으로 알려졌습니다. 이런 상황에서 실시간으로 현실과 똑같은 공간을 생성하는 LWM은 로봇의 훈련에 필요한 데이터를 제공할 수 있습니다. 따라서 월드 모델의 발전은 로봇 AI의 급속한 발전을 이끌 수 있습니다. 자율주행도 마찬가지입니다.

 

한발 더 나아가 방대한 텍스트로 세상을 배운 LLM이 현실 세계까지 이해한다면, 인간과 맞먹는 지능과 인식의 구조를 가지는 데 도움이 될 수 있습니다. 이 때문에 LWM은 인공일반지능(AGI)을 달성하는 새로운 방법으로 꼽힙니다. 최근 엔비디아는 이를 물리적 AI(Physical AI)라고도 부릅니다.

 

이 때문에 지금은 게임 장면처럼 보이는 LWM은 향후 가장 중요하고도 사업적 활용 가치가 큰 분야로 꼽힙니다. 이들 외에도 오픈AI나 xAI, 메타, 마이크로소프트, 애플, 아마존 등도 모두 관련 연구를 진행하고 있습니다.

 

샘 알트먼이나 일론 머스크 CEO 등 기술 리더들이 앞으로 몇년 안에 AGI가 달성될 것이라 강조하는 데에는 이런 이유가 있습니다.

 

내년에는 AI 에이전트와 함께 LWM에서 본격적인 발전이 이뤄질 것으로 보입니다.