main-logo

AI Eyes #6 LWM, AI가 세계를 이해하면 생기는 일

AI Eyes의 여섯번째 글

profile
Jun
2025년 12월 10일 · 0 분 소요

 

[AI Eyes]는 UX를 만드는 시각으로 AI와 함께하는 세계를 비춥니다.
UX 리서처부터 기획자, 디자이너, 엔지니어, 라이터까지 다양한 직군이 들려주는 AI 소식을 만나보세요

 

이미지 한 장이면 세계를 창조한다?

1_AI Eyes_6_LWM, AI가 세계를 이해하면 생기는 일.webp
출처: 생성형 AI 소라(Sora)와 만듦

대규모 월드 모델 또는 대형 세계 모델(Large World Model, 이하 LWM)은 현실 세계를 종합적으로 이해하고 대응하는 것을 목표로 하는 AI예요. 대규모 모델 중에서도 이름에 따라 ‘언어(Language)’가 글(텍스트)을, ‘멀티모달(Multimodal)’이 이미지, 오디오, 비디오 등 여러 형식의 데이터를 학습하고 처리한다면, ‘월드’는 이에 더해 현실 세계의 물리적 환경 데이터까지 다룰 수 있어요. 공간, 지리적 특성, 속도, 시간 등이 그 예죠. 

 

월드랩스(World Labs)는 ‘AI 대모’로 불리는 컴퓨터과학자 페이페이 리(Fei-Fei Li)가 창업한 곳인데요. 그림 또는 사진 한 장만으로 3D 세계를 만들 수 있는 AI 시스템을 공개하며 LWM 기술의 대표주자로 떠올랐어요. 월드랩스의 월드 모델은 이미지 속 사물과 구조, 깊이를 분석해 입체적인 세계를 재현해요. 사용자는 게임처럼 공간을 탐험할 수 있을 뿐 아니라 게임 속 객체와도 상호작용할 수 있어요. 

 

이런 LWM은 문화·예술 분야의 사용자경험을 바꿔놓을 수도 있을 거예요. 확장현실(eXtended Reality) 기술과 결합한다면, 사용자는 역사적 거리나 작품 속 세계를 현실처럼 탐험하면서 ‘관람’만으로는 얻지 못했던 몰입감과 현장감을 느낄 수 있겠죠. 여러 사람이 동시에 접속해 경험을 공유하고 소통하며 사회 또는 문화를 만들어갈 수도 있고요. 앞으로 어떤 새로운 세계가 펼쳐질지 기대되네요.

 

- 장한울(UX 디자이너)

 


 

게임 플레이어가 곧 게임 메이커인 세계

2_AI Eyes_6_LWM, AI가 세계를 이해하면 생기는 일.webp
출처: 생성형 AI 소라(Sora)와 만듦

게임 엔진, 로직, 코드 없이 만드는 게임을 상상해봤나요? 이스라엘 스타트업 데카르트(Decart)는 인터랙티브 AI 비디오 모델 ‘오아시스(Oasis)’를 선보이며 상상을 현실로 만들었어요. LWM의 일종인 ‘오아시스(Oasis)는 게임 플레이 영상을 학습해 키보드와 마우스의 움직임을 인식하고 실시간으로 게임 규칙이나 그래픽을 생성할 수 있어요. LWM이 게임 세계 전체를 인지하고 추론하며 사용자의 동작에 반응하는 방식이죠. 기존 게임이 이미 만들어진 세계 안에서의 경험이라면, LWM은 플레이어가 세계에 영향을 미치면서 때로는 흔들거나 뒤바꿀 수도 있어요.

 

데카르트는 AI가 사용자와 상호작용하며 만드는 ‘대화형 세계’가 기존 게임엔진을 대체할 것이라고 주장했어요. 창립자 딘 리히터도르프(Dean Leitersdorf)는 "기존 AR, VR은 하드웨어 기반으로 시작해 만드는 사람도 이용하는 사람도 제한적으로 경험할 수밖에 없었다”라며 “사용자 선호도에 따라 즉석에서 콘텐츠를 생성해 혁신적인 엔터테인먼트를 만들어갈 것”이라고 밝혔죠. ‘데카르트’는 “나는 생각한다. 고로 존재한다.”라는 말로 유명한 철학자의 이름을 따왔는데요. 앞으로 AI가 ‘생각하는 존재’로서 인간과 어떤 다양한 상호작용을 보여줄지 궁금해요. 

 

- 박바름, 이혜준(프론트엔드 개발자)

 


 

인간의 곁에서 ‘삶의 터전’을 이해하는 AI 로봇

3_AI Eyes_6_LWM, AI가 세계를 이해하면 생기는 일.webp
출처: 생성형 AI 소라(Sora)와 만듦

가정에서 쓰이는 로봇은 단순 작업을 반복하는 산업 현장과 달리 사람이 생활하는 공간에서 생길 수 있는 다양한 변수를 이해하고 대처해야 해요. 사람과 직접 상호작용하는 일이 많기 때문에 보편성과 안전성이 특히 중요하죠. 네오 감마(Neo Gamma)는 1X가 선보인 가정용 휴머노이드 로봇인데요. LWM로 주변 환경을 세심하게 인식해 사람이나 물건에 해를 끼치지 않도록 설계됐다고 해요. 베른트 뵈르니히(Bernt Børnich) 1X CEO는 “로봇이 산업 현장이나 실험실에만 머문다면, 인간의 삶에 대해 중요한 이해를 놓칠 수밖에 없다”고 말했어요. 1X는 가정용 로봇을 통해 AI를 ‘인간과 가장 가까운 곳’에서 학습시키는 전략을 택한 거죠. 

 

먹고 자는 것부터 가사 노동, 취미 생활, 재택근무까지, 우리는 적지 않은 시간을 집에서 보내며 다양한 일을 하는데요. 이런 환경에서 축적되는 방대한 현실 데이터는 곧 휴머노이드 지능 발전으로 이어질 거예요. 인간과 유사한 지능을 갖고서 스스로 학습하는 능력을 갖춘 일반 인공 지능(Artificial General Intelligence, AGI)을 위한 초석이 될 수도 있겠죠. 데이터 속에서 언어를 배우던 AI는 이제 현실 세계로 나와 인간이 살아가는 터전을 배워가고 있어요.

 

- 권혜림(프로덕트 디자이너)

 

 
 임현경, 전수빈, 박바름, 이혜준
그래픽 김은정(그래픽 디자이너)
편집 임현경
 
이 글은 pxd Insights에서도 보실 수 있습니다.