인공지능(AI)의 발전은 새로운 단계로 진입 중이며, ‘언어 이해’에서 ‘세계 이해’로 나아갈 전망이다.

 

11월 10일, 미국 스탠퍼드대 교수이자 World Labs 공동창업자인 리페이페이는 《언어에서 세계로: 공간지능은 AI의 다음 프런티어》라는 글을 발표하며 “공간 지능”이 AI가 도전할 다음 고봉이 될 것이라고 밝혔다. 그녀는 현재 대형 언어 모델을 대표로 하는 AI 시스템이 텍스트와 이미지를 능숙하게 생성하지만 여전히 ‘언어의 세계’에 머물러 있고, 현실 공간·물리 법칙·인과 관계에 대한 진정한 이해가 부족하다고 지적했다. 공간지능을 갖춘 AI는 이런 한계를 돌파해 인간처럼 현실 세계에서 감지하고, 추론하며, 행동할 수 있다.

 

ㅡ 알고리즘 지능에서 공간 지능으로

 

현재의 대형 언어 모델은 읽기, 쓰기, 패턴 인식에서 뛰어난 성과를 보이지만, 물리적 세계의 표상과 상호작용에서는 근본적 한계가 있다. 최신 멀티모달 대형 모델조차 거리, 방향, 크기 추정에서 랜덤 수준에 머물고, 공간 내비게이션이나 지름길 인식, 기본 물리 법칙의 예측도 안정적으로 하지 못한다. AI가 생성한 영상 역시 인상적이지만 몇 초 만에 일관성을 잃는 경우가 많다.

 

이러한 한계 때문에 AI는 인간의 창의적 작업을 진정으로 지원하기 어렵다. 예를 들어 학생이 복잡한 분자화학 개념을 이해하거나, 건축가가 공간 구조를 구상하거나, 감독이나 게임 디자이너가 가상 세계를 구축하는 데 있어 현재 AI는 아직 목표에 도달하지 못했다.

 

리페이페이는 공간 지능이 인간 인지의 발판이며, 상상·창조·추론을 이끄는 힘이자, 감각과 행동을 연결하는 핵심 능력이라고 본다. 이 능력 덕분에 사람들은 주차시 거리 계산, 군중 속 유연한 이동 등 일상 동작을 쉽게 수행한다. 핵심은 상상, 감각, 행동을 통합해 ‘앎’에서 ‘이해’로 넘어가는 것이다.

 

그녀는 공간 지능이 언어의 경계를 뛰어넘어 상상·감각·행동을 융합하며, 기계가 ‘무엇을 봤는지’뿐 아니라 ‘이것들이 어떻게 연결되고, 무엇을 의미하며, 왜 중요한지’까지 이해할 수 있게 한다고 강조했다. 이런 AI는 의료, 예술, 과학, 일상지원 등 다양한 분야에서 인간의 창의력과 이해력을 확장시키며, 전례 없는 변화를 가져올 수 있다.

 

ㅡ 세계 모델 구축이 실현 경로

 

리페이페이는 진정한 공간 지능을 실현하려면 기존 대형 언어 모델의 패러다임을 넘어, 더 근본적인 세계 모델로 전환해야 한다고 주장했다. 이 새로운 모델은 의미적 관계뿐 아니라 기하학, 물리, 동적 규칙까지 일관성 있게 ‘상상’하고 ‘재구성’할 수 있어야 한다. 다중 모달 입력을 감지하고, 장면 변화를 예측하며, 환경과 상호작용할 수 있어야 한다.

 

현재 연구는 3D 객체·장면 생성 모델, 동적 과정 시뮬레이션 물리 엔진, 상호학습 기반의 구현 지능 시스템 등에서 이루어지고 있다. 하지만 이 모든 능력을 통합한 범용 세계 모델은 아직 초기 단계다.

 

리페이페이가 창립한 World Labs는 이 분야의 최전선 연구를 추진하고 있다. 그 팀이 개발한 세계 모델은 의미와 기하학 수준에서 복잡한 3D 장면을 이해하고, 물리적 특성과 상호관계를 추론하며, 일관되고 탐색 가능한 가상 공간을 생성할 수 있다. 상호작용 과정에서도 물리·기하 법칙을 준수한다.

 

이들이 개발한 Marble 플랫폼은 이러한 능력을 선도적으로 적용해, 창작자가 전통적인 3D 모델링 도구 없이도 완전한 가상 세계를 빠르게 만들고 편집할 수 있도록 한다. 이는 AI가 언어 이해에서 공간 이해로, 이미지 생성에서 세계 생성으로 나아가고 있음을 의미한다.

 

ㅡ 인류의 세계와 공존 방식 재구성

 

“자연계가 오래전 동물에게 공간 지능을 부여한 이후 약 5억 년이 지났습니다. 이제 우리는 기계에 이 능력을 부여할 수 있는 세대가 되었습니다.” 리페이페이는 글에서 이렇게 썼다. 그녀는 공간 지능이 AI의 기능과 행동양식을 재정의할 것이라 본다. 세계 모델을 통해 기계는 수동적 분석에서 능동적 계획과 적응으로 전환한다.

 

예를 들어 창고 로봇은 변화하는 재고를 피해 경로를 계획하고, 장애물에 막히면 멈추는 것이 아니라 우회한다. 자율주행차는 보행자의 움직임을 예측하고, 명확한 신호가 없어도 반응할 수 있다. 앞으로는 디지털 어시스턴트가 손짓, 공간환경, 공유된 시각 프레임까지 해석할 수 있게 될 것이다.

 

구체적으로, 창의와 스토리텔링 분야에서 공간 지능은 인간의 창작 방식을 재정의한다. 감독과 게임 디자이너는 자유롭게 가상세계를 만들고, 건축가는 구조와 비율을 즉시 시각화하며, 개인 창작자와 학생도 가상현실·확장현실 기술을 통해 3D 공간에서 ‘세계 만들기’를 할 수 있다.

 

로봇 분야에서 공간 지능은 구현 지능 실현의 핵심이다. 로봇은 가상 환경에서 효율적으로 훈련하고, 공간 관계와 인간의 의도를 이해해 실험실 조수에서 가정 돌봄까지 안전하게 협동할 수 있다. 미래에는 나노 의료 로봇부터 연체 탐사 로봇까지 AI가 환경 감지와 적응 능력을 갖추게 될 것이다.

 

과학, 의료, 교육 분야에서도 공간 지능은 인간 탐구의 배가 장치가 된다. AI는 실험을 시뮬레이션하고 결과를 예측해 신약 개발과 영상 진단을 가속화한다. 교실에서는 학생이 분자나 역사 현장에 ‘직접 들어가’ 추상적 지식을 구체적으로 체험할 수 있다.

 

리페이페이는 공간 지능의 목표가 인간을 대체하는 것이 아니라, 인간의 전문성·창의성·공감 능력을 강화해 기술이 더욱 인간 중심적으로 봉사하도록 하는 것이라 강조했다. 공간 지능을 갖춘 AI는 인간이 질병을 이해하고, 새로운 서사 방식을 만들며, 취약한 집단을 돌보고, 과학 발견과 사회적 돌봄을 가속화하는 데 도움을 줄 것이다.

 

그녀는 공간 지능이 AI의 가능성을 바꿀 뿐 아니라, 인간이 ‘세계와 공존하는 방식’을 재구성할 것이라고 본다. 언어에서 공간, 문자에서 세계로, AI는 이제 현실을 진정으로 이해하는 새로운 시대로 나아가고 있다.(저자는 과학일보 기자)

 

출처: 과학일보,  2025년 11월 14일

(원문보기) https://tech.huanqiu.com/article/4P8MxAtNuo6

 

[울산함성 무료구독 신청] https://t.me/+ji13hLs-vL83ZTBl