옷이 왜 흔들리고 주름이 생기는지까지 인공지능(AI)이 이해하는 시대가 열렸다. 한국과학기술원(KAIST·총장 이광형) 연구진이 3차원 공간 움직임·상호작용을 실제 물리 법칙처럼 학습하는 새로운 생성형 AI를 개발했다. 영화, 메타버스, 게임 속 아바타 현실감을 높이고 모션캡처나 3D 그래픽 수작업을 크게 줄일 수 있을 것으로 기대를 모은다.
KAIST는 김태균 전산학부 교수팀이 공간·물리 기반 생성형 AI 모델 'MPMAvatar'를 개발했다고 22일 밝혔다.
여러 시점에서 촬영한 영상을 입체적으로 재구성하고, 물체가 실제처럼 움직이며 상호작용하도록 물리 법칙을 AI가 스스로 학습하게 했다. 3D 공간을 수많은 작은 점들로 쪼개 각 점이 실제 물체처럼 움직이고 변형되도록 만들어, 자연스러운 영상을 구현한 것이다.
특히 옷처럼 얇고 복잡한 물체의 상호작용을 정밀 표현하기 위해, 물체 표면(메쉬)과 입자 단위 구조(포인트)를 함께 계산하고, 3D 공간 물체 움직임·변형을 물리 법칙에 따라 계산하는 머터리얼 포인트 메소드(MPM) 기법을 활용했다.
또 옷·물체가 움직이며 서로 부딪히는 장면을 사실적으로 재현하고자 새로운 충돌 처리 기술을 개발했다.
이들을 적용한 MPMAvatar는 느슨한 옷을 입은 사람의 움직임과 상호작용을 사실적으로 재현하고, AI가 학습 과정에서 본 적 없는 데이터도 스스로 추론해 처리하는 '제로샷(Zero-shot)'생성에도 성공했다.
김태균 교수는 “이번 기술은 AI가 단순히 그림을 그리는 것을 넘어, 눈앞의 세계가 '왜' 그렇게 보이는지까지 이해하도록 만든 것으로 물리 법칙을 이해하고 예측하는 '피지컬 AI' 가능성을 보여준 연구로, 범용 인공지능(AGI)으로 가는 중요한 전환점”이라며 “가상 프로덕션, 영화, 숏폼, 광고 등 실감형 콘텐츠 산업 전반에 실질적으로 적용돼 큰 변화를 만들어낼 것”이라고 밝혔다.
현재 연구팀은 이 기술을 확장해, 사용자의 텍스트 입력만으로도 물리적으로 일관된 3D 동영상을 생성할 수 있는 모델 개발을 진행 중이다.
한편 이번 연구는 이창민 KAIST 김재철AI대학원 석사과정이 제1저자로, 이지현 전산학부 박사과정이 공저자로 참여했다. 연구 결과는 'NeurIPS'에서 12월 2일 발표되며, 프로그램 코드는 모두 공개될 예정이다.
이 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 인간지향적 차세대 도전형 범용AI기술 개발사업, 생성AI 선도인재양성 사업 지원을 받아 수행됐다.
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
