KAIST는 김태균 전산학부 교수 연구팀이 기존 2D 픽셀 기반 영상 생성 기술의 한계를 극복한 공간·물리 기반 생성형 AI 모델 ‘MPMAvatar’를 개발했다고 22일 밝혔다.
|
이를 통해 물체의 재질·형태·외부 힘에 따른 움직임을 계산하고, 그 결과를 실제 영상과 비교해 AI가 물리 법칙을 스스로 학습할 수 있도록 했다.
연구팀은 3차원 공간을 점 단위로 표현하고, 각 점에 가우시안과 MPM을 함께 적용해 물리적으로 자연스러운 움직임과 사실적인 영상 렌더링을 동시에 구현했다.
특히 옷처럼 얇고 복잡한 물체의 상호작용을 정밀하게 표현하기 위해, 물체의 표면(메쉬)과 입자 단위 구조(포인트)를 함께 계산하고, 3차원 공간에서 물체의 움직임과 변형을 물리 법칙에 따라 계산하는 ‘MPM(Material Point Method) 기법’을 썼다.
옷이나 물체가 움직이며 서로 부딪히는 장면을 재현하기 위해 새로운 충돌 처리 기술도 개발했다. 이 기술을 적용한 생성형 AI 모델 MPMAvatar는 느슨한 옷을 입은 사람의 움직임과 상호작용을 재현하고, AI가 학습 과정에서 본 적 없는 데이터도 스스로 추론해 처리하는 ‘제로샷(Zero-shot)’을 생성했다.
제안된 기법은 강체, 변형 가능한 물체, 유체 등 다양한 물리적 특성을 표현할 수 있어, 아바타뿐만 아니라 일반적인 복잡한 장면 생성에 활용될 수 있다.
연구팀은 이 기술을 확장해 사용자의 글자 입력만으로도 물리적으로 일관된 3D 동영상을 생성할 수 있는 모델도 개발하고 있다.
김태균 교수는 “AI가 단순히 그림을 그리는 것을 넘어 눈앞의 세계가 ‘왜’ 그렇게 보이는지까지 이해하도록 만들었다”며 “물리 법칙을 이해하고 예측하는 ‘Physical AI’의 가능성을 보여준 연구로 이는 AGI(범용 인공지능)로 가는 중요한 전환점”이라고 말했다.
연구 결과는 AI 분야 국제학술대회인 ‘NeurIPS’에 오는 12월 2일에 발표될 예정이다.
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
'">
