ChatGPT가 텍스트로 세상을 이해한다면, 이제 AI는 ‘손’으로 세상을 만져보려 합니다. “진짜 지능이 되려면 몸을 갖고 세상과 부딪쳐야 한다”는 철학으로 피지컬 AI의 새로운 영역을 개척하고 있는 리얼월드(RLWRLD). 이들이 말하는 ‘인간의 손재주를 가진 AI’는 과연 우리 일상을 어떻게 바꿀까요?

최근 공개된 시연에서 리얼월드의 로봇은 병뚜껑을 돌려 열고, 움직이는 컵에 정확히 우유를 따라 넣었습니다. 단순해 보이는 이 동작 속에는 15자유도 손의 정교한 협응과 실시간 상황 판단 능력이 숨어있죠. 국내 최대 규모 시드 투자 210억 원을 유치하며 주목받고 있는 리얼월드에게 물었습니다.

“ChatGPT가 언어를 이해하듯, 로봇에게 지능은 세상을 직접 만지고 느끼면서 이해하는 것입니다. 그리고 인간이 세상과 가장 정교하게 상호작용하는 도구가 바로 ‘손’이죠.”

리얼월드는 로봇에게 “생각하는 손”을 주고 싶었다고 말합니다. 우리가 일상적으로 하는 ‘글씨를 쓰는 일’부터, 미세한 나사 체결, 복잡한 케이블 연결 같은 작업이 아직 인간의 몫인 건 결국 ‘손의 섬세함’ 덕분이라는 설명인데요.

“현재 산업 현장에서 자동화나 학습 기반 로봇 조작은 대부분 집게 형태의 ‘그리퍼’ 중심이에요. 물건을 집어 옮길 수는 있지만, 사람처럼 복잡한 일은 하기 어렵죠. 그래서 저희는 고자유도의 5지 핸드가 가진 잠재력에 더욱 집중하고 있습니다.”

휴머노이드 형태의 장점은 기존 공간을 바꾸지 않아도 된다는 점이에요. 리얼월드는 그 배경을 이렇게 풀어냅니다. 작업대 높이, 문 손잡이, 공구의 손잡이 형태 등 세상의 거의 모든 것이 이미 사람 몸에 맞춰 설계돼 있기 때문이라는 거죠.

“그래서 저희는 난이도가 높더라도 가장 보편적인 해법을 만드는 길을 선택했습니다.”

“저희는 산업 현장의 숙련공들이 평소처럼 작업하는 모습을 4D+ 모션 캡처 기술로 데이터화하고 있습니다. 여러 대의 카메라로 숙련공의 움직임을 정밀하게 포착하고, 데이터를 개별 로봇에 맞게 변환하는 리타겟팅 기술을 활용해 데이터를 확보하고 있어요.”

리얼월드는 데이터 수집에 두 가지 방식을 활용합니다. 하나는 텔레오퍼레이션으로, 사람이 원격에서 로봇을 실시간으로 조종하는 방법이에요. 로봇 데이터를 직접 쌓을 수 있어 모델 개발에 필수적이죠.

다만 원격 조작의 특성상 정밀한 동작을 구현하거나 숙련공의 노하우를 담아내기엔 한계가 있습니다. 그래서 멀티 카메라로 숙련공의 움직임을 직접 포착하는 4D+ 모션 캡처 방식도 병행하고 있어요.

“이번 시연은 15자유도 손을 가진 하드웨어를 얼마나 정교하게 제어할 수 있는지, 예측 불가능한 동적 상황에 대응할 수 있는지를 보여준다는 점에서 큰 의미가 있어요.”

이번 시연에서 리얼월드가 강조한 건 ‘완전 자율’이었어요. 사람이 원격으로 개입하지 않았고, 예측 불가능한 변수에도 로봇 스스로 대응했다는 거죠.

특히 병뚜껑을 돌려 여는 회전 체결 동작은 난도가 높습니다. 세 손가락이 고자유도로 동시에 협응해야 하는 작업이라, 굽힘만 가능한 6자유도 손으로는 해내기 어렵거든요.

“저희가 제어하고 있는 ALLEX의 핸드는 액티브(active) DoF가 15 DoF로, 제어 범위와 수행 가능한 동작 범위가 다른 로봇 핸드보다 훨씬 넓어요. 앞서 소개된 데모에서 볼 수 있듯이 이렇게 높은 DoF의 핸드를 안정적으로 제어하고 있다는 점이 의미가 있습니다.”

“한국과 일본은 제조업 기반이 탄탄하고, 숙련공의 노하우가 많이 쌓여 있습니다. 덕분에 질 좋은 실제 데이터에 접근하기 유리해, 이런 점에서 중국이나 미국보다 앞서갈 수 있는 차별점을 가지고 있다고 생각해요.”

또 ‘손’에 집중한 것도 리얼월드만의 강점입니다. 리얼월드는 휴머노이드 전신에 집중하는 빅테크와 달리 ‘손의 섬세한 조작(Dexterity)’에 집중해 전문성을 쌓았고, 이를 계기로 마이크로소프트, AWS 등 글로벌 기업들로부터 협업 제안을 받게 됐다고 설명합니다.

“특정 하드웨어에 맞춰 모델을 개발하면 소프트웨어가 하드웨어에 종속되는 문제가 생기거든요. 리얼월드는 로봇을 지능적으로 움직이게 만드는 핵심 소프트웨어 개발에 집중하고 있고, 이 모델을 다양한 고성능 로봇 하드웨어에 적용할 수 있는 하드웨어 범용(Cross-embodiment) 구조로 만들고 있습니다.”

실제로 테슬라는 옵티머스 3의 손(핸드) 설계 문제로 생산 일정이 지연되고 있습니다. 하드웨어-소프트웨어 통합의 어려움도 과제로 꼽히고 있죠

“다만 섬세한 손조작을 위한 모델을 개발하는 만큼 사용되는 하드웨어의 품질이 중요해요. 이를 위해 한 두세대쯤 뒤에나 나올 수 있을 법한 레퍼런스 로봇인 ALLEX로 연구개발하고 있습니다.”

“가장 어려운 건 결국 ‘예외 상황’이에요. 실험실에서는 물건 위치도 일정하고 환경도 통제되지만, 실제 현장에서는 컵라면이 찌그러져 있기도 하고 조명 조건이 수시로 바뀌죠.”

리얼월드가 산업 현장에서 직접 데이터를 수집하는 이유입니다. 이를 반영해 내년 상반기에는 다양한 작업을 폭넓게 수행하는 제너럴리스트 모델과, 특정 산업 분야에 특화된 스페셜라이즈드 모델 출시를 목표로 하고 있죠.

“모델을 학습하려면 대규모 데이터와 GPU 자원이 필요한데, 이 두 가지 측면에서 SK텔레콤과 협력하고 있어요. SK텔레콤이 제공하는 GPU 클라우드 서비스를 사용할 수 있게 됨으로써, 모델 사전 학습을 안정적으로 진행할 수 있을 것으로 기대하고 있습니다.”

K-AI 얼라이언스를 통해 국내 최고 수준의 통신 인프라와 AI 기술이 결합되는 구조가 만들어지고 있어요. 리얼월드는 이런 기반이 한국이 피지컬 AI 강국으로 성장하는 데 중요한 디딤돌이 될 것으로 보고 있습니다.

“허리를 굽혀 무거운 걸 들거나, 밤새 같은 동작을 반복하는 일처럼 사람에게 부담이 큰 작업은 로봇이 맡고, 사람은 판단이 필요한 업무에 집중하는 형태가 될 거예요.”

지금 한국과 일본의 제조 현장은 심각한 인력난을 겪고 있어요. 특히 반도체나 정밀제조 공정은 자본뿐 아니라 숙련된 손기술을 가진 인력 부족이 고질적인 병목이었죠. 피지컬 AI가 이런 작업을 수행할 수 있게 되면, 우리나라 기업은 인력 제약에서 벗어나 글로벌 경쟁력을 갖출 수 있을 것으로 기대됩니다.

“결국 로봇은 사람을 대체하는 존재가 아니라, 산업 현장을 지속 가능하게 만드는 파트너가 되는 셈입니다.”

“ChatGPT는 세상을 ‘읽고’ 있지만, 아직 세상을 ‘바꾸진’ 못하고 있어요. 진짜 혁신은 AI가 물리적 세계에 직접 개입하기 시작할 때 일어납니다.”

말만 하는 AI에서 실제로 무언가를 만들고, 고치고, 돌보는 AI로 넘어가는 지점이에요. 그 과정에서 핵심은 사람 수준의 손재주, 즉 세계를 직접 다룰 수 있는 능력이에요. 리얼월드는 바로 그 능력을 AI에게 부여하는 일을 하고 있습니다.

“저는 사람이 더 행복해질 수 있다고 생각해요. 힘들거나 단순 반복적인 작업은 지능을 갖춘 휴머노이드 로봇이 맡고, 사람은 더 창의적이고 만족도가 높은 일에 집중하는 거죠. 그게 결국 더 행복한 일하는 방식으로 이어질 거라고 믿습니다.”

“저희의 궁극적인 테스트가 있어요. ‘휴머노이드가 휴머노이드를 조립할 수 있을까?’ 이게 가능해지면 로봇이 스스로 로봇을 만드는 시대가 열립니다.”

5년 후 전 세계 제조 현장에서, 10년 후엔 ‘일하는 AI’의 표준으로. AI가 단순히 대화하는 존재에서 실제 세상을 만지고 바꾸는 존재로 진화하는 지금, 리얼월드가 만들어가는 ‘손재주를 가진 AI’의 미래가 기대됩니다. 사람을 대체하는 것이 아니라 사람과 함께 더 나은 세상을 만들어가는 파트너로서 말이죠.