흔히 로봇 팔(Robot Arm)로 인식되는 산업용 로봇은 오랫동안 정해진 공간 안에서 정해진 동작을 반복하는 장비로 이해됐다. 산업·공장 자동화(FA)의 핵심 지표도 속도, 반복 정밀도, 가동률을 기준으로 삼았다. 이 같은 로봇은 빠르고 정확했지만, 대부분 사전에 정의된 조건 안에서 움직인다는 점이 한계로 지적돼 왔다.

 

현시점 로보틱스는 변화하는 환경을 해석하고, 작업 의도를 이해하면서도, 그 판단을 실제 행동으로 바꾸는 영역으로 진화하고 있다. 인공지능(AI)이 모니터 화면에서 벗어나, 실제 하드웨어를 구동하는 방법론인 '피지컬 AI(Physical AI)'가 등장한 배경이다.

 

이 경계를 흔드는 피지컬 AI는 AI가 물리적 환경을 직접 학습·적응해, 로봇·설비가 실제 공간에서 자율적으로 문제를 해결하고 인간과 협력하도록 구현하는 접근법이다. 이를 적용한 로봇은 물체를 단순 감지하거나 경로를 계산하는 기존의 수동적인 기계에 머물지 않는다. AI의 출력도 텍스트·이미지보다는 이동·집기·정렬·분류·회피·복구 등 행동으로 바뀐다.

 

이 가운데 글로벌 컴퓨팅 기술 업체 엔비디아(NVIDIA)의 수장 젠슨 황(Jensen Huang) 최고경영책임자(CEO)는 지난 1일 열린 자사 AI·GPU 분야 개발자 콘퍼런스 ‘엔비디아 GTC 타이베이 2026(NVIDIA GTC Taipei 2026)’에 나섰다.

 

그는 이 무대에서 물리 환경의 무한함과 예측 불가능성을 극복하기 위한 피지컬 AI 모델의 핵심 방법론을 제시했다. 특히 피지컬 AI의 고도화를 위해서는 방대한 데이터가 필수적이지만, 실제 세계의 가용 데이터는 확장하기 어렵다는 한계를 짚었다.

 

 

이에 대한 해법으로 물리 세계를 이해하고 추론·생성하는 가상 환경 순환 체계 안에서, 로봇의 행동 정책(Policy) 자체를 학습시키는 AI 기반 모델의 필연성을 강조했다. 로봇 개발의 기준이 개별 하드웨어 제어에서 물리 법칙을 통찰하는 범용 지능 모델로 이동하고 있다는 설명이다.

 

황 CEO는 “실제 세계는 무한하고 예측 불가능하다. 피지컬 AI에는 데이터가 필수적이지만, 실제 세계 데이터는 확장하기 어렵다”고 짚었다. 이어 “로봇이든 FA 장비든 물리 세계와 맞물린 시스템을 구축하려면, 이제는 물리 환경을 이해·추론·생성하고 시뮬레이션 순환 구조 안에서 정책 자체로 작동할 수 있는 기반 모델이 필요하다”고 덧붙여 강조했다. 로봇을 움직이는 핵심이 물리 환경 학습 데이터와 행동 정책으로 바꾸는 'AI 기술 체계(Stack)'으로 전환되고 있다는 인사이트다.

 

디푸 탈라(Deepu Talla) 엔비디아 로보틱스·엣지 AI 부문 부사장도 궤를 같이했다. 그는 “지난 50년 동안 공장 자동화는 끊임없이 고도화됐지만, 우리가 목격한 대부분은 규칙 기반으로 고정된 프로그래밍 자동화였다”고 지적했다. 딥러닝(Deep-learning) 도입 이후 제조 현장에 AI를 적용하려는 시도가 이어졌으나, 특정 사용 사례에만 머물러 대규모 확장에 필요한 일반화 능력을 확보하지 못했다는 분석이다.

 

이어 탈라 부사장은 “결국 다양한 난제를 높은 정확도로 풀어낼 수 있는 범용 지능이 필요하며, 이제 그 기술적 임계점에 매우 가까이 와 있다”고 내다봤다.

 

그에 따르면, 이 변화는 휴머노이드 로봇(Humanoid Robot)만의 전유물이 아니다. 휴머노이드는 피지컬 AI의 가장 큰 상징 중 하나일 뿐 협동 로봇(코봇), 자율주행로봇(AMR), 정밀 제조 장비, 스마트 팩토리(Smart Factory) 운영 시스템 전반으로 확장될 것이라는 예측이다.

 

이처럼 형태가 달라도 로봇이 마주한 과제는 같다. 세상 전체를 읽는 지능 즉, '월드 모델(World Model)'이 실제 작업 단위(Cell)에 적용되고, 그 행동이 현장에서 반복 가능한 성과로 이어질 수 있느냐가 관건이다.

 

 

이에 대해 스펜서 황(Spencer Huang) 엔비디아 로보틱스 제품 디렉터는 범용 휴머노이드를 “낯선 환경과 새로운 물체 속으로 들어가 인간과 같은 방식으로 세계와 상호작용하는 로봇”으로 정의했다. 이를 위해 메모리(Memory)·인지(Cognition)·지각(Perception)·손재주(Dexterity)·조작(Manipulation)·안전(Safety) 등을 모두 풀어야 할 숙제로 꼽았다. 인간의 생활·작업 환경 안에서 의미 있는 행동을 지속 수행하는 시스템 구축이 본질이라는 뜻이다.

 

탈라 부사장은 여전히 남은 기술적 병목도 분명히 짚었다. 그는 “휴머노이드 로봇에 필요한 범용 브레인 문제를 아직 근본적으로 풀지 못했고, 인간 손의 정교한 조작을 구현할 메카트로닉스(Mechatronics) 문제도 해결해야 한다”고 설명했다. 쉽게 말해, 로봇의 두뇌 구실을 하는 AI 알고리즘뿐만 아니라, 손가락 마디마디를 섬세하게 움직이게 만드는 정밀 기계 제어 기술이 동시에 맞물려야 한다는 뜻이다.

 

그는 이어 “인간을 특별하게 만드는 것은 뇌와 엄지손가락”이라며, 로봇의 다음 과제가 지능과 손 조작이라는 두 영역에 걸려 있음을 강조했다.

 

첫 관문은 결국 '행동(Action)'이다. 로봇 지능이 작업 동작을 만들고, 손 조작이 병목으로 떠오르며, 변화하는 환경 속에서 행동을 다시 고르는 과정이 피지컬 AI 로보틱스의 출발점이다. 그다음은 이 행동을 데이터, 시뮬레이션, 에지 컴퓨팅(Edge Computing), 현장 통합 구조를 통해 어떻게 실제 산업 현장에 적용하느냐다.

 

관문 ① < 판단 > 미시적 디테일이 로봇을 살린다

 

이 변화는 물류센터의 작은 셀에서부터 확인된다. 화물이 포장된 상태로 들어오면 작업자는 바코드가 보이도록 위치를 맞추고, 비닐 포장재를 편다. 이후 분류 장치가 인식할 수 있는 형태로 물건을 투입한다. 이는 단순 반복처럼 보이지만, 실제로는 물체 상태를 보고 다음 행동을 고르는 판단 작업이다.

 

명창국 LG CNS 상무는 이 장면을 휴머노이드 로봇의 산업 적용 가능성을 설명하는 사례로 제시했다. 명 상무는 “인덕팅(Inducting)은 화물이 포장돼 왔을 때 바코드를 읽히는 분류 장치에 투입해주는 프로세스”라며 “바코드가 안 보이는 상태로 온 상자는 휴머노이드가 판단해서 바코드가 보이도록 뒤집고, 폴리백·비닐백 등으로 온 화물은 평평하게 펴서 분류기에 잘 들어가도록 하는 동작을 배워 실제 동작을 실현하게 된다”고 설명했다.

 

이 장면의 핵심은 로봇이 물체 상태 인식, 작업 목적 이해, 분류 시스템 요구 기반 물체 전환 등을 구현했다는 데 있다. 기존 산업용 로봇과는 다른 작업 방향성이다. 이 같은 물류 인덕팅은 같은 박스라도 매번 놓인 방향과 포장 상태가 달라진다. 이때 필요한 것은 좌표값만이 아니라, 작업 맥락을 읽고 행동을 선택하는 로봇 지능이다.

 

 

명창국 상무는 이 차이를 로봇 브레인 구조로 설명했다. 휴머노이드를 움직이는 핵심 요소를 외형·구동부(Actuator)·배터리·센서·지능으로 나누면서도, 실제 산업 적용의 성패는 결국 마지막 요소에서 갈린다고 봤다.

 

그는 “로보틱스 파운데이션 모델(RFM) 기반으로 만드는 시각·언어·행동(VLA) 모델이 필요하다”고 짚었다. 비전이 물체를 보고, 언어가 작업 지시를 해석하는 데 그치지 않고, 행동이 실제 동작으로 즉각 이어져야 한다는 뜻이다.

 

최종현 서울대학교 교수도 VLA 모델을 유사한 시각에서 설명했다. 그에 따르면, 비전이나 언어 출력이 아니라 주변 환경을 인지(Perception)하고 작업 지시를 입력받아, 로봇이 실행할 연속적인 행동 계획(Action Sequence)을 통째로 출력하는 모델이다. 로봇 에이전트가 주어진 작업을 수행하려면 환경을 탐색하고, 그 과정에서 필요한 행동 순서를 만들어내야 한다는 설명이다.

 

로봇이 “상자를 분류기에 넣어라”는 지시를 이해하는 것과, 바코드가 보이도록 상자를 뒤집고 구겨진 비닐 포장을 펴서 투입하는 것은 다른 문제다. 전자는 인식·명령 해석에 가깝지만, 후자는 작업 목적에 맞춰 물체 상태를 직접 바꾸는 실전 행동이다. 피지컬 AI가 로보틱스에서 의미를 갖는 지점도 여기다. AI가 판단을 내리는 것만으로는 부족하고, 그 판단이 물리적인 작업 순서로 변환돼야 한다.

 

범용 모델과 현장 작업 사이의 간극도 이 대목에서 드러난다. 사전 학습된 로봇 지능이 있다고 해서 곧바로 물류센터 실전을 소화할 수 있는 것은 아니다. 인덕팅을 잘하는 휴머노이드가 되려면 해당 작업에 특화된 데이터가 다시 주입돼야 한다.

 

 

“RFM이 있어야 한다는 점이 중요하지만, 인덕팅을 잘하려면 작업 특화 프로세스의 데이터가 로봇에 주입돼 학습돼야 한다”는 게 명 상무의 설명이다. 범용 브레인을 현장 작업자로 바꾸는 과정, 즉 포스트트레이닝(Post-training)이 필요한 이유다.

 

스펜서 황 디렉터의 앞선 시각은 이 간극을 개발 공정의 문제로 확장한다. 범용 로봇 모델이 현장 작업자로 기능하려면 데이터를 모으고, 쓸 수 있는 장면을 선별해야 한다는 것과, 특정 환경에서 가치 있는 행동으로 좁혀가는 과정이 필요하다는 것이 한데 융합된 관점이다.

 

명 상무 역시 데이터 확보를 별도 과제로 꼽았다. 그는 “휴머노이드 학습에는 많은 비용이 들어가는 '데이터 수집 과정'이 필요하다”며 “양질의 데이터를 경쟁력 있게 확보할 수 있는 방안이 중요하다”고 뒷받침했다. 그러면서 명 상무는 “예전에는 엔터테인먼트 목적의 휴머노이드 프로모션이 많았다면, 지금은 실제 물류 현장에 적용되는 휴머노이드들이 나타나기 시작했다”고 평가했다.

 

관문 ② < 조작 > 눈을 가리는 순간 시작되는 ‘감각’

 

로봇 손 조작은 피지컬 AI가 실제 물체와 만나는 첫 번째 지점이다. 이때 물체를 집는 순간 손이 시각 센서를 가리고, 접촉면의 압력·힘이 실시간으로 바뀐다. 같은 물체라도 놓인 위치와 재질에 따라 완전히 다른 미세 조작을 요구하기 때문이다.

 

대규모 로봇 동작 학습 플랫폼 국내 업체 리얼월드는 이 영역을 손재주, 다시 말해 덱스터리티(Dexterity)의 문제로 정의했다. 회사 측은 자신을 ‘로봇 손 조작에 특화한 RFM 업체’로 소개했다.

 

이들이 이달 10일 론칭한 RFM 플랫폼 '알엘디엑스-1(RLDX-1)' 역시 특정 로봇 기체에만 적용 가능한 모델이 아니라, 로봇 핸드(Robot Hand)가 달린 양팔 매니퓰레이터(Manipulator) 전반에 적용 가능한 범용 행동 모델이라는 입장이다.

 

GTC 타이베이 현장에서 서로 다른 형태(Form-factor)의 로봇을 동시에 내세운 이유다. 현장에서 만난 주세준 리얼월드 선임연구원은 “특정 하드웨어에 국한되는 것이 아니라, 다양한 기체를 RLDX-1이라는 단일 모델로 제어할 수 있다는 점을 증명하려 했다”고 밝혔다.

 

 

실제로 동일한 지능 모델이 구조가 완전히 다른 로봇 몸체 위에서 구동됐다. 로봇 하드웨어 형태는 달라도, 손 조작을 제어하는 핵심 원리는 공유될 수 있다는 방향성이다.

 

손 조작이 이토록 까다로운 이유는 카메라가 모든 물리적 변화를 포착할 수 없어서다. 주 선임연구원은 “작업자도 물체에 가까이 접근하면 손이 시야를 완전히 가린다”며 “그 시점부터는 눈이 아니라 손끝에 남은 감각에 의존해 조작을 이어가야 한다”고 짚었다. 현재 대부분의 로봇은 머리·몸체에 장착된 비전 카메라에 전적으로 의존하지만, 손이 목표물을 가리는 순간 시각 정보는 무용지물이 된다는 뜻이다.

 

그는 이 한계를 극복하기 위해 “손바닥 카메라, 촉각(Tactile), 토크(Torque) 등 추가 모달리티(Modality)를 정밀하게 병합해야 한다”고 원리를 설명했다. 목표는 미묘한 손재주의 개선이다. 미세한 힘 차이, 접촉면 변화, 손가락 위치, 물체 미끄러짐 등 변수를 실시간 감지하지 못하면, 로봇은 물체를 잡는 데 성공하더라도 들어 올리는 순간 실패하게 된다는 관점에서 시작된 전략이다.

 

로봇 촉각 센서 기술 업체 파시니(PaXini)도 같은 기술적 병목을 촉각 데이터 관점에서 풀어냈다. 이들은 데이터 글러브(Data Glove), 촉각 센서, 인코더, 다중 카메라를 활용해 사람의 손동작과 물리적 접촉 정보를 동시에 수집하는 구조를 취한다.

 

제러미 리(Jeremy Lee) 파시니 최고사업책임자(CCO)는 “하드웨어, 데이터셋(Dataset), AI 모델을 수직 통합하는 것에 집중하고 있다”며 “VLA 모델에 촉각 데이터를 더하면 휴머노이드뿐 아니라, 코봇까지 한층 더 자율적이고 적응력 높은 시스템으로 진화시킬 수 있다”고 강조했다.

 

▲ 리 CCO(좌)와 파시니 촉각 적응형 덱스터러스 핸드 ‘GMH19’ 시각 자료(우). GMH19는 손가락·손끝·손바닥 전면 촉각 감지, 적응형 그립, 고하중 파지 성능 등을 앞세워 피지컬 AI의 덱스터리티 정밀도를 높이는 하드웨어로 주목받고 있다. (촬영 : 헬로티 최재규 기자)

 

이 같은 접근은 연구개발(R&D)·실증(Pilot) 성능과 실제 현장 구현 사이의 간극을 드러낸다. 사측은 공장 내부 테스트에서 성공률을 확보했더라도, 실제 양산 라인으로 이동하는 순간 조명 변화나 미세한 진동 같은 변수 때문에 성공률이 급격히 흔들린다고 지적했다. 덧붙여 리 CCO는 “환경이 조금만 바껴도 추가 데이터 수집이 필수다. 실환경의 촉각 데이터를 통해 실험실, 시뮬레이션, 실전 투입 사이의 간극을 끊임없이 메워야 한다”고 덧붙여 말했다.

 

휴머노이드 플랫폼 기술 업체 유니트리로보틱스(이하 유니트리)도 휴머노이드가 산업 현장으로 확산되기 위한 필수 조건으로 로봇 손을 지목했다. 헨리 장(Henry Zhang) 유니트리 아시아·태평양(APAC) 비즈니스 디렉터는 “자율주행이 도로라는 2차원(2D) 평면 구조를 이해하는 작업이라면, 휴머노이드는 계단, 복잡한 기물, 공간 배치를 포함한 3차원(3D) 물리 세계와 상호작용해야 한다”고 앞선 시각에 대한 배경을 설명했다.

 

이어 “로봇의 보행 몸체 메커니즘은 이미 성숙했지만, 실제 산업 애플리케이션에 배치되려면 로봇 손이 사람 손처럼 유연하고 정밀하게 움직여야 한다”고 부연했다.

 

관문 ③ < 적응 > 고정된 동작보다 불확실성 감지하는 경량 지능으로

 

이처럼 로봇이 필요에 따른 행동을 출력하더라도, 그 동작이 끝까지 유효하다는 보장은 없다. 대상물과 그 상태는 비정형적으로 바뀌고, 작업자는 작업 경로 안으로 예고 없이 진입한다는 점이 그 배경이다. 처음 계획한 고정한 동작을 지속하는 과거 방식으로는 실제 현장의 동적 변화를 따라잡기 어려운 것이 현실이다.

 

최종현 교수는 이 문제를 연속적인 행동 계획, 즉 '액션 롤아웃(Action Rollout)'의 시간차로 설명했다. 로봇이 일정 구간의 행동을 한 번에 계산해 뽑아냈더라도, 그 행동을 수행하는 동안 주변 환경이 바뀌면 처음의 계획은 곧장 무용지물이 된다는 분석이다.

 

최 교수는 이에 대해 구체화했다. “예컨대 동작을 처음 구현할 때에는 양동이에 물이 차 있는 환경을 가정했는데, 제어 중간에 물이 없어져 버리는 변수가 생길 수 있다”며 “그때그때 액션을 수정하지 않으면 로봇이 과도하게 잘못된 행동을 그대로 수행하게 된다”고 그가 지적했다.

 

이때 그가 고안한 해법은 현재 수행 중인 행동이 지금 상황에 맞는지 실시간으로 검증하는 방안과 오차가 발생하면 즉각 행동을 수정하는 구조다. 교수에 따르면, 관리 주체는 현재 로봇이 동작을 수행하기에 적합한 상황인지를 여러 차례 확인한 다음, 행동을 보정(Revision)할지 결정하는 시스템을 구축해야 한다고 제언했다.

 

실제로 최종현 교수팀이 이러한 메커니즘을 개발했다. 거대한 범용 모델이 모든 순간을 처음부터 다시 연산하는 대신, 현재 액션의 적합성만을 빠르게 감시하는 경량화 모델을 붙여 지연(Latency)을 줄이는 접근법이다.

 

 

불확실성이 큰 상황에서는 행동을 잠시 멈추거나 환경을 탐색해야 한다는 시각도 더해졌다. 그는 “현재 수행하는 액션의 불확실성이 높다면 차라리 수행을 일시 중단하고 다른 액션을 로봇이 다시 고르게 하는 방식이 실제 현장 성공률을 높이는 것을 확인했다”고 설득력을 높였다. 그러면서 로봇이 자신 없는 상황을 스스로 감지하고 제동을 거는 능력 역시 피지컬 AI 지능의 핵심이라는 것이 그의 핵심 메시지다.

 

중국 소재 휴머노이드 스타트업 갤봇(Galbot)이 제시한 방향성도 크게 다르지 않다. 아오이 후카와(Aoi Fukawa) 갤봇 부사장은 로봇이 동적 환경을 실시간 인지하고, 밀리초(ms) 단위로 의사결정을 내리며, 전신 계획·제어를 동시 수행하는 자사 기술력을 그 예시로 들었다. 일반 동작 모방에서 머물지 않고, 주변 미세 변화에 맞춰 실시간 대응하는 로봇 제어로 전환해야 한다는 주장에 힘을 실은 모습.

 

후카와 부사장은 실시간 공간 인지 및 자율 주행, 다시 말해 내비게이션(Navigation) 모델을 통해 로봇이 360° 환경을 인지하는 방식을 내세웠다. 갑자기 나타난 물체를 회피하고, 추적하던 대상이 사라졌을 때 스스로 방향을 다시 잡는 실전 사례다. 이 대목에서 피지컬 AI의 과제는 팔·손끝에만 머물지 않는다는 점이 드러난다. 로봇은 물체를 잡는 동시에 몸 균형, 최적 경로, 충돌 가능성, 다음 작업 위치까지 한데 연산해내야 한다.

 

이 같은 전환은 휴머노이드 폼팩터에만 국한되지 않는다. 장기훈 로보티크 디렉터는 코봇이 실제 제조 현장에 녹아들기 위해서는 그리퍼(Gripper), 촉각 센서, 비전 카메라, 워크셀(Workcell) 소프트웨어가 단일 시스템으로 통합돼야 한다고 주장했다. 로봇 팔 단품이 아니라, 현장에서 곧바로 구동 가능한 ‘셀의 통합’이 자동화의 새로운 기준이 됐다는 의미다.

 

고국원 티로보틱스 부사장도 동일한 과제를 소프트웨어 구조 관점에서 풀어냈다. 사용자마다 요구하는 로봇 하드웨어와 모터 규격이 다르다면, 잘 만든 소프트웨어도 특정 기체에 종속될 수밖에 없다는 의견인데.

 

 

고 부사장은 다종·이기종 로봇을 표준 인터페이스로 정규화하고, 하드웨어가 현장에 도착하기 전에도 가상 구동기(Virtual Driver)를 통해 소프트웨어를 선제적으로 개발·검증해야 한다고 제안했다. 이동, 충전, 물체 집기, 에러 복구 등의 기능을 모듈화해 필요할 때마다 조립해 쓰는 방식이다.

 

실제로 정밀 제조 영역에서 이 흐름이 뚜렷하다. 캐나다 소재 로보틱스 기술 업체 메카데믹(Mechademic)은 5마이크론(㎛)의 반복 정밀도와 1㎛ 이하의 고해상도를 앞세워 정밀 정렬이 필수적인 첨단 공정을 공략 중이다. 이러한 로봇 행동의 자율 전환은 휴머노이드 전신 제어뿐만 아니라, 광학 정렬과 미세 조립처럼 극도로 좁고 정밀한 작업 공간에서도 전개되는 양상이다.

 

이렇게 로보틱스 레벨업의 첫 관문은 결국 ‘행동’이다. 산업 현장이라는 극도의 비정형 환경 속에서 현재 행동 계획을 끊임없이 수정하는 과정이다. 그러나 행동을 유연하게 전환할 수 있다는 사실만으로 산업 실전 적용이 완성되지는 않는다. 피지컬 AI의 다음은 이 행동을 어떤 양질의 데이터로 학습시키고, 가상 시뮬레이션 환경에서 검증하면서도, 어느 인프라를 통해 실전 현장으로 배포하느냐가 관건이 될 것으로 보인다.

 

헬로티 최재규 기자 |