로봇은 눈앞의 현실을 전부 보지 못한다. 카메라 시야 뒤에 가려진 물체, 조명에 따라 달라지는 표면, 반사광·먼지, 센서가 놓친 깊이 정보 등은 실제 작업 공간 곳곳에 빈틈을 만든다. 사람에게는 익숙한 환경도 로봇에게는 일부만 관측되는 이유다. 이러면 보이는 정보만 믿고 움직이는 로봇이 예측하지 못한 충돌이나 작업 실패를 일으키기 쉽다.
그동안 피지컬 AI(Physical AI) 논의는 현실 데이터를 모으고, 가상 환경에서 학습한 후, 인공지능(AI)의 판단을 로봇 제어와 작업 동작으로 구현하는 과정에 집중됐다. 그러나 이러한 학습·제어에 앞서 해결해야 할 문제가 있다. 센서에 들어온 정보부터 불완전하다면, 로봇은 무엇을 현실로 받아들여야 하는가.
가려진 물체의 전체 형상·표면, 주변 장애물, 다각적인 환경 변화 등을 복원하지 못하면 정교한 학습·제어도 불완전한 현실 위에서 이뤄질 수밖에 없다는 지적이 나온다. 쉽게 말해, 눈이 멀고 왜곡된 상태에서는 아무리 뛰어난 두뇌와 손발을 가졌어도 제대로 된 판단과 동작을 기대하기 힘들다는 의미다.
이 빈틈을 채우는 AI 기반 복원 기술을 묶어 부르면 ‘복원형 AI’다. 이는 저화질 의료 영상에서 신체 내부 구조를 구현하고, 평면 엑스레이와 스마트폰 영상에서 3차원(3D) 형상을 구축하는 기술 접근법으로 주목받는다.
이러한 방법론은 머신비전(Machine Vision)과 로봇 인지로도 확장될 수 있다. 산업 현장에서는 가림·반사·노이즈로 인해 센서가 물체 전체 형상·위치를 온전히 확보하지 못하는 경우가 많다. AI는 누락된 형상과 표면 정보를 보완하고, 이를 물체 집을 위치, 충돌 가능 구간, 이동 경로처럼 로봇이 실제로 활용 가능한 정보로 변환한다.
이후 복원 결과가 디지털 트윈(Digital Twin)의 현재 상태 갱신과 다음 행동 계획까지 이어지면, 의료 영상에서 출발한 기술은 산업용 검사 시스템과 로봇 제어의 기반으로 확장된다.
유원상 동덕여자대학교 데이터사이언스전공 교수의 연구도 불완전한 관측에서 보이지 않는 구조를 복원하는 데 초점을 맞춘다. 이 과정에서 의료 AI, 3D 컴퓨터 비전, 생성형 AI(Generative AI)를 결합하는 방식을 채택했다.
이를 바탕으로 단일 파노라마 엑스레이와 스마트폰 영상에서 구강의 3D 구조를 구축하는 연구를 진행해왔다. 제한된 입력만으로 실제 공간 정보를 재구성하는 것이 핵심이다.
'한 장의 엑스레이' 투과 메커니즘을 이식한 알고리즘
치과에서 활발하게 쓰이는 파노라마 엑스레이는 치아·턱뼈를 한 장에 담지만, 입체 구조를 평면에 투영하기 때문에 깊이 정보가 사라진다. 보다 세밀한 3D 정보를 얻으려면 콘빔 컴퓨터단층촬영(CBCT)이 필요하지만 여러 부담이 생긴다. 비용, 방사선 노출량, 장비 접근성 등 측면이다. 평소 촬영하는 파노라마 엑스레이 한 장에서 구강의 3D 구조를 복원하려는 연구가 등장한 배경이다.
유원상 교수 공동연구팀은 여기에 주목했다. 조선대학교 치과대학과 함께 파노라마 엑스레이에서 3D 구강 구조를 복원하고, 실제 치과 의료진이 평면 영상만으로는 확인하기 어려웠던 입체 정보를 살펴볼 수 있도록 하는 연구다. 그러나 연구팀이 처음 마주한 문제는 알고리즘보다 데이터였다.
유 교수는 당시 확보한 학습 데이터가 충분하지 않았을 뿐만 아니라, 임플란트·크라운 등 보철물이 포함된 사례도 많아 영상 품질이 일정하지 않았다고 설명했다. 깨끗하게 정리된 대규모 데이터셋(Dataset)을 전제로 만들어진 일반적인 딥러닝(Deep Learning) 모델을 그대로 적용하기 어려운 조건이었다.
AI를 만능이라고 생각하기 쉽지만 실제 현장은 그렇지 않습니다.
학습할 보유 데이터가 적고, 그마저도 노이즈가 많은 경우가 많기 때문인데요.
이런 조건에서 성능을 확보하려면 데이터만 바라봐서는 안 됩니다.
연구팀이 선택한 해법은 영상 속 특징만 학습시키는 대신, 엑스레이 장비가 영상을 생성하는 물리적 원리까지 모델에 결합하는 것이었다. 일반 카메라는 물체 표면에서 반사된 빛을 기록하지만, 엑스레이는 물질을 투과하면서 발생하는 감쇠 정보를 담는다. 여러 시점의 일반 사진으로 공간을 구성하는 신경 방사장(Neural Radiance Fields) 계열 방식을 그대로 옮길 수 없던 상황이기 때문이다.
유 교수는 “엑스레이는 일반 카메라와 달리 물체를 투과하기 때문에 촬영 방식 자체가 다르다”며 “3D 비전 기술에 엑스레이 스캐닝의 물리학적 원리를 결합해, 적은 데이터에서도 성능을 확보하는 방향으로 모델을 설계했다”고 기술 방식에 대한 이해를 도왔다. 단순히 정답 영상을 외우도록 하는 대신, 엑스레이가 인체를 통과하고 영상으로 기록되는 과정까지 AI의 계산 안에 넣었다는 의미다.
이러한 접근을 구체화한 모델이 ‘Vision-Transformer Neural Beer-Lambert(ViT-NeBLa)’다. 비전 트랜스포머(ViT)의 영상 특징 추출 능력과 엑스레이 감쇠 원리를 반영한 뉴럴 비어-람베르트(NeBLa)를 융합한 방법론이다.
여기서 비전 트랜스포머는 파노라마 엑스레이 전체를 여러 영역으로 나눠 치아·턱뼈 사이의 위치 관계를 읽는다. 이에 더해 국소 영상 특징을 포착하는 합성곱신경망(CNN)은 치아 경계 등 세부 특징을 보완한다.
여기에 뉴럴 비어-람베르트는 엑스레이가 인체를 통과할 때 조직의 특성에 따라 투과량이 달라지는 물리 원리를 반영한다. 단순히 평면 영상에 나타난 명암만으로 입체 형태를 추정하는 데 그치지 않고, 엑스레이가 지나간 경로와 조직별 감쇠 정도를 함께 고려하는 방식이다. 이를 통해 2차원(2D) 영상에서는 직접 확인하기 어려운 깊이 정보와 내부 구조까지 3D로 재구성한다.
이는 단일 파노라마 엑스레이에서 구강 해부 구조를 3D로 재구성한다. 기존 방식에서 요구되던 치열궁 형태 등의 사전 정보 의존도를 낮추고, 턱의 말발굽 모양에 맞춰 계산 지점을 배치해 불필요한 연산도 줄였다.
이때 핵심은 AI의 규모보다 현실에 대한 제약 조건이다. 데이터가 부족할수록 더 큰 모델을 투입하는 기존 공식에서 벗어나, 해당 장비가 어떻게 작동하고 결과를 만들어내는지 모델에 알려주는 편이 효과적일 수 있다는 관점이다.
의료 영상의 취득 원리를 학습 과정에 반영한 이 방식은 모델 설계 단계에서 다뤄야 할 현실의 일부로 받아들인다는 게 유 교수의 시각이다.
이와 유사한 복원 접근은 이미 로봇·공간 인지 분야에서도 등장하고 있다. 울산과학기술원(UNIST) 백승렬 교수팀이 개발한 3D 시각화 AI 모델 ‘BIGS(Bimanual Interaction 3D Gaussian Splatting)’다. 이 기술은 깊이 센서나 다중 카메라 없이, 단일 적·녹·청(RGB) 영상만으로 양손과 처음 보는 물체의 3D 상호작용을 복원한다.
백승렬 교수는 “손이나 물체 일부가 시야에서 가려져도 전체 형상을 추정하고, 영상에 직접 나타나지 않은 물체의 뒷면까지 보완하는 것이 특징”이고 소개했다. 제한된 관측값에서 보이지 않는 구조를 채운다는 점에서 의료 영상의 복원 논리가 로봇이 다루는 물리 공간으로 이어지는 사례다.
각도·조명 불규칙 극복? 상용 정밀도 완성하는 묘수
한 장의 엑스레이로 3D 구조를 되살렸다면, 다음 과제는 뭘까요?
복원 기술을 병원 밖으로 꺼내 누구나 가진 스마트폰 안에 옮기는 겁니다.
엑스레이 한 장에 사라진 깊이를 되돌리는 데 성공했다면, 다음 단계는 촬영 장소를 병원 밖으로 넓히는 과정이다. 별도의 구강 스캐너 대신 누구나 가지고 있는 스마트폰을 활용해 치아·구강 구조를 3D로 복원하는 방식이다.
유원상 교수 연구팀은 현재 수면 관련 구강장치 업체와 산·학 협력을 맺고 관련 프로젝트를 진행하고 있다. 적용 대상은 개인의 치열에 맞춰 제작하는 코골이·수면무호흡용 하악전진장치(Mandibular Advancement Device)다.
이에 대해 유 교수는 “개인이 집에서 구강 사진 몇 장을 촬영해 업체로 보내면, 이를 바탕으로 3D 구강 구조를 복원하고 맞춤형 장치를 제작하는 방식이다. 고가의 장비가 있는 장소를 직접 찾아가지 않아도 되는 환경을 만드는 것”이라고 언급했다.
이 방법을 활용하면 스마트폰으로 촬영 문턱이 낮아지지만, 대신 AI가 감당해야 할 변수가 늘어난다. 사용자마다 촬영 각도·거리가 달라지고, 주변 조명도 일정하지 않기 때문인데. 입안 타액으로 젖은 치아 표면에서는 빛이 반사되고, 렌즈 왜곡과 손떨림, 환자 움직임 등도 확실한 복원 결과 도출을 방해한다.
유 교수는 이 지점에서 ‘보이는 결과’와 ‘사용할 수 있는 결과’를 구분했다. 그는 “단순히 3D처럼 보이는 결과를 만드는 것과 실제 치과적으로 활용할 수 있는 구조를 복원하는 것은 전혀 다른 문제”라면서 치아의 경계·교합에 필요한 구조가 정확하게 살아 있어야 한다는 의견을 명확히 전달했다. 그럴듯한 3D 모델만으로는 맞춤형 의료장치를 설계할 수 없다는 의미다.
같은 사용자가 여러 차례 촬영했을 때 유사한 형상이 나와야 하고, 치아 경계와 교합 관련 구조는 임상·기공 과정에 활용할 수 있을 만큼 정밀해야 한다. 비전문가가 안내에 따라 촬영할 수 있는 사용성도 갖춰야 한다.
유원상 교수는 이 기술의 상용화에 있어 마지막 관문은 데이터와 검증 체계라고 말했다. 구강 영상은 개인의 의료 정보에 해당하는 만큼 촬영 이후 전송·저장·처리 과정의 보안이 요구된다는 의견이다. AI가 생성한 3D 구조를 실제 장치 설계에 투입하려면, 의료기기 소프트웨어로서 정확도·안전성을 확인하는 절차도 뒤따라야 한다는 점도 허들이다.
그는 상용화 가능성을 ▲반복 촬영 일관성 ▲치아 경계·교합 구조 정밀도 ▲비전문가 촬영 시 편의성 ▲데이터 보안 및 의료기기 검증 체계 확립 등 네 가지 기준으로 나눴다. 논문에서 높은 복원 성능을 기록하는 것과 일반 사용자가 집에서 안정적으로 활용하는 시스템을 만드는 일 사이에 별도의 개발 단계가 놓여 있다는 진단이다.
이 문턱을 넘으면 적용 범위는 맞춤형 수면 구강장치를 넘어 확장될 전망이다. 사용자가 정기적으로 촬영한 구강 형상을 의료진이 원격으로 확인하거나, 치아교정 과정의 변화를 추적하는 보조 수단으로 이어질 수 있다는 기대다. 전문 장비를 갖추기 어려운 1차 의료기관과 의료 접근성이 낮은 지역에서도 제한된 영상으로 구강 상태를 구조화할 가능성이 생긴다.
치아 표면의 반사와 촬영 흔들림 속에서도 구조를 되살렸습니다.
그렇다면 공장 카메라가 놓친 부품 형상과 로봇이 보지 못한 물체는 어떨까요.
다음 무대는 생산 라인과 로봇의 시야입니다.
다음 경로를 그려내는 ‘현장의 눈’, 능동적 조력자로의 진화 예고하는 로봇
생산 라인의 카메라도 현실을 온전히 담지는 못한다. 조명 위치가 바뀌거나 금속 표면에서 빛이 반사되면 부품의 경계가 흐려진다. 먼지가 렌즈를 가리고, 검사 대상이 겹치거나 회전하면 결함 부위가 시야에서 사라지기도 한다. 불량 자체가 드물어 학습에 필요한 사례를 충분히 모으기 어렵다는 문제도 뒤따른다.
의료 영상에 적용된 초해상도, 노이즈 제거, 결손 영역 복원, 이상 탐지, 조명 보정 등의 방법론이 제조 머신비전으로 이어질 수 있는 이유다. 일부 단면 영상에서 부품 내부 결함의 위치와 깊이를 추정하거나, 카메라에 온전히 잡히지 않은 표면 형상을 보완하면 검사 시스템이 활용할 수 있는 정보가 늘어난다.
이러한 공간 정보의 보완은 이미 제조 현장에서 로봇 작업으로 연결되고 있다. 3D 로봇 비전 기술 업체 픽잇코리아는 로봇이 작업 공간과 대상물의 위치·형상을 파악하는 데 자사 3D 비전 기법을 활용한다. 비정형 부품과 복잡한 환경에서도 작업 지점을 찾아내는 공간 지능을 구현하는 기술이다.
실제 LG전자의 가전 생산기지 창원 스마트파크에서는 1mm 미만의 공차가 요구되는 냉장고 본체·문 조립 공정에 3D 비전 가이드가 투입됐다. 정해진 좌표만 반복하는 대신, 매 순간 확보한 공간 정보를 로봇의 작업 위치로 바꾸는 방식이다.
▲ LG전자 창원 스마트파크 내 냉장고 조립 공정에 픽잇 3D 비전 시스템이 적용됐다. 카메라로 작업 대상물의 위치·형상을 파악해 로봇의 조립 위치를 안내한다. (출처 : LG전자·픽잇코리아 / 편집 : 헬로티 최재규 기자)
이 흐름에 대해 유원상 교수는 산업 현장의 모든 관측 문제를 고가 센서의 추가 설치로 해결하기는 어렵다고 짚었다. “모든 산업 현장에 고가의 3D 센서를 설치할 수는 없다. 제한된 2D 영상이나 일부 엑스레이, 카메라 몇 대의 관측값으로 필요한 3D 구조를 추정하는 기술이 필요한 것”이라는 교수의 언급이다.
복원된 구조는 비파괴 검사(Non-Destructive Testing, NDT)부터 디지털 트윈의 현재 상태를 갱신하는 데이터로도 활용될 수 있다는 게 그가 덧붙인 이점이다. 현실 설비에서 센서가 놓친 부분을 보완해 가상 공간에 이를 반영하면 기존 문제를 해결할 수 있다는 얘기다. 설비 변형, 부품 마모, 결함 진행 상태 등을 보다 입체적으로 살펴볼 수 있기 때문이다. 여기에 문화재 복원, 건설·토목 구조물 진단 등 직접 분해하거나 내부를 확인하기 어려운 분야도 적용 후보로 꼽힌다.
그렇지만 의료 영상에서 성능을 냈던 모델을 생산 라인에 그대로 옮겨놓는다고 산업용 시스템이 완성된다고 보기 어렵다. 의료 전용 AI는 환자 안전, 규제, 설명 가능성, 임상 책임을 중심으로 검증된다. 반대로 제조 AI는 실시간 처리 속도, 기존 생산 라인 연동, 유지보수성, 수율 개선 효과 등을 입증해야 한다.
▲ 로봇과 비전 시스템이 서버 내부 부품을 검사하는 모습. 제조 AI는 인식 정확도도 중요하지만, 실제 설비와의 연동과 반복 운용 성능까지 요구된다. (촬영·편집 : 헬로티 최재규 기자)
유 교수는 산업 적용에서 별도의 설계가 필요하다고 제언했다. 알고리즘의 핵심 논리를 공유할 수는 있지만 데이터 취득 방식, 후처리, 운영 기준은 각 산업에 맞춰 다시 설계해야 한다고 본 것. 연구실에서 한 차례 높은 정확도를 기록하는 것보다, 현장 환경이 달라져도 성능을 반복하는 일이 실제 적용을 가른다는 진단이다.
복원 기술이 로봇으로 넘어가면 요구되는 정보는 한층 구체적으로 바뀐다. 로봇에게 대상물을 확실히 알려주는 것만으로는 작업을 완벽하게 수행하기 어렵다. 깊이, 자세, 표면 형태, 무게 중심, 주변 장애물 등 변수는 물론 실제로 로봇 팔(Robot Arm)을 뻗어 잡을 수 있는 위치까지 파악해야 한다.
로봇은 물체 종류보다 주변 환경을 이해해야 합니다.
가려진 물체라면 보이지 않는 부분의 형태도 어느 정도 예측할 수 있어야 하기 때문이죠.
예컨대 대상물 일부가 다른 물체에 가려졌다면 로봇은 현재 보이는 모서리·표면 등 정보를 바탕으로 전체 크기와 놓인 방향을 추정해야 한다. 이후 충돌 없이 접근할 경로를 계산하고, 물체가 미끄러지거나 기울어지지 않을 파지점을 선택한다. 눈에 들어온 픽셀(Pixel)을 분류하는 기존 인식 기술에서, 실제 동작에 필요한 공간 구조를 만드는 단계로 넘어가는 셈이다.
이렇게 카메라 정보만으로 부족한 상황에서는 촉각·힘·소리·언어 등을 함께 해석하는 멀티모달 AI(Multimodal AI)가 필요하다는 게 교수의 관점이다. 물체가 예상보다 무겁거나 로봇 핸드(Robot Hand)에 전달되는 힘이 달라지면 파지 자세를 조정하는 것. 그리고 판단의 확신이 낮을 때는 작업을 멈추거나 사람에게 확인해야 한다. 틀린 복원 결과를 사실로 믿고 그대로 움직이는 로봇보다, 자신이 모르는 부분을 감지하는 로봇이 안전하다는 의미다.
로봇이 가려진 공간까지 읽어냈다면,
다음 단계는 복원된 현재에서 미래 행동으로 넘어가는 순간입니다.
교수는 현재 상태를 복원한 AI는 다음에 일어날 변화도 추정할 수 있다고 강조했다. 이동 중인 작업자·동선이나 쌓인 부품의 붕괴 가능성, 로봇이 물체를 들어 올렸을 때 주변 환경이 어떻게 달라질지를 예상하면 충돌을 피하거나 작업 순서를 미리 조정할 수 있다는 말이다. 복원된 공간이 예측의 출발점이 되고, 예측 결과가 행동 계획으로 이어지는 구조다.
유 교수는 이러한 변화가 에이전틱 AI(Agentic AI)의 진화와도 맞닿아 있다고 시각을 달리했다. 기존 AI가 사람이 지시한 과업을 수행하는 데 머물렀다면, 에이전틱 AI는 현재 맥락과 미래 가능성을 분석해 다음 행동을 먼저 제안한다는 것이다.
이러한 접근에 대해 그는 “지금까지의 AI가 직업자 지시만 이행했다면 앞으로는 다음 행동을 적극적으로 제안하게 된다”며 “미래에 어떤 일이 발생할 가능성이 높은지 예측하고, 그에 맞춰 무엇을 해야 하는지 알려주는 일종의 비서인 셈”이라고 역설했다.
이 흐름을 로봇에 적용하면 AI가 이동 경로와 작업 순서를 제안하고, 상황에 따라 파지 방식과 속도를 바꾸는 단계로 발전할 것으로 보인다. 사용자가 반복 행동을 보여주고 언어로 작업 방식을 설명하면, 각 가정의 구조와 생활 습관에 맞춰 개인이 직접 로봇을 훈련하는 모습도 상상할 수 있다. 같은 정리 작업이라도 어느 물건을 어디에 두는지, 사람마다 무엇을 위험하거나 불편하게 느끼는지를 학습하는 ‘나만의 가사 로봇’이 탄생하는 것이다.
그러나 이처럼 사람·공간을 공유하는 로봇에게 물체 형상과 이동 경로만 복원하는 것으로는 충분치 않을 것이다. 작업자가 지금 피곤한지, 불안한지, 로봇의 접근을 부담스러워하는지까지 읽어야 하기 때문이다.
이제 물리 세계의 빈틈을 채운 AI 앞에는 사람의 몸·감정·의도에 숨은 정보를 복원하는 더 어려운 과제가 남아 있다.
헬로티 최재규 기자 |
