닫기

테크노트

배너

혼합 현실(MR)은 복합적인 데이터를 직관적으로 표시한다

URL복사
[무료 웨비나] 설계 산업의 미래 미리보기: AI가 결합된 AutoCAD (4/2)

 

첨단 하드웨어 및 소프트웨어 기술을 기반으로 한 증강현실(AR) 및 가상현실(VR) 시스템은 기존에 페이지나 화면에 표시하는 것과 비교해서 복합적인 디지털 정보를 시각적으로, 청각적으로, 촉각적으로 더 효율적이고 직관적으로 이해할 수 있도록 한다. 

 

갈수록 더 많은 분야에서 개발자들이 AR 애플리케이션으로 사용자의 현실 세상에 가상의 물체를 배치하거나, VR 애플리케이션으로 사용자를 가상의 세상에 배치하고 있다. 이러한 실제-대-가상 연속체 상의 모든 조합을 총칭해서 혼합현실(MR)이라고 한다. 

 

MR은 인간의 고대역폭 감각 신경경로를 활용한다

 

MR 애플리케이션은 인간 감각 체계의 높은 정보 대역폭을 활용해서 엔터테인먼트, 학습, 직무 수행에 있어서 고도로 몰입적인 접근법을 가능하게 한다. 연구 조사에 따르면, 인간의 시각은 550Gbps 이상의 비트 레이트를 달성하고, 청각은 1.4Mbps를 달성한다. 손바닥에는 거의 7만 개의 압력점이 존재하는데, 한 손바닥의 촉각적 응답은 단 21ms의 지연시간으로 비트 레이트로 따졌을 때 190Mbps 이상으로 동작할 수 있다.

 

이러한 신경경로를 활용해서 MR 애플리케이션으로부터의 복합적 정보가 뇌의 인지 기능으로 더 효율적으로 도달하고, 정보가 익숙한 맥락으로 제공됨으로써 사용자가 자신의 환경이나 필요를 더 쉽게 이해하도록 한다. 그럼으로써 AR 교재를 사용하는 학생들은 기존의 학습 교재를 사용하는 학생들에 비해서 더 높은 수준의 읽기 이해 능력을 나타내고 기억이 더 오래 유지되는 것으로 조사됐다. 

 

MR의 몰입적 경험을 가능하게 하는 토대 기술

 

가상의 물체나 주변 환경을 매끄럽게 인식할 수 있도록 하기 위해서 MR 시스템은 다양한 센서들로부터 포착된 데이터 스트림에 대해서 빠른 속도의 프로세싱을 필요로 한다. 다행히 MR 개발자들이 사용할 수 있는 서브시스템 솔루션들이 점점 늘어나고 있다. 

 

이것은 MR 애플리케이션의 토대가 되는 핵심 기술들이 산업 분야로 활발하게 개발되고 있는 기술들과 공통적이기 때문이다. 머신 러닝(ML) 컴퓨터 비전, 로보틱스 포지셔닝 기법, 자동차 첨단 운전자 보조 시스템(ADAS) 같은 것들을 들 수 있다.

 

ML 컴퓨터 비전의 발전과 빠르게 개발되고 있는 ML 모델은 사용자의 실제 세상에서 물체를 감지하고 식별해야 하는 MR의 중요한 요구를 충족한다. 마찬가지로, 사용자 관점에서 물체들의 거리를 정확하게 계산하기 위해서는 카메라, 초음파, 레이저, 라이다, 레이더 같은 거리 측정 기술을 사용한다.

 

이러한 기술들은 ADAS 충돌 감지나 빌딩 자동화에 사용되어 오면서 성능이 꾸준히 개선됐다. 끝으로, 로보틱스와 지도 시스템에 사용되는 SLAM(동시적 위치 인식 및 지도 작성) 같은 기술은 MR 시스템으로 상세한 지도를 생성하고 실제 세상의 물체를 사용자에 대해 정확한 위치, 관점, 방향에다 배치할 수 있도록 한다.

 

이러한 모든 기술이 MR 시스템으로 혁신을 이루도록 하는 토대가 된다. VR 시스템은 사용자를 위해서 가상의 세상을 유지하는 것에 초점이 맞춰져 있기는 하나, 사용자가 가상의 세상에 들어가서 자신의 물리적 환경 안에서 움직일 때 사용자의 신체적 안전을 위해서 지도를 필요로 한다.

 

AR 애플리케이션으로는 MR 시스템이 지도를 사용해서 사용자에게 자연스럽게 보이는 위치, 방향, 상대적 크기로 가상의 물체들을 표시한다. 좀더 진보된 기술은 실제 세상의 물체가 가상의 물체 뒤로 지나갈 때 관찰자 관점에서 가상의 물체가 실제 세상의 물체를 가리도록 하거나 또는 그 반대로 관찰자와 가상의 물체 사이로 실제 세상의 물체가 지나갈 때 실제 세상의 물체가 가상의 물체를 가리도록 하는 것도 가능하다. 

 

각기 다른 MR 클래스와 각기 다른 하드웨어 요구

 

MR 애플리케이션이 동작하기 위해서는 다양한 능력을 필요로 하는데, 이러한 능력은 다양한 센서들과 사용자 하드웨어의 프로세싱 능력에 따라서 제한될 수 있다. 기본적으로 이러한 애플리케이션은 최신 스마트폰과 모바일 디바이스에 사용되는 것과 같은 고해상도 카메라와 라이다 기반 정밀 측정 기능을 사용한다. 

 

실제로 이러한 디바이스들은 유용한 AR 기반 모바일 앱을 제공하기 위해서 꽤 효과적인 것으로 입증되고 있다. 사용자가 모바일 디바이스의 카메라를 빌딩이나 간판에다 갖다 대면 디스플레이 상으로 빌딩의 가상 레이블을 읽을 수 있거나 간판을 번역해주는 앱들을 예로 들 수 있다.

 

컨슈머 VR과 전문적 MR 애플리케이션에 사용되는 헤드 마운트 디스플레이(HMD)를 위해서는 하드웨어 설계 시에 패키징과 성능이 훨씬 더 중요하다. 토대적인 기술은 거의 비슷하나, 컨슈머 VR 엔터테인먼트 헤드셋에서 의료용, 5 MR 헤드셋으로 가면서는 요구되는 프로세싱 성능이 크게 증가한다. 

 

이러한 전문적 시스템으로 하드웨어 설계를 위해서는 하드웨어 디자이너가 특수한 고성능 프로세싱 파이프라인을 사용해야 한다. MR 파이프라인은 개념적으로는 VPU(vision processing unit)와 비슷하나, MR 애플리케이션으로는 필요로 하는 다양한 방식의 센서들로부터 데이터의 양, 속도, 다양성이 훨씬 더 높다는 점에서 VPU 파이프라인과 크게 차이가 난다.

 

예를 들어서 Microsoft는 자사의 HoloLense MR 시스템으로 이와 같은 쓰루풋 문제를 해결하기 위해서 전적으로 이러한 복합적인 프로세싱 워크로드를 처리하도록 설계된 고유의 홀로그래픽 프로세싱 유닛을 사용한다. 

 

MR 수용에 있어서 인간의 한계

 

막대한 성능 요구 외에도, HMD MR 애플리케이션은 좀더 근원적인 과제에 직면하고 있다. 다시 말해서 개발자들이 요구되는 센싱 및 프로세싱 성능을 제공하면서 크기, 무게, 전력(SWaP) 제약을 충족하도록 하드웨어 솔루션을 설계해야 한다는 것이다.

 

실제로 SWaP가 장기적인 MR 도입에 있어서 하드웨어나 소프트웨어 성능보다도 제한적인 요소가 될 지도 모른다. 사람의 해부학적 구조는 무거운 HMD를 장시간 착용하는 것이 적합하지 않기 때문이다. 항공 인적 요인과 좀더 최근에는 MR HMD 시스템을 연구하는 연구자들은 HMD 무게와 균형 문제로 인한 사용자 피로도(4)와 머리와 목의 근골격계로 스트레스 증가를 조사했다. 

 

근골격계와 관련한 한계와 더불어, 사람의 시각적 특성 때문에 일부 사용자들은 HMD로 3차원 이미지를 볼 때 경험되는 수렴-조절 불일치로 인해로 HMD 기반 MR 애플리케이션을 사용해서 일하는 것이 어려울 수 있다.

 

우리의 눈은 실제 세상의 물체로 수렴하고 그런 다음 각기 눈의 렌즈가 조절을 해서 사물을 선명하게 볼 수 있다. 이와 달리 HMD는 스테레오스코픽 효과를 사용해서 3D 효과를 생성한다. 그러므로 이미지 전경이나 원경에 있는 물체로 수렴하는 것과 그 물체에 대해서 조절하는 것이 같은 거리에서 일어나지 않는다.

 

이 때문에 피로감, 두통, 심지어는 구토 증세를 일으킬 수 있다. 이러한 현상을 가상 현실 멀미라고 한다. 덧붙여서, 장기적으로 시각안운동계 발육에 미치는 영향을 우려해서 건강 전문가들은 어린이들이 장시간 HMD를 사용하는 것에 대해서 경고하고 있다.

 

맺음말

 

다중의 토대 기술들을 기반으로 하는 첨단 MR 시스템은 기존의 방식보다 훨씬 더 직관적인 방식으로 사용자에게 복합적인 데이터를 제공할 수 있다. MR 시스템 개발자 입장에서 AR/VR/MR 애플리케이션은 까다로운 고유의 과제들을 제기한다.

 

다양한 방식의 센서들로부터 방대한 양의 데이터를 처리하기 위해서 요구되는 프로세싱 성능을 달성해야 할 뿐만 아니라, HMD 기반 시스템을 사용자에게 신체적 스트레스를 최소화하는 패키지로 개발해야 하기 때문이다. 
 

헬로티 서재창 기자 |










배너









주요파트너/추천기업