[첨단 헬로티]

가상현실(VR, Virtual Reality)과 증강현실(AR, Augmented Reality)을 구현하기 위해서는 디바이스와 콘텐츠가 필요하다. 좀 더 세부적으로 살펴보면, 이런 디바이스는 VR에 최적화된 반도체 칩, 디스플레이, 배터리, 메모리, 각종 센서, 사운드 장치, 영상 장치 등 여러 최첨단 기술이 요구되고 있다. 최근 폭풍 성장하고 있는 VR·AR 시장의 확대는 반도체와 디스플레이 업계에서도 새로운 성장동력이 되고 있다. 

현재 대부분의 VR 디바이스는 헤드 마운트 디스플레이(HMD, Head Mounted Display) 방식을 채택하고 있다. HMD란, 머리에 쓰고 VR을 체험할 수 있도록 도와주는 디스플레이 기계다. 

기존의 2D 디스플레이 기반 3차원 세계와 달리, 가상현실은 사용자를 중심으로 상하좌우 360도 전 방향을 실시간으로 구현해야 한다. 가상현실을 그려내는데 3D 그래픽 기술을 사용하는 만큼 그래픽 성능도 물론 중요하지만 ▲가상현실 속 사용자의 위치와 모션 추적 ▲위치와 모션 시점에 따라 바뀌는 실시간 물리효과 ▲가상현실 내 사물과 사용자의 상호 반응 ▲단순 스테레오가 아닌 위치와 방향, 거리까지 구현해야 하는 가상현실 사운드 등 개발해야 할 기술이 많다. 

VR에 최적화된 반도체 칩 

퀄컴은 ‘퀄컴 스냅드래곤 테크서빗 2017’에서 VR에 최적화된 스냅드래곤 845를 처음으로 공개했다. 스냅드래곤 845는 이전 모델인 스냅드래곤 820과 스냅드래곤 835 보다 확장현실(XR)을 강화하기 위해 GPU 성능을 향상시켜왔다. 여기서 확장현실(XR)은 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 전부 합쳐서 부르는 말이다. 

▲ 퀄컴의 스냅드래곤이 탑재된 VR 디바이스

스냅드래곤 820은 3자유도(DOF)와 1Kx1K 60fps를 지원했고, XR 헤드셋을 착용했을 때 머리의 움직임을 파악할 수 있었다. 스냅드래곤 835는 6자유도와 1.5Kx1.5K 60fps로 성능이 향상됐고, 사용자가 걷고 앉는 동작 측정이 가능했다. 가장 최신 칩인 스냅드래곤 845는 SLAM(Simultaneous Localization And Mapping)을 이용한 룸스케일 6자유도를 지원해 몰입감을 높였다. 

SLAM은 주변환경을 인식하고 지형지물에 이미지 정보를 입혀서 표현해주는 기능으로 사용자의 3차원 움직임뿐만 아니라 주변환경을 파악할 수 있기 때문에 사용자가 공간과 함께 몸을 추적해 가구 등 벽면이나 물체에 걸리지 않고 가상 경험을 즐길 수 있도록 도와준다. 또 아드레노 포비에이션(Adreno foveation) 기능은 시선을 추적해 필요 영역만 최대 화질로 출력하는 그래픽 랜더링을 지원한다. 

▲ 퀄컴 ‘스냅드래곤 845’

연이어 퀄컴은 2018년 2월 스냅드래곤 845 프로세서을 기반으로 한 새로운 독립형 가상현실(VR) 레퍼런스 디자인을 공개했고, 2018년 3월 스냅드래곤 845 VR 플랫폼을 위한 소프트웨어 개발 키트(SDK)를 공개했다. 

최근 전문가용 VR 시스템에 대한 수요가 늘면서 자연스럽게 인텔의 HEDT(고성능 데스크톱)용 프로세서인 ‘코어 X-시리즈’ 프로세서에 대한 수요도 덩달아 늘고 있다. 코어 X-시리즈는 고가의 서버용 ‘제온(Xeon)’프로세서보다 저렴하면서 최대 18코어에 기반한 멀티 코어 성능으로 전문가용 VR 시스템에 최적화된 성능을 제공하기 때문이다. 

인텔 코어 X-시리즈는 인텔이 지난 2017년 상반기에 발표한 인텔 역사상 가장 강력한 데스크탑 프로세서 제품 군으로, 고급 게이밍, 가상현실(VR), 콘텐츠 제작에 필요한 최고 성능을 자랑하는 인텔 코어 i9 프로세서의 새로운 브랜드를 포함한다. 그리고 인텔 코어 i9 프로세서 라인업의 최상위에는 당시 일반 소비자용 CPU로는 최초로 18코어 36스레드를 갖춘 제품인 인텔 코어 i9 익스트림 에디션 프로세서가 공급되고 있다. 

▲ 인텔 ‘코어 i9 프로세스’

AMD는 2016년 3월 ‘리퀴드 VR(Liquid VR)’ 솔루션을 탑재한 가상현실 플랫폼 ‘라데온 프로 듀오(Radeon Pro Duo)’와 관련 소프트웨어 개발 키트(SDK)를 출시했다. ‘라데온 프로 듀오’는 가상현실 콘텐츠 생산자와 소비자를 위해 개발된 가상현실 플랫폼이다. 

게임과 영화 등의 엔터테인먼트는 물론 교육, 저널리즘, 의료장비 등 다양한 분야의 가상현실 콘텐츠 제작 환경에 활용할 수 있도록 개발됐다. 특히 16TFLOPS에 달하는 강력한 연산 능력을 바탕으로, 가상현실 콘텐츠를 보다 빠르고 편리하게 개발할 수 있는 환경을 개발자에게 제공한다.

AMD ‘라데온 프로 듀오’는 AMD의 가상현실 인증 프로그램인 ‘AMD VR 레디 크리에이터(AMD VR Ready Creator)’부문에 포함되는 초기 제품 모델이며, ‘크라이텍 VR 퍼스트’의 가상현실 플랫폼으로도 채택돼 활용되고 있다. AMD ‘라데온 프로 듀오’를 플랫폼으로 채택한 ‘크라이텍 VR 퍼스트’는 현재 가상현실 개발 분야의 인재 육성을 목표로 세계 각국의 대학 교육 기관과 연계, 가상현실 연구소 지원 프로그램을 운영 중이다.

AMD는 VR 사업 강화를 위해 2017년 4월 VR용 60GHz 무선 칩 기술을 보유한 스타트업 니테로를 인수했다. VR용 60GHz 무선 칩은 실내 VR 환경에서 낮은 지연 성능과 이용자의 움직임과 VR 디스플레이 사이에 지연이 많이 발생하지 않는 다는 점이 특징이다. 업계에서는 AMD가 니테로의 칩을 하드웨어나 소프트웨어의 GPU와 긴밀하게 통합한다면 VR 성능이 향상될 수 있다고 평가했다. 또 4K나 16K와 같은 더 높은 해상도를 지원할 수 있어 사실적인 VR 구현할 수 있다. 

▲ AMD ‘리퀴드 VR’

래티스는 고속 무선 비디오와 데이터 전송을 위해 광범위한 밀리미터파 솔루션을 출시하고 있다. 또 래티스는 초저지연  VR 비디오 경험을 위해 빠른 반응 속도의 빔 포밍 애플리케이션에 멀티기가비트 데이터 전송 속도를 제공하고 있으며, 래티스의 PLD(programmable logic device) 제품들 역시 디스플레이 브리징, 공간 및 위치 추적, 카메라 인터페이스 확장 등 VR 카메라와 360도 카메라의 다양한 애플리케이션에 사용되고 있다. 

래티스는 이런 자사의 WirelessHD 솔루션과 FPGA를 TPCAST의 HMD 기반 VR 애플리케이션에 제공하고 있다. TPCAST의 프로토콜은 HD 디스플레이의 무선전송 기능과 스마트 기기, 컴퓨터를 위한 피드백 제어 기능을 지원하고 있는데, 최근 발표한 TPCAST 2.0 프로토콜은 120Hz에서 최대 4K의 해상도를 지원하며, 디스플레이와 컨트롤러 모두에 전송 지연이 거의 없어 사용자에게 몰입형 무선 VR 경험을 제공한다는 것이 회사 측의 설명이다. 

래티스 반도체의 휘 치(Hwee Chee) 모바일 및 컨수머 사업부 마케팅 시니어 디렉터는 “래티스의 WirelessHD 기술은 VR 애호가들을 위해 유선의 불편함을 제거해 줄 뿐 아니라 어떠한 성능 저하도 없이 고품질의, 견고한 비디오 연결성을 유지할 수 있게 해준다”고 말했다. 

▲ 가상현실 HMD 원리(자료: LG디스플레이)

선명한 화질로 몰입감을 높이는 디스플레이 기술

사람의 양쪽 눈은 약간 다른 위치에 있어 ‘양안시차’가 발생하는데, 우리는 이를 통해 원금감이나 깊이감과 같은 입체감을 느끼게 된다. HMD는 이런 양아시차를 고려해 양쪽 눈에 다른 화면이 보이도록 고안됐다. HMD를 통해 왼쪽 눈과 오른쪽 눈에 각각 다른 시각적 정보를 보냄으로써 우리의 뇌는 가상현실을 실제 공간인 것처럼 착각하게 된다. 

또 VR 헤드셋을 끼고 고개를 돌리면 영상도 함께 움직이게 되는데, 이것은 VR 기술 중 하나인 모션트래킹 센서 때문이다. 모션트래킹은 사람의 움직임을 측정해 시선에 맞는 영상을 재생하도록 하는 역할을 한다. 이러한 최첨단 기술을 구현하기 위해서는 그만큼 높은 멀티 프로세스 성능과 디스플레이 기술이 요구된다. 

통상 VR에 사용되는 헤드 마운트 디스플레이(HMD)는 몰입도가 높지만 시간지연(Motion To Photon Latency)과 잔영(Motion Blur)으로 인해 어지러움증과 멀미 현상을 느낄 수 있다. 특히 디스플레이 해상도가 높아질수록 가상현실 컨텐츠들을 생성하기 위한 보다 많은 연산이 필요해 이러한 문제점이 더 커진다. 

LG디스플레이와 서강대학교(전자공학과 강석주 교수 연구팀)는 VR 영상 구현 지연과 잔영 문제 개선을 위해 세계 최초로 AI(Artificial Intelligence, 인공지능)을 활용한 고해상도 컨텐츠 생성기술과 측정장비를 공동 개발했다고 지난 5월 28일 밝혔다.

LG디스플레이와 서강대가 개발한 기술의 핵심은 저해상도 영상을 초고해상도 영상으로 실시간 생성할 수 있는 알고리즘 개발에 있으며, 딥러닝(Deep Learning) 기술을 통해 외부가 아닌 내부 메모리 사용만으로도 구현이 가능하게 했다. 그 결과, 전력 효율성을 높이고 알고리즘을 최적화해 모바일 제품에서의 고해상도를 구현할 수 있게 됐고, 이로 인해 VR용 디스플레이 구현시 시스템 부하를 줄여 시간지연과 잔영 시간을 최대 5배 이상 줄일 수 있게 됐다. 

더불어 LG디스플레이와 서강대는 이번 산학협력을 통해 인간의 목 움직임을 모사할 수 있는 정밀 모터를 사용한 플렛폼과 인간의 시각 시스템을 모사한 광학시스템을 적용하여 VR기기의 지연과 잔영을 정량적으로 측정하는 기구도 개발했다. 

▲ VR 기술 연구에 참여한 LG디스플레이와 서강대 연구원들

LG디스플레이와 2015년부터 이번 연구를 맡아 진행한 강석주 서강대 전자공학과 교수는, “이번 LG디스플레이와 서강대의 연구결과는 가상현실 기기에서 고비용의 그래픽 처리장치(GPU) 없이 인공지능을 통해 구현된 저전력으로 가속하는 반도체를 개발했다는 점에서 의의가 크다”라고 말했다. 

또 LG디스플레이는 구글과 파트너쉽을 통해 VR 헤드셋용 유기발광다이오드(OLED) 디스플레이를 개발하고 있다. 새로운 OLED 디스플레이는 4.3인치 크기를 가지고 있으며 3,840 x 4800, 1,443ppi의 해상도를 지원한다. 해상도는 VR 헤드셋 디스플레이로는 현존하는 최고 수준이며, 인치당 픽셀수 뜻하는 ppi(pixels per inch)는 HTC의 VR 헤드셋 바이브(448 ppi)보다 거의 3배나 높다. 또 120Hz 리프레시 비율과 120 x 96 시야각이 특징이다. 

이와 관련해 구글은 “인간 시력의 최다 픽셀 한계점은 2183ppi, 시야각은 160×150이다. 새로운 OLED 디스플레이는 거의 궁극의 시야각에 도전하는 수준”이라고 말했다. 구글과 LG디스플레이가 공개한 OLED 디스플레이는 현재 프로토타입 수준이며, 정식 출시 시기는 아직 알려지지 않았다.

▲ 두 개의 VR용 디스플레이에 해당기술이 적용된 좌안과 우안 영상을 송출하고 있는 모습

고용량 고사양 메모리 반도체 필수  

VR 콘텐츠에는 대용량 서버가 필수적이기 때문에 VR 콘텐츠의 흥행은 3D 낸드플래시(NAND Flash)와 같은 메모리 반도체의 성장으로 이어진다. 3D VR를 구현하려면 고용량의 메모리가 필수적이다. 일례로 삼성의 ‘기어VR’의 경우에는 스마트폰과 연결해 사용할 수 있지만 일부 VR 콘텐츠들은 용량이 워낙 커 한계가 있어 외부 메모리를 삽입할 수 있는 슬롯을 달았다. 이처럼 VR 콘텐츠에 메모리 용량은 중요한 문제다. 

스마트폰만 하더라도 동영상 콘텐츠 이용률이 높아지면서, 스마트폰에 탑재되는 낸드 메모리의 용량이 지속적으로 높아지고 있다. 시장조사기관 IHS에 따르면 휴대폰에 탑재되는 낸드플래시의 평균 용량은 2016년 하더라도 28.9GB에서 2020년에는 94.3GB까지 증가할 것으로 전망했다. 영상으로 구현되는 VR은 더 높은 메모리가 필요하고, 향후 클라우드 서비스를 통해 실시간으로 제공될 가능성이 높기 때문에 대용량의 메모리 반도체는 더욱 필요하게 될 것이다. 

삼성전자는 2016년 실적 컨퍼런스콜을 통해 VR은 고용량, 고대역폭 메모리 수요가 주변기기로까지 확산될 것으로 보고, VR 시장에도 반도체를 안정적으로 공급할 수 있도록 별도 라인을 구축해서 수요에 대응하겠다고 밝힌 바 있다. 그 결과 삼성전자는 2018년 4월 3D와 4K 그래픽을 필요로 하는 고사양 게임과 VR을 겨냥한 NVMe SSD(솔리드스테이트드라이브) 憊PRO·EVO’시리즈를 출시했다. 이번 제품은 삼성전자 최신 기술의 집합체로 64단 V낸드, 피닉스 컨트롤러, 초고속 모바일 D램(LPDDR4) 등 최첨단 반도체와 최적화된 펌웨어를 탑재했다. 연속 읽기·쓰기 속도는 초당 최대 3500MB·2700MB로 최고 수준의 성능과 전력 효율성을 구현했다. 

FHD 영화 한 편(5GB)을 1.9초에 저장할 수 있다. ‘970 PRO·EVO’은 2016년 9월 출시된 ‘960 PRO·EVO’와 비교해 약 30% 빠른 연속 쓰기 속도를 제공한다는 것이 삼성 측의 설명이다. 

본 기사와 관련된 기사는 아래와 같다.  

VR·AR 활용도는 어디까지? ①

VR에 최적화된 반도체와 디스플레이 개발 붐 ②

VR의 가능성 ‘무궁무진’ 플랫폼 경쟁 강화 ③