[헬로티=함수미 기자]

 

가상세계에서 옷을 사고 친구를 사귄다. 현실과 가상의 경계가 모호해지는 현재, 가상세계를 어떻게 '잘' 활용할 수 있을까? 가상 세계를 잘 활용하는 방법, '디지털 트윈'이다. 코로나19로 비대면 수요의 급증으로 디지털 경제로 가속화되는 지금 디지털 트윈은 각 분야에 접목돼 발전하고 있다. 특히 영상 기술은 인공지능과 딥러닝이 더해져 디지털 트윈을 향한 디딤돌이 되고 있다.

 

▲게티이미지뱅크

 

 

디지털 트윈이란?

 

디지털 트윈은 현실세계에서 수집한 다양한 정보를 가상세계에서 분석하고 최적화 방안을 도출해 이를 기반으로 현실세계를 최적화하는 지능화 융합 기술이다. 

 

ETRI의 '디지털 트윈 기술보고서'에 따르면 현실세계의 문제점 해결 비용을 최소화하기 위해 가상세계에서 진행하는 것이다. 현실세계에서 수집한 과거와 현재의 정보를 가상세계에서 분석하고 위험요소를 파악해 제점 발생을 사전에 방지한다. 

 

디지털 트윈은 국가 인프라, 제조 현장, 생활 SoC 등 다양한 분야에서 3차원 모델링, 실시간 모니터링 및 제어, 분석·예측 등을 통해 국가 디지털 전환의 핵심기술 역할을 수행한다. 

 

정부에서도 코로나19 사태로 인한 경제적 위기를 극복하고 세계 경제를 선도하기 위해 '한국판 뉴딜 종합계획'을 발표했으며, 디지털 트윈을 10대 대표과제 중 하나로 선정했다. 국외에서도 디지털 트윈 사업을 추진하고 있는데, 가트너도 '17~'19년에는 10대 전략 기술 중 하나로 디지털 트윈을 선정했으며, '20년에는 인간중심의 초-자동화(Hyper-Automation)를 위한 요소기술로 선정했다. 

 

현실/가상세계	프로세스	설명
현실→가상	생성	현실세계에서 획득한 데이터와 측정치 등, 동작에 영향을 미칠 수 있는 외부 데이터 수집 및 모형 생성
현실↔가상	전달	현실세계와 가상세계간의 실시간 양방향 통합/연결 지원
가상	통합	데이터 분석을 위한 전처리 및 통합
	분석	전처리 데이터를 분석하고 모의하는 단계로 의사결정을 지원하는 모형 생성
	이해	분석 결과를 시각화하여 대시보드에 표시, 현실세계와 가상세계 간의 허용될 수 없는 성능 차이 강조, 조사 및 변경이 필요한 부분 표시
현실←가상	실행	이해 단계에서 확인한 실행 가능한 피드백 정보를 현실세계에 적용

▲디지털 트윈 프로세스 (출처 : ETRI 디지털트윈 기술보고서)

 

디지털 트윈은 현장을 감시 및 통제하고, 모의를 통해 이상징후를 예측하고 최적화 방안을 도출해 현장에 적용하는 6단계(데이터 생성→전달→통합→분석→이해→실행)로 진행된다. 디지털 트윈은 생산성 개선을 물론 다양한 사회문제까지 해결할 수 있어 재난안전, 제조, 도시·교통, 에너지·환경, 의료·복지, 국방 등 다양한 분야로 확대 적용할 수 있다. 

 

스마트시티·제조업의 디지털 트윈

 

디지털 트윈이 스마트시티에 적용되면 다양한 도시문제를 해결하기 위해 현실공간을 모사한 가상공간 모형에 실세계 정보를 실시간 반영한다. 도시 현안을 감시·진단·예측하고 데이터 기반의 해결 방안을 사전에 학습·시험·검증할 수 있는 지속 가능한 도시관리 서비스를 사용할 수 있다. 

 

제조업 분야에서 디지털 트윈은 현실세계의 제조 자원 4MIE(Machine, Man, Material, Method, Environment)를 가상공간에 모사하고, 실시간 연결해 가상공간에서 제품의 설계, 생산, 유지보수, 서비스를 위해 요구되는 다양한 시뮬레이션을 수행하고 의사결정을 가능하게 한다. 

 

국내에서는 '5G 기반 디지털 트윈 공공선도 사업'을 통해 5G 기술과 디지털 트윈 기술을 기반으로 다양한 실증사업과 구축을 하고 있다. ETRI는 다부처 과제로 ‘수요처 맞춤형 실감형 3D 공간정보갱신 및 활용기술’을 개발해 고정밀 3D 공간정보의 지속 가능한 공유 및 활용 생태계 구축을 위한 입체적 디지털 트윈의 기반 기술 확보했다. 

 

제조업 분야에서 GS칼텍스는 여수공장 생산시설의 실시간 모니터링이 가능한 디지털 트윈 기반 통합관제센터를 2030년 완공을 목표로 구축 중이다. 초기 제조업 중심의 디지털 트윈 시장은 다양한 산업 분야로 확대되고 있다.

 

국내 디지털 트윈 어디까지 왔나

 

디지털 트윈 기술 성숙도는 표준연구본부에 따르면 다섯 단계로 구분할 수 있다. ①형상모사 디지털 트윈 ②정적 디지털 트윈 ③동적 디지털 트윈 ④상호작용 디지털 트윈 ⑤자율 디지털 트윈 단계로 나눌 수 있다. 

 

성숙도 (수준)	명칭	설명
5	자율 디지털 트윈 (Autonomous Digital Twins)	·현실의 물리 트윈과 디지털 트윈, 또한 다수 디지털 트윈들간의 실시간, 통합적, 자율/자동 동기화 동작(사람의 개입 불필요)
4	상호작용 디지털 트윈(Interactive Digital Twins)	·이종 도메인이 상호 연계되는 디지털 트윈 간의 연합적 동작 모델 ·디지털 트윈 간의 연계, 동기화 및 상호작용 작업(동작 수행을 위해 사람의 개입이 요구)
3	동적 디지털 트윈(Dynamic Digital Twin)	·현실 대상에 대한 동작 모델이 존재함 ·동작 모델에 대한 입력 변수의 변화를 통해 변화되는 동작을 시뮬레이션 할 수 있음
2	정적 디지털 트윈(Static Digital Twin)	·부분 자동 제어, 그러나 주로 인간의 개입을 통한 동작 ·행동 및 역학 모델은 없지만, 프로세스 논리가 적용되어 운영
1	형상모사 디지털 트윈(Look-alike Digital Twin)	·2D 또는 3D로 모델링 되어 시각화된 현실

▲디지털 트윈 성숙도 (출처 : ETRI 디지털트윈 기술보고서)

 

ETRI는 디지털 트윈의 현황과 문제점으로 스마트시티 분야에서는 성숙도 2.5단계로써 3차원 공간정보 가상화와 도시 현상에 대한 실시간 모니터링 중심의 단방향 서비스라는 한계가 있다고 지적했다. 최적화 방안 도출 및 실행을 위한 데이터 분석, 사전시험 및 검증, 현실세계 피드백 등의 기능을 추가해 양방향 서비스로의 확대가 필요하다고 밝혔다.

 

ETRI는 스마트시티의 현재를 2D영상·센서 정보기반 도시현상을 파편적으로 재현하고 수동·육안의 단계고, 인공지능이 분석 및 판단하는데 필요한 도시객체 형상 및 속성 데이터가 부재하다고 봤다. 하지만 미래에는 전시적·전지적·전능적 디지털 트윈 도시로 전환되리라 전망했다. 

 

또한, 3D 도시공간 지도기반 전시적·사각지대 제로 도시현상 재현 및 실시간 지능형 관제시스템이며, 인공지능이 도시문제를 해석하고 설명하며 예측할 수 있는 전지적 디지털 트윈 도시를 전망했다.

 

제조업에서는 성숙도 3단계며, 대부분 개별 모델링(3D 형상, 데이터 기반 모형, 물리 모형 등) 및 시뮬레이션이 단편적으로 활용되고 있으며, 제조 현장 데이터에 대한 모니터링 수준이라 평가했다. 

 

현재 제조업에서는 공장의 제조 자원(설비, 공정, 환경 등) 수집된 데이터와 실시간 모니터링 및 단편적인 제조 운영 시뮬레이션 분석 수준으로 평가했다. 디지털 트윈 기술을 제조 현장에 적용하기 위한 실시간성 지원 측면이 부족하다는 것이다. ETRI는 제조 전주기의 최적 운영이 가능한 디지털 트윈 기반 지능형 자율 제조 서비스로 향할 것이라 바라봤다.

 

디지털 트윈을 위한 시작점, 사람보다 똑똑한 AI 영상

 

4차 산업혁명 시대에 디지털 트윈은 점점 중요해지고 있다. 디지털 트윈 기술을 활용하면 가상세계에서 장비, 시스템 등의 상태를 모니터링하고 유지·보수 시점을 파악해 개선할 수 있다. 

 

그런 디지털 트윈화를 위해서 영상은 점점 중요한 기술로 떠오르고 있다. 단순히 보기만 하는 영상이 아닌 AI와 영상이 접목한 ‘사람보다 똑똑한’ 영상분석이 필요해진 것이다. 

 

한국영상정보연구조합의 동향 보고서에서 중앙대학교 첨단영상대학원 백준기 교수는 AI 영상처리 분야의 중요한 주제를 ▲영상분류 ▲영상생성 ▲객체분할 ▲행동인식 ▲영상질의응답 ▲초해상도복원 ▲3차원 공간 재구성 ▲얼굴 위변조 검출 분야로 나눴다.

    

한 예로 구글, IBM, 페이스북, 아마존, 엔비디아, 인텔, 마이크로소프트, 시스코 등 많은 글로벌 기업들이 AI 제품 및 솔루션, 서비스 중심으로 시장을 가속화하고 있으며 전 세계 인공지능(AI) 시장이 오는 2025년 43.9%의 연평균 성장률에 힘입어 2828억 달러(약 350조 8천억 원)규모로 시장이 형성될 것으로 예상했다.

 

▲AI 활용 확산 (출처 : ETRI 기술정책연구본부, '국가지능화 비전과 전략')

 

영상 기술 동향

 

한국영상정보연구조합 보고서에 따르면, 영상분류(Image Classification)는 사람의 시각적 식별 능력을 모사하는 기술이다. 학습 데이터 문제 해결을 위해서 기존의 1/1000에 해당하는 적은 데이터로 기존의 딥러닝 성능에 근접하는 기술과 학습시간 단축을 위한 전이학습, 및 메타학습, 학습효율을 높이기 위한 지식증류 기술 등이 연구되고 있다. 

 

행동인식 및 이해(Acitivity Recognition and Understanding)은 비디오 영상에서 사람의 움직임, 행동, 행위에 대한 내용을 이해하는 기술을 구현하기 위해서 비디오 영상의 스트림을 특징화해 딥러닝으로 학습하는 방법이다. 

 

영상관계인식(Visual Relationship Recognition) 기술은 기존의 딥러닝 기술을 이용한 객체검출, 행동인식 기술은 컨텍스트 기반 관계 이해를 사용해서 다수 객체 사이의 관계를 기반으로 한 장면 묘사로 발전하고 있다. 

 

3차원 영상 재구성(Three-Dimensional Reconstruction)에서는 사람 영상을 보고 3차원으로 이해하는 능력을 모사하여 2D 영상을 보고 3차원의 특징이나 움직임을 이해하는 연구가 시도되고 있다. 

 

영상이 똑똑해진 이유는 딥러닝

 

많은 전문가가 영상 기술·분석이 발전할 수 있었던 요인 중 하나로 ‘딥러닝’을 꼽는다. 딥러닝은 연평균 성장률 42.5% 이상으로 성장해 2025년까지 1661억 달러(약 206조 원)에 달할 것으로 예상된다. 

 

‘한국IDC 국내 인공지능 2019-2023 시장 전망’에 따르면, 국내 인공지능 시장은 향후 5년간 연평균 17.8% 성장해 2023년 6천 4백억 원 이상의 규모를 형성할 예정이다. 

 

업무 프로세스 효율화 및 비즈니스 자동화를 위한 AI 애플리케이션 및 플랫폼 구현 사업이 크게 증가하며 서비스와 소프트웨어 시장 모두 향후 5년 간 연평균 성장률 30% 이상의 본격적인 성장이 예상된다고 밝혔다. 딥러닝이 적용되면서 인간이 해결 못 하는 새로운 문제들이 해결 가능해졌기 때문이다. 

 

예를 들자면 2015년 100만 개의 이미지를 구분해내는 이미지넷 대회에서 딥러닝의 적용으로 에러율을 3%로 낮추면서 사람이 가진 에러율인 5%를 넘어섰고, 질문에 답을 찾아내는 MRC Task에서도 BERT의 등장으로 사람보다 글을 잘 이해하는 수준이 됐다.

 

포스코ICT 기술개발센터 AI/BIG DATA 개발그룹 김수상 전문연구원은은 결국 데이터의 양이 많아지면서 딥러닝의 성능은 무한하게 향상되기 시작했고, 컴퓨터 비전과 NLP 등의 Task에서 이미 인간의 영역을 넘어섰다고 밝혔다. 

 

또한, 딥러닝 모델을 산업현장에 적용하는 과정에서 실시간 처리가 중요하다고 강조했다. 실재 서비스를 적용하는 과정에서 정확도와 속도를 동시에 만족시킬 수 있는 기술이 필요하다는 것이다. 

 

▲ETRI 기계학습 기반 사물 분류 및 검출 기술 (출처 : ETRI 유튜브)

 

ETRI에서도 딥러닝을 통해 이미지, 동영상에서 사물을 분류, 검출하는 기술을 개발했다. 핵심기술은 여러 사물을 동시에 인식해 기존 기계 학습의 단점을 보완한 것이다. Under-fitting 문제와 Over-fitting 문제를 보완했다. 핵심기술의 특장점은 다수의 사물 감지 기능, 사물의 위치와 분류를 중분류 소분류까지 제공한다. 

 

박종열 ETRI 시각지능연구그룹 박사는 "전 세계적으로 지능형 이미지·동영상 분석 소프트웨어 시장 투자가 활발하게 진행되고 있다. 영상 분석을 활용한 자동차, 의료, 보안 서비스를 포함해 시장은 20205년 약 102조 원에 가까운 시장을 형성할 것으로 예상된다"고 밝혔다.