[첨단 헬로티]

최근 IoT(Internet of Things)나 AI(Artificial Intelligence)라는 용어는 일반적으로 널리 들을 수 있는 말이 됐다. 특히 IoT에 관해서는 센서 기술의 향상뿐만 아니라, 스마트폰․스마트워치를 통한 방법 등 데이터 통신 수단도 비약적으로 향상돼 다양한 종류의 데이터를 대량으로 취득할 수 있게 됐다. 이에 따라 취득한 데이터를 이용해 여러 가지 다양한 서비스 전개가 시작되고 있다.

한편 데이터를 취득하는 것만으로 할 수 있는 것은 한정되어 있으며, 본격적으로 산업계에서 활용하기 위해서는 취득한 데이터를 해석해 새로운 지식을 찾아내는 것이 필요하다. 

데이터 해석에 관해서도 최근 AI 기술의 발전과 함께, 센서 등으로부터 취득되는 시계열 데이터의 해석 기술도 크게 진보하고 있으며, 학문적 영역뿐만 아니라 산업계에서도 도입이 추진되고 있다.

센서 데이터를 이용한 응용은 다방면에 걸쳐 있으며 AI 기술을 이용한 예도 많이 존재하는데, 이 글에서는 센서 데이터의 산업 응용을 위한 AI 기술의 적용에 관해 산업계의 시점에서 기술 개요와 적용 사례를 소개한다.

가시화와 룰 베이스

IoT 기술 진보에 따라 다양한 분야에서 센서로부터 취득되는 시계열 데이터의 응용에 관심이 높아지고 있다.

현재 센서 데이터의 활용 상황은 업종이나 기업에 따라 차이는 있지만, 이미 널리 도입이 추진되고 있는 것은 ‘가시화’이다. 가시화는 설치한 센서의 데이터를 취득, 작업 효율과 기기의 고장에 관계된 데이터를 실시간으로 화면에 표시한다. 공장의 관리자 등은 실시간으로 갱신되는 정보를 보면서 비효율적인 부분이나 고장의 징후를 나타내는 동향을 발견한 경우에는 대처를 하거나, 작업자도 정보를 보면서 작업을 함으로써 효율을 높일 수 있게 된다. 실제로 규모가 비교적 큰 공장에 도입한 결과, 생산성이 30% 이상 향상됐다는 보고가 있다. 그림 1은 가시화 툴의 예로, 세로축을 시간, 가로축을 공정으로 하고 제조 실적의 시계열 데이터를 꺾은선으로 표시함으로써 라인의 생산 상황을 한눈에 확인할 수 있다. 선 모양이 평행하고 간격이 좁을수록 생산 효율이 좋고, 선 모양이 흐트러진 곳이 생산의 이상 부위라고 판독할 수 있다.

그림 1 시계열 시각화의 예

한편, 가시화만으로는 정보량이 많아지기 때문에 한정된 관리자가 실시간으로 모든 것을 관리하는 것은 곤란하다. 그래서 빠른 발견이 필요한 사안에 대해서는 센서 값을 이용한 룰 베이스로 이상을 검출하고, 경고를 주는 구조를 도입하고 있다. 예를 들면 휠체어를 타는 간호가 필요한 사람이나 높은 곳의 작업자에 대해 장착한 센서를 이용해, 넘어지거나 하는 경우를 검출해 보조나 구조를 위한 구조를 구축하는 대응이 이루어지고 있다.

현재 IoT 기술을 이용한 솔루션으로서 실천 도입이 진행되고 있는 것은 가시화와 룰 베이스를 기초로 한 것이 다수를 차지하고 있으며, 이들의 도입으로 큰 개선을 얻을 수 있는 경우도 많다. 그러나 가시화와 간단한 룰 베이스에 의한 판단은 기존부터 사람이 판별할 수 있는 것을 서포트하는 것이다. 그렇기 때문에 기존에 전문가의 경험에 의존했던 부분 등과 같이 룰화가 곤란한 사례에는 대응할 수 없다. IoT 기술의 진보에 의해 취득된 데이터가 증가함에 따라 기대되는 것은 그러한 과제의 해결이며, 이를 위해 최근에는 센서 데이터에 대한 AI 기술 적용의 시도가 추진되고 있다.

특징량 설계에 의한 판단

센서 데이터 등을 해석하고 새로운 서비스를 구축하는데 있어 현재 많이 대응하고 있는 기술은 특징량을 설계하고, 그들을 기초로 판단을 하는 것이다.

실제 응용에서 이용되는 특징량에는 전문가․기술자의 지견을 담아 만들어진 것도 많고, 그들은 목적에 따른 시계열의 상황을 적절하게 파악하고 있는 경우가 많기 때문에 판단에는 전문가의 판단 방법에 따른 룰 베이스가 이용되는 경우도 많다.

한편 최근에는 전문가의 지견 등이 적은 영역에 AI의 도입을 검토하는 사례가 증가하고 있으며, 그러한 경우에는 비교적 범용성이 있는 특징량을 작성하고 그 위에 기계학습 등의 AI 기술을 적용하는 케이스도 많아지고 있다. 대표적인 기계학습의 예로서 행동이나 질병의 종류를 판단하는 분류의 경우는 서포트 벡터 머신(SVM)과 랜덤 포레스트, 고장 검지 등의 이상 검지나 징조 검지 등의 경우에는 1-클래스 SVM이나 k-근방법 등의 기법이 이미 일반화되어 있다.

그림 2 시계열의 스펙트로그램

범용적인 특징량으로서는 평균․분산 등의 통계량이나 주파수 분석을 이용한 것으로부터 검토되고 있는 것이 많다. 그림 2는 팔에 붙인 가속도 센서로부터 취득된 데이터의 푸리에 변환에 기초하는 스펙트로그램이다. 이 데이터는 도중에 4번 작업 내용을 변경하고 있는데, 그것에 의해 스펙트럼의 강도가 변화하고 있다. 이 특징을 사용해 스펙트로그램에서 변화가 나타나는 부분의 정보를 취출함으로써 행동 분류 등의 서비스 구축이 이루어지고 있다.

그림 3 Topological Data Analysis를 이용한 특징량 작성

특징량에 관해서는 통계량과 주파수 해석을 이용한 것에 한하지 않고, 여러 가지 새로운 기술이 제안되어 검토가 진행되고 있다. 최근에는 시계열 데이터를 카오스 이론에 기초하는 도형화와 Topological Data Analysis(TDA)라고 불리는 새로운 데이터 해석 기법을 조합한 특징량 작성 기법(그림 3 참조)이 제안되고 있다.

그림 4 심박 데이터를 이용한 졸음 정도를 검출하는 시스템

특징량을 사용한 솔루션의 예로서는 버스 등의 운전수의 졸음운전 방지를 위해 장착한 센서로부터 맥박 데이터를 측정, 취득한 데이터로부터 특징량을 추출함으로써 졸음 징후를 검출하는 솔루션이 전개되고 있다(그림 4 참조). 이 솔루션에서는 심장의 RRI 데이터(심장 박동 간격의 변화)의 스펙트럼 밀도가 극대화되는 점을 특징량으로서 사용, 각성 상태와 가수면 상태를 판단하고 있다.

Deep Learing의 활용

센서 데이터에 대해 AI 기술을 적용할 때 기존에는 기술자에 의한 특징량 설계에서 시작되는 경우가 많았는데, 상세한 특징량 작성에는 데이터 분석과 적용 분야 양쪽의 전문가에 의한 지견과 시행착오의 작업이 필요해 실용화하기까지는 매우 많은 코스트와 시간이 소요되고 있었다. 범용적인 특징량을 이용하는 경우에도 그들이 충분한 성능에 달하지 못하는 경우를 많이 볼 수 있다. 

한편, 최근의 AI 붐을 일으킨 Deep Learning은 특징량 작성도 동시에 한다고 알려져 실제 응용에서도 활용이 기대되고 있다. Deep Learning은 예전에는 대량 데이터의 필요성과 실장면 등의 실제 응용면에서 장벽이 높았는데, Deep Learning용 프레임워크 등의 환경 정비가 진행되어 적용의 장벽이 낮아지고 또한 수집된 데이터가 증가함으로써 특징량 설계를 하지 않고 처음부터 Deep Learning으로 학습시키는 경향이 증가하고 있다. 실제로 시계열 예측에 관해서는 AR 모델 등을 이용한 회귀 모델로 바뀌고, 처음부터 RNN(Recurrent Neural Network)이나 그 일종인 LSTM(Long Short-Term memory)의 검토를 하는 기술자도 증가하고 있다.

이 장에서는 센서 데이터에 대한 Deep Learning을 이용한 분류와 이상 검지에 관한 대응을 소개한다.

1. 센서 데이터의 분류

Deep Learning은 화상 분류 등 화상 관계 데이터에 관해서는 큰 효과를 가져오지만, 시계열을 포함해 화상 이외의 데이터에 관해서는 아직 결정적인 기법이 되고 있지는 않다. 그렇기 때문에 현재도 다양한 Deep Learning 기법이 제안되고 있다.

그중에서 비교적 간단히 도입할 수 있고, 또한 효과가 보고되어 있는 기법 중 하나가 화상과 마찬가지로 CNN(Convolutional Neural Network)을 이용한 것이다. 그 적용 방법은 크게 두 가지 방향이 있다. 하나는 시계열 데이터를 화상화하고 화상의 분류로서 적용하는 방법이다. 화상화의 방법은 푸리에 변환의 스펙트럼을 이용한 것 등 다방면에 걸쳐 있는데, 분류 성능이 화상화의 방법에 크게 의존하기 때문에 특징량 작성과 동일한 수고가 들게 된다. 또 다른 하나의 방법은 보통 2차원 데이터에 대한 처리를 시계열과 동일한 1차원 데이터로 제한한 1차원 CNN을 구축해 시계열 데이터를 직접 입력하는 방법이다(그림 5 참조).

그림 5 1차원 Convolutional Neural Network

1차원 CNN에 의한 학습이 시계열의 분류에 관해 결정적인 방법이라고 할 수는 없지만, 기존의 전문가에 의한 특징량 설계에 기초하는 방법에 가까운 수준의 결과를 내는 예는 많이 볼 수 있으며, 전문가에 대한 의존도와 공수 삭감으로 이어질 가능성은 충분히 지니고 있다. 특히 효과를 볼 수 있는 사례로서는 심전도 데이터로부터 부정맥을 분류하는 것이다(그림 6 참조).

그림 6 정상의 심전도(위)와 부정맥(아래) 심전도의 예

부정맥에는 많은 종류가 있으며, 그중에는 치사성이 높은 질환에 의한 것이 포함되기 때문에 빠른 진단이 요구되고 있다. 특히 미국과 같이 의료비가 비싸고, 더구나 심장질환이 많은 지역에서는 웨어러블 패치나 스마트워치 등의 가정용 측정기기를 이용해 일상적으로 검사를 하고, 이상이 있는 경우에는 즉시 병원 의사와 연계해 적절한 치료를 하는 것이 요구되고 있다. 그러기 위해서는 이와 같은 간이적인 기기를 사용해 자동적으로 부정맥 진단을 할 필요가 있으며, 최근 AI 기술을 이용한 검토가 추진되고 있다.

심전파 모양은 특징적인 형상을 하고 있는데, 부정맥의 경우 그 형상이 무너져 불규칙한 변동이 되어 버린다. 그렇기 때문에 통계적인 특징량만으로는 충분한 특징이 안 되기 때문에 부정맥의 종류마다의 특징을 나타내는 형상을 추출할 필요가 있었다. 여기에서 1차원 CNN을 이용해 학습하는 방법이 의사도 함께 검토되어, 실용화가 기대되는 상황이다.

2. 이상 검지․징조 검지에 응용

센서 데이터를 이용한 응용에 관해서는 행동이나 상태의 분류만이 아니라, 기기의 고장이나 상태의 변화 등을 발견하거나 예측하기 위한 이상 검지․징조 감시 등의 기술에 대한 기대가 높다. 이상 검지에 대한 실천 적용에 관해서도 지금 검토 수준의 단계인 것이 많지만, RNN과 LSTM을 이용한 방법과 Variable Auto-Encoder(그림 7 참조) 등 Auto-Encoder를 베이스로 개량한 방법 등을 검증하는 케이스도 나오고 있다. RNN과 LSTM를 이용한 것은 정상 데이터를 이용해 학습한 모델을 기초로, 예측되는 거동과의 괴리 상태가 큰 것을 이상으로 판정한다. Auto-Encoder는 데이터 압축 뉴럴 네트워크와 복원 뉴럴 네트워크를 조합한 네트워크로, 이상 검지에서는 정상 데이터만을 이용해 학습하고 복원 정도가 낮은 것을 이상으로 검지하는 구조를 구축하는 경우가 많다.

그림 7 Variable Auto-Encoder의 예

이상 검지․징조 검지의 경우에 주의해야 할 점으로서 정상적인 데이터와 이상 데이터의 구분이 명확한 경우와 명확하지 않은 경우가 있으며, 각각 적용 방법이 다른 것을 들 수 있다. 

실제 센서 데이터를 이용한 이상 검지와 징조 검지 등의 요망이 있는 대상에 대해서는 미리 검출 대상의 명확한 구분이 되어 있지 않은 사례가 많다.

예를 들면, 기기와 인프라에 관해 고장이나 설정 미스를 검출하는 경우는 명확하게 정상과 이상의 구분이 되지만, 열화 상태를 검출하는 경우는 단조롭게 조금씩 열화가 진행돼 가기 때문에 어디까지가 정상이고 어디서부터가 이상인지를 명확하게 결정하는 것은 곤란하다(그림 8 참조). 실제로는 과거의 경험에서 확실하게 안전한 상태를 정상으로 설정함으로써 이상 검지의 알고리즘에 적용하는 케이스도 존재하지만, 아직 충분히 사용할 수 있는 단계에서도 이상이라고 판단해 과도한 대응을 강요하게 되기 때문에 기계학습의 도입 효과가 작은 상태가 된다.

또한, 이러한 응용 분야에서는 명확한 고장이 일어나기 전의 징조를 파악하고 싶다는 요구가 많다. 징조의 특징 자체를 모르는 경우는 징조의 데이터도 정상으로 여겨 학습하기 때문에 징조를 파악하는 것이 어려워져 버린다.

이러한 경우에는 가장 정상이라고 생각되는 기준만을 학습 데이터로 사용하고, 그들 데이터로부터의 괴리도 등을 이상 정도를 나타내는 수치로서 출력하는 방법이 검토되는 경우가 많다. 출력된 데이터를 바탕으로 열화 정도를 파악하거나, 어떤 원인에 의한 상태의 큰 변화를 파악하는 것이 이루어진다.

그림 8 정상 범위를 학습한 이상 검지 및 이상 수치에 의한 이상 검지

단, 이러한 방법을 이용하는 경우는 기준 데이터의 선택법에 성능이 의존하게 되는 문제와 학습 데이터를 충분히 취득할 수 없는 경우가 있을 가능성이 있으며, 특히 Deep Learning을 이용하는 경우에는 충분한 학습 데이터가 필요하기 때문에 학습이 잘되지 않을 가능성도 있다. 그렇기 때문에 수치화를 이용하는 경우는 데이터량과의 균형으로 다른 방법을 선택하거나 학습 데이터를 늘리는 연구가 필요하다.

이상 수치에 의한 이상 검지의 응용 사례로서 인프라 구조물의 열화 해석이 있다. 인프라 구조물의 손상을 검출․평가하는데 있어서는 현재도 숙련기술자의 근접 육안에 크게 의존하고 있다. 그러나 육안만으로는 구조물 표면에 나타나는 변형 모양밖에 파악할 수 없기 때문에 내부의 손상을 파악할 수 없는 과제가 있다.

그림 9 교량 열화 상태의 수치화

본 사례에서 해석의 대상이 된 것은 교량의 기본 부재인 상판의 피로열화를 모니터링하는 방식 검토를 위해 실시된 실내 실험의 모니터링 데이터이다. 이 실험에서는 실제 교량 모니터링에 유망시되는 가속도 센서를 상판 표면에 설치하고, 상시 계측하는 외에 참고로 상판 내부의 변형도 상시 계측했다. 교량의 수명은 50년 정도로 되어 있지만, 실험에서는 약 2개월간 새로운 제품 상태에서 피로파괴에 대한 추이를 가속적으로 재현했다.

실험에서 취득한 가속도 센서의 데이터는 그림 3에서 소개한 TDA를 이용해 작성되는 특징량으로 변환한 후에, 새로운 제품 상태의 데이터를 기준 데이터로 Auto-Encoder를 이용해 이상 수치화했다. 그림 9에 이상 수치와 그 변화도와 함께 내부 손상을 반영한 내부 변형의 추이를 나타냈다. 이상 수치가 아주 크게 변화한 시점과 큰 내부 손상이 발생한 시점이 잘 일치하고 있으며, 외부 센서(가속도 센서)에 의한 상판 내부의 열화 상태 추정의 가능성을 나타내는 것으로 되어 있다.

과제

앞에서 말한 바와 같이 산업계에서도 센서 데이터의 활용은 진행되고 있으며, 또한 기계학습과 Deep Learning 등의 기술 도입과 검토도 진행되고 있다. 그러나 기계학습 등의 도입에 관해 보다 본격적인 도입이 진행되기 위해서는 아직 과제도 남아있다.

과제의 하나는 시계열 데이터에 개인차․개체차가 포함되는 것이다. 정밀 기계 등에서는 상대적으로 개체차 정도는 작지만, 생체 데이터 등에서는 매우 커서 어떤 환자에게는 정상으로 판단되는 파형과 완전히 동일해도 다른 환자에서는 이상이 되는 경우도 존재한다. 이 경우 학습한 모델을 사용할 수 있는 환자와 사용할 수 없는 환자가 존재하게 되고, 실천 도입의 족쇄가 된다. 그렇기 때문에 개인차․개체차가 큰 대상에 대해 기계학습 등을 적용하는 경우는 운용 방식에 연구가 요구된다.

예를 들면, 지속적으로 계측․판단을 하는 경우에는 계측 개시 후 일정 기간의 데이터와 기타 요인의 데이터를 바탕으로 개인차․개체차만큼의 모델 보정을 하는 캘리브레이션 기술의 개발 등이 필요하다. 실제로 앞에서 소개한 졸음 검지 시스템은 개인차의 영향이 큰 심박 데이터에 대해 캘리브레이션 기술을 도입함으로써 드라이버에 관계없이 적용할 수 있게 되어 있다.

또 다른 큰 과제로서 블랙박스에 관한 문제를 들 수 있다. Deep Learning에 관계없이 기계학습 기술은 일반적으로 판정 결과만을 되돌리고, 그 판단 기준을 모르는 경우가 많다. 판단 기준을 특정할 수 있는 화이트박스 모델이라고 불리는 것에 관해서도 그 판단 기준이 복잡하게 되어 있는 경우가 많고, 기술자에게 있어 납득성이 높지 않기 때문에 도입하는 심리적인 장벽이 높아지는 경향이 있다. 현실적으로 현재도 특징량 설계를 바탕으로 한 룰 베이스에 의한 판단을 선호하는 기술자가 많은 것은 AI 기술을 이용한 솔루션의 품질 보증이 어려운 점과 문제가 발생했을 때의 대처가 불가능한 것이 원인의 하나이다. 또한, 블랙박스인 것으로, 예를 들면 이상을 검지했을 때도 원인을 모르기 때문에 대처를 할 수 없는 결과가 되는 경우가 있다. 그렇기 때문에 보다 실천적인 적용을 위해 판단의 요인과 검지한 변화의 원인을 특정하는 기술이 필요하게 된다. 현재 이 설명 가능성에 관한 주제는 산업계뿐만 아니라 학문적으로도 뜨거운 화제가 되고 있으며, 빠른 실현이 기대된다.

맺음말

이 글에서는 산업계의 시점에서 IoT 기술과 AI 기술을 이용한 기술 개발 현황 및 동향에 대해 살펴봤다.

업무의 효율화와 위기․인프라의 안전 관리 등, 센서 데이터를 비롯한 IoT 위기에서 취득되는 데이터를 사용해 새로운 가치를 부여하는 대응은 산업계에서도 추진되고 있다. 그중에서 AI 기술을 이용한 사례도 증가하고 있으며, 현재는 연구 수준이어도 조만간에 실용화가 전망되는 것도 존재한다.

이 글에서는 지면 관계상 각 기술에 관해 개략적인 설명에 그치고, 또한 일부 기술의 소개에 그쳤지만, 실제로 사용되는 혹은 사용이 검토되고 있는 기술은 소개한 것 외에도 많이 존재한다는 것을 언급해 둔다. 

그 한편으로, 실제로 적용하기 위해서는 개인차․개체차 문제와 블랙박스 대응 등의 문제도 안고 있다.

IoT의 활용이 보다 나은 사회를 만드는데 도움이 되기 위해서는 학계와 산업계가 협력해 이러한 문제를 해결해 가는 것이 필요하다.

梅田 裕平·金児 純司·門岡 良昌, 후지쯔연구소