닫기

테크노트

배너

[사회 인프라 센싱-①] 심층학습 기술 이용한 교량 통과 차량 모니터링

URL복사
[마감임박!! 무료] 생성형AI, 디지털트원, 제조AI, SaaS, 클라우드로 생산성 높이고, 비용절감 방안 제시.. AI자율제조혁신포럼 개최 (3/27~29, 코엑스3층 컨퍼런스룸 317~318호)

인프라 구조물에 설치한 각종 센서의 계측 데이터로부터 구조물의 상태를 추정하는 분석 기술은 사회 인프라 모니터링에서 중요한 역할을 한다. 기존에는 대상 구조물의 물리적인 특성을 고려한 모델을 바탕으로 계측 데이터를 분석하는 경우가 많았다.

 

최근 센싱 기술과 더불어 정보통신 기술의 발달에 따라 대규모 계측 데이터의 수집 분석이 가능해졌다. 대규모의 계측 데이터와 새로운 분석 기술을 이용한 데이터 구동형 모니터링은 인프라 구조물 분석의 새로운 선택지로 이용할 수 있다.

 

이 글에서는 교량에 설치된 각종 센서의 계측 데이터로부터 교량에 대한 부하 요인이 되는 통과 차량의 제원을 추정하는 데이터 구동형 분석 기술을 소개한다.

 

차량 모니터링 시스템의 개요

 

이 글에서 소개하는 통과 차량 모니터링 시스템은 차량이 통과한 시각을 센서 데이터로부터 검지한다. 또한, 차선·속도·축수·축거리와 같은 통과 차량의 제원을 추정한다. 이러한 추정값은 활하중 계측에서 통과 차량의 중량 추정에 이용된다. 또한, 교통 상황의 모니터링 등에도 이용할 수 있다.

 

기존 이러한 정보들은 다리의 상판 두 군데에 변형 센서를 설치해 두고, 차량이 통과할 때에 나타나는 피크의 시간차를 이용해서 주로 얻었다. 그러나 피크 검지에 필요한 파라미터는 한정된 횟수의 시험 주행과 분석자의 경험에 의해 조정되는 경우가 많았다. 한편, 센서의 파형은 교통 상황이나 주행 위치, 온도 요인, 공진 등의 불확실성에 의해 다양하게 변화한다.

 

우리는 파형의 다양성을 심층학습으로 습득하고, 여러 가지 조건 속에서 높은 정도로 차량을 검지하는 기법을 연구해 왔다. 심층학습은 일반적으로 대규모의 지도학습 데이터가 필요하기 때문에 그 적용에 있어서는 지도학습 데이터 확보가 과제가 된다. 앞에서 말한 연구에서는 최근 활발하게 연구가 추진되고 있는 화상·영상 인식 기술을 이용해 센서 데이터 해석용 뉴럴 네트워크(Neural network)에 필요한 지도학습 데이터를 구축하는 방법을 개발했다.

 

현재 특정 교량이나 도로나 앵글에 의존하지 않는 범용성 높은 학습 완료 화상·영상 인식 뉴럴 네트워크를 이용할 수 있게 됐다. 특히 맑은 날씨 등 양호한 조건 속에서 촬영된 영상 데이터에 대해서 높은 정도로 물체 인식을 할 수 있다. 이 시스템은 높은 인식 정도를 기대할 수 있는 조건 속에서 촬영된 영상 데이터로부터 통과 차량을 검지, 그 제원을 계산함으로써 대규모의 지도학습 데이터를 수작업으로 준비하지 않고 신호 해석 모듈용 대규모의 지도학습 데이터를 구축한다. 이 시스템은 이하와 같은 3종류의 모듈로 구성된다.

 

· 영상 해석 모듈 : 교량에 설치한 감시 카메라를 이용해 자동적으로 신호 해석 모듈의 지도학습 데이터를 수집한다.

· 신호 해석 모듈 : 심층학습에서 얻은 파라미터를 이용해 센서 데이터로부터 통과 차량의 제원을 검지한다.

· 중량 추정 모듈 : 차량의 제원을 참고로, 사전에 취득한 영향선(주1)을 이용해 활하중을 추정한다.

 

이중 중량 추정 모듈에 대해서는 기존의 기법을 사용하기 때문에 이 글에서는 생략한다. 신호 해석 모듈은 교량에 설치된 센서를 통해 통과 차량을 검지한다. 이 시스템은 변형 센서나 가속도 센서에 의한 차량 검지를 가정한다. 그림 1에 센서의 설치 예를 나타냈다.

 

 

또한, 차량 검지에 변형 센서나 가속도 센서를 이용하는 이유는 설치성이 주된 이유이다. 보다 직접적으로 차량을 검지하려면 광학식 센서가 적당하다. 또한, 이 연구에서는 다리의 출구 부근에 감시 카메라를 설치하고, 지도학습 데이터 수집에 사용한다. 그러나 차선이 많은 다리나 긴 다리에서는 감시가 어렵고, 용지에 따라서는 카메라를 설치할 수 있는 장소가 다리에서부터 멀리 떨어지게 된다. 이러한 이유로 이 연구에서는 감시 카메라의 정보는 신호 해석 모듈의 지도학습 데이터 작성에 그치며, 변형 센서나 가속도 센서를 사용해 차량 검지를 한다.

 

영상 해석 모듈

 

1. 영상 해석 모듈의 개요

앞에서 설명한 신호 해석 모듈은 심층학습을 통해 얻은 파라미터를 이용해 센서 데이터를 분석하고 차량을 검지한다. 여기서 파라미터란 특정의 속도나 축수·축거리의 차량이 다리를 통과했을 때에 다리가 어떻게 변형되는가 하는 응답함수와 같은 것으로, 활하중 계측에서 이용되는 영향선과 동일한 정보를 나타낸다고 생각된다.

 

기존의 영향선 취득은 중량을 이미 알고 있는 차량을 몇 회 통과시키고, 그때의 교량 변형 응답이나 휨 응답을 차축 단위로 분해해 실현하고 있었다. 실제 다리의 거동은 앞에서 말했듯이 여러 가지 요인으로 불확실성이 있기 때문에 보다 로버스트한 방법이 바람직하다. 그래서 다리의 출입구 부근에 설치된 감시 카메라를 이용해 다수의 통과 차량 제원을 수집하고, 그것을 센서 데이터와 관련지어 신호 해석 모듈의 학습을 하기로 했다. 그림 1에 감시 카메라의 설치 예를 나타냈다.

 

교통량에 따라 다르지만, 경험적으로는 1주일 정도의 계측으로 수천에서 수만 대의 차량 정보를 수집하면 학습에 필요한 데이터를 취득할 수 있다. 카메라의 설치 장소는 교량에 가까울수록 좋지만, 반드시 교량을 비출 필요는 없다. 그 동안의 계측에서는 교량에서 100m 정도 떨어진 도로를 촬영한 경우도 있었다. 영상으로부터 차량을 검지할 때는 물체 검지의 알고리즘과 차량 추적 알고리즘을 사용한다.

 

2. 물체 검지

차량·차축 검지에서는 기존의 심층학습에 의한 물체 검지기를, 영상의 각 프레임(정지 화면)에 적용했다. 물체 검지는 보통 (1) 영상에서 직사각형의 부분 화상을 추출하고, (2) 그것이 물체인지 배경인지 분류하는 2가지 단계로 구성된다. 최근에는 (1)과 (2)의 모두에 심층학습을 이용한 기법이 보급되고 있다.

 

(1)에 대해서 모든 대상이 아니라 심층학습에 의해 영역을 좁혀 가는 Faster R-CNN이 보급되고 있다. 또한, (2)에 대해서 심층학습에 의한 분류기는 인간이나 동식물, 인공물 등 다양한 분류 문제에 1개의 모델로 대응할 수 있다. 또한, 컨볼루션(Convolution) 연산을 이용하는 것으로, 화상의 국소성을 고려하고 분류 정도의 개선을 하고 있다. 영상 해석 모듈의 물체 검지에는 Faster R-CNN을 차량 검지용으로 재훈련한 독자적인 모델을 이용하고 있다.

 

 

3. 차량 추적

차량 추적 알고리즘의 개요를 그림 2에 나타냈다. 이하의 단계로 구성되어 있다.

 

· 물체 검지 : 차체와 차축의 외접 직사각형을 추출한다.

· 차선 판정 : 차체와 차축이 속하는 차선을 접지점의 좌표로부터 판정한다.

· 차체 추적 : 영상 중의 연속되는 프레임 사이에서 차체의 대략적인 운동을 추적한다.

· 위축 제거 : 짐칸에 적재된 차량의 차축이나 스페어타이어의 오검지를 제거한다.

· 차축 추적 : 차축을 추적해 정확한 속도·축수·축거리를 산출한다.

 

이 알고리즘의 요점은 차체가 아니라 차축의 운동으로부터 속도·축수·축거리를 구하는 것으로, 인식 정도를 높이는 점에 있다. 실제 계측에서는 카메라의 앵글 제한으로 인해 차체 전체를 파악하기는 어려운 경우가 많기 때문에 차체나 차축의 추적에는 연구가 필요하다. 예를 들면 차축은 느닷없이 나타나고, 빠르게 화면 밖으로 사라진다. 게다가 바퀴의 색깔은 어둡고 개성에 부족하기 때문에 개체 식별이 어려운 데다, 일조 조건에 따라서는 한순간 시야에서 놓칠 수 있다.

 

또한, 영상은 항상 일정한 프레임레이트가 아니라, 프레임 드롭이 발생하는 경우도 있다. 그래서 기본적으로는 차체가 등속 직선운동한다고 가정하고, 프레임 드롭도 검지할 수 있는 속도 검지 알고리즘을 구축했다. 그 개요를 이하에 나타냈다.

 

(1) 속도 v로 등속 운동을 한다고 가정, 검지한 차축의 미래 위치를 예측한다.

(2) 예측한 위치에 차축이 온 경우는 그대로 추적한다.

(3) 예측한 위치에 차축이 오지 않은 경우에는 프레임 드롭이나 탐색 실패로 판단한다.

(4) 차축의 추정 위치와 실제 위치의 분산을 최소화하는 속도 v를 선택한다.

 

신호 해석 모듈

 

1. 센서 신호 해석에 의한 통과 차량 제원의 검지

앞에서 나타낸 영상 해석에서 얻은 차량 제원을 바탕으로 다리의 변형 응답 및 휨 응답을 학습함으로써 차량 검지가 가능해진다. 신호 해석 모듈의 출력은 이하의 6종류이다.

 

· 차량 검지 : 어느 순간에 진입한 차량의 유무를 판정한다.

· 속도 추정 : 대상 차량의 속도를 추정한다.

· 궤적 추정 : 대상 차량의 차선(갓길에서의 거리)을 추정한다.

· 축수 추정 : 대상 차량의 차축 수를 추정한다.

· 축거리 추정 : 대상 차량의 축거리를 차축의 개수만큼 추정한다.

· 축중 추정 : 대상 차량의 축중을 차축의 개수만큼 추정한다.

 

신호 분석 모듈은 이러한 6종류의 정보를 미리 멀티 태스크 학습해 둔다. 그 과정에서 영향선에 해당하는 정보가 뉴럴 네트워크의 내부에 구축된다.

 

또한, 축중 추정의 태스크는 축중의 지도학습 데이터가 얻어지는 경우에만 실시된다. 예를 들면 도로 네트워크상의 다른 지점에 있는 P-WIM(주2)이나 B-WIM(주3)에 의해 추정된 중량을 사용할 수 있는 경우는 그 값을 지도학습 데이터로서 이용한다. 이 경우, 앞에서 설명한 중량 추정 모듈은 신호 해석 모듈과 통합할 수 있다. 또한, 축중이나 총중량의 지도학습 데이터가 없어도 축중 추정을 제외한 5종류의 태스크를 학습하는 데에는 지장이 없다.

 

게다가 앞에서 말했듯이 감시 카메라의 설치 위치는 다리에서 떨어져 있는 경우가 있다. 그러한 경우는 변형 센서나 가속도 센서의 신호에 차량이 출현하는 시각과 카메라 앞을 차량이 통과하는 시각에 차이가 생긴다. 그 경우에도 시각의 차이는 기계학습에 의해 몇 초 정도라면 흡수 가능하기 때문에 지장은 없다.

 

그림 3에 신호 해석 모듈이 이용하는 컨볼루션 뉴럴 네트워크(Convolution neural network)의 설계 예를 나타냈다. 자세한 내용은 필자 등이 과거에 발표한 문헌을 참고하기 바라며, 구조는 이하와 같다.

 

 

우선, 그림의 왼쪽 끝에 100Hz로 표본화된 20초 정도의 센서 데이터를 입력한다. 그 파형은 값의 범위가 0에서 1이 되도록 정규화되어 컨볼루션층(Convolution layer)에 보내진다. 컨볼루션층은 센서 신호에 대해 컨볼루션 연산을 하여 후속의 컨볼루션층에 보낸다. 또한, 풀링(Pooling)이라고 불리는 신호의 표본화 주파수를 1/4로 분주하는 연산을 총 3회 한다. 이에 의해 1.5625Hz로 압축된 파형 특징량이 얻어진다. 이 파형 특징층을 총 4층의 전결합층(Fully connected layer)에 입력, 앞에서 말한 6종류의 태스크 추정값을 출력한다.

 

이 전결합층에는 앞에서 말한 정규화에 의해 잃어버린 파형의 진폭 정보가 주입된다. 또한, 특히 축중 추정 태스크의 경우는 감시 카메라로부터 얻은 높은 정도의 축수나 축거리 정보를 보조 입력으로 받아들일 수도 있다. 감시 카메라로부터 얻은 보조 입력을 사용할지의 여부는 시스템의 사용 케이스에 달려 있지만, 카메라의 상설이 가능한 경우는 영상 해석 결과를 사용함으로써 고정도화를 기대할 수 있다.

 

2. 심층학습에 기대되는 효과

앞에서 말했듯이 단순히 통과 차량 검지를 목적으로 한다면 감시 카메라의 설치도 심층학습의 적용도 필요 없다. 예를 들면 차축의 통과에 예민하게 반응하는 상판이나 도리 끝단부의 가속도 센서를 이용해 피크 검지를 하면, 속도나 축거리의 검지는 가능하다. 그러나 피크 검지에 이용하는 파라미터나 센서의 설치 위치 선정은 시공자의 경험에 의존하는 부분이 크다. 또한, 여러 가지 교통 조건이나 온도 변화나 공진 등이 차량 검지의 정도 저하를 초래할 수도 있다. 그 점에 대해 심층학습은 충분한 지도학습 데이터를 얻을 수 있다면, 변형 응답이나 휨 응답의 다양성을 고려하면서 자동적으로 최적의 파라미터를 학습할 수 있다.

 

또한, 변형 응답과 휨 응답, 또한 변위 신호와 가속도 신호는 물리적인 성질이 다르다. 예를 들면 가속도 신호로부터 차축을 검지하려고 해도 노이즈 성분이나 고유 진동이 원인으로 차축을 분리할 수 없는 경우가 있다. 또한, 변형 응답은 국소성이 강하며, 센서를 설치하는 부재에 따라 차축 통과 시에 나타나는 피크의 해상도가 다르다. 이러한 성질의 차이도 심층학습으로 흡수할 수 있다.

 

심층학습은 피크 검지에 의존하지 않고 속도나 차선의 검지가 가능하다. 예를 들면 주 도리의 중앙에 1군데만 변형 센서를 설치하는 것만으로도 그 파형으로부터 속도나 차선, 축수를 추정할 수 있다. 그래서 요구되는 인식 정도를 고려할 필요가 있지만, 1군데에 센서를 설치하는 것만으로 차량 검지·활하중 계측이 가능하고, 그만큼 장치의 간소화를 기대할 수 있다.

 

게다가 심층학습은 가속도 신호로부터 변형 응답을 추정하거나, 어떤 장소의 변형 응답으로부터 다른 장소의 변형 응답을 추정할 수도 있다. 그래서 교량에 설치된 센서의 상호 사활 감시나 교량 부재의 열화 검지에 응용할 수 있는 가능성도 있다. 예를 들면 차량이 통과할 때마다 센서 사이에 서로의 파형을 추정해 추정 파형이 실측 파형과 다른 경우에는 센서나 교량에 이상이 발생했다고 생각할 수 있다. 이와 같이 심층학습을 교량의 센서 데이터에 적용하면, 활하중 계측의 틀을 넘는 다양한 응용에 이용할 수 있는 가능성이 커진다.

 

실제 교량 계측 데이터의 분석 사례

 

여기서는 도로사업자와 공동 연구로 실시된 실제 교량 계측 데이터의 분석 사례를 소개한다. 대상 교량은 하천에 가교된 편측 2차선의 2경간 연속의 강교로, 전체 길이는 74m이다. 교량 구조는 상하선으로 독립되어 있으며, 그 하행선 측을 대상으로 했다. 경간 중앙부의 상판 2군데·주 도리 4개 가운데 중앙 2개의 중앙 총 2군데·단부 수직 보강재 4군데·단부 상판 3군데에 변형 센서를 설치했다. 표본화 주파수는 200Hz였다. 주 도리에는 가속도 센서도 설치했다. 또한, 다리의 입구 부근에 감시 카메라를 설치했다. 그림 1에 위치 관계를 나타냈다. P4, P5, P6은 교각이고, C, G는 경간 중앙부이며, S1, S2, S3는 상판 밑면의 형간부이며, G1, G2, G3, G4는 주 도리이다.

 

 

2019년 1월 17일부터 2월 18일까지 계측을 하고 영상 해석 모듈로 감시 카메라 영상을 처리한 결과, 197,775대의 통과 차량을 검지해 그 제원을 얻었다. 그림 4에 차선별 축수 및 축거리의 분포를 나타냈다.

 

 

이중 주행 차선을 통과한 축거리 3m 이상의 40,613대를 대상으로, 변형 센서를 이용한 차량 검지 시스템에 의한 차량 검지·속도 추정·축수 추정·축거리 추정을 했다. 실험에 있어서는 6분할 교차 검증에 의한 평가를 했다. 이때에 훈련 데이터의 10%를 검증용으로 하고, 정도가 최적이 되는 모델을 선택해 그 모델을 평가용 데이터에 적용했다. 집계 결과를 그림 5, 그림 6에 나타냈다.

 

 

두 그림의 (a)는 차량 검지의 정도를 나타내는 ROC 곡선이다. 곡선 아래쪽의 면적(AUC)은 0.97 이상으로 고정도이다.

 

두 그림의 (b)는 속도 추정의 히스토그램이다. 위쪽의 히스토그램은 추정값의 분포를 나타내고, 아래쪽의 히스토그램은 잔차의 분포를 나타낸다. 모두 평균 절대오차(MAE)는 2.87km/h, 평균 제곱오차(MSE)는 37(km/h)2로, 참값과 추정값의 상관계수는 0.76이었다.

 

두 그림의 (c)는 축수 추정의 혼동 행렬이다. 추정 축수와 진짜 축수의 조합에 대해 해당 차량의 대수를 나타내고 있다. 정도는 각각 약 92%, 95%였다.

 

두 그림의 (d)은 축거리 추정의 히스토그램이다. 그림 판독법은 속도 추정과 동일하다. MAE는 각각 0.443m, 0.314m, 참값과 추정값의 상관계수는 0.89, 0.93이었다.

 

축수 추정이나 축거리 추정 등 차축 검지의 예민한 해상도가 요구되는 태스크에서는 주 도리보다 수직 보강재 쪽이 MAE나 MSE가 낮고 고정도였다.

 

맺음말

 

이 글에서는 심층학습을 이용한 데이터 구동형의 교량 통과 차량 모니터링 기술을 소개했다. 교량에 설치한 센서의 계측 데이터에는 교량 위를 통과하는 차량의 다양한 정보가 포함되어 있으며, 심층학습 기술은 그러한 정보들을 효과적으로 추출할 수 있음을 보였다.

 

심층학습을 이용하는 경우, 대규모의 지도학습 데이터를 취득하는 것이 중요하다. 이 글에서 소개한 시스템에서는 영상 해석 기술과 조합하는 것으로 대규모의 지도학습 데이터를 준비했다. 그러나 일반적으로는 분석 목적이나 환경에 따라 지도학습 데이터를 준비하는 것이 필요하다. 다양한 사회 인프라의 모니터링에 심층학습을 응용하려면 효과적인 지도학습 데이터의 수집 및 활용 기술이 필요하다.

 

이 글에서 소개한 시스템은 대상 구조물의 물리적인 특성을 이용하고 있지 않다. 그러나 심층학습에 물리 모델을 포함시키는 연구도 진행되고 있으며, 앞으로 분석 성능이 더욱 향상될 것으로 기대된다.

 

타카스 아츠히로·카와카츠 타카야·아이하라 켄로우·아다치 쥰, 국립정보학연구소










배너









주요파트너/추천기업