[자율 주행 기술 1] 센서 융합 기반 정밀 측위 시스템과 자율 주행 기술

[자율 주행 기술 2] 산업통상자원부 센서 융합 기반 정밀 측위 과제

일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 사용되던 GPS, IMU와 함께 환경 인식 센서와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다. 

그 예로 구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 Velodyne lidar의 infrared reflectivity를 기반으로 미리 생성해 놓은 정밀 지도를 사용한다. 반면, 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우는 정밀 측위를 위해서 전파항법, 관성항법과 더불어 스테레오 카메라와
미리 생성해 놓은 정밀 지도를 사용한다.

머리말

자차의 위치를 추정하는 측위 기술은 최근 관심이 높아지고 있는 자율 주행 자동차와 첨단 운전자 보조 시스템(ADAS)에 반드시 필요한 기술이다. 자차의 위치를 정확히 알게 되면 이를 통해 획득할 수 있는 사전 지식을 기반으로 주변 환경 인식, 주변 지형에 최적인 차량 제어, 지형에 따른 주행 전략 변경을 통한 연비 향상 등의 다양한 기술을 보다 효과적으로 수행될 수 있게 된다.

측위 기술 중 가장 널리 사용되고 있는 것은 GPS(Global Positioning System) 등의 위성 정보를 활용하는 전파항법 방식이다. 

이 방식은 지구 좌표계에서의 절대 위치를 제공하고 위치 오차가 누적되지 않는다는 장점이 있는 반면, 전파 수신 상황에 따라 위치 정밀도가 좌우된다는 한계를 가진다. 이를 보완하기 위해 IMU(Inertial Measurement Unit) 등을 활용하는 관성항법 방식이 활용되고 있다.

이 방식은 전파 수신 상황에 무관하며 짧은 주행 거리에서 정밀한 상대 위치를 제공한다는 장점을 갖지만, 누적 기반 위치 추정 방법의 한계로 인해 시간이 지속됨에 따라 오차가 지속적으로 증가한다는 한계를 가진다. 

위와 같은 기존 방법의 한계를 극복하기 위하여 최근 센서 융합 기반 정밀 측위에 대한 연구가 활발하게 진행되고 있다. 일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 사용되던 GPS, IMU와 함께 환경 인식 센서(카메라, lidar 등)와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다.

이 글에서는 자율주행 부문의 IT업계 선두 주자인 구글(Google)과 완성차 업계 선두 주자인 다임러(Daimler)에서 사용한 센서 융합 기반 정밀 측위 기술들과 이의 활용 예들을 설명한 후, 저자들이 수행하고 있는 저가형 센서 융합 기반 정밀 측위 시스템을 소개하고자 한다.
 

구글의 센서 융합 기반 정밀 측위 시스템

구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 Velodyne lidar의 infrared reflectivity를 기반으로 미리 생성해 놓은 정밀 지도를 사용한다[1]. 그림 1의 좌상단은 구글의 자율주행 자동차이며 빨간색 원은 Velodyne lidar이다. 좌하단은 Lidar에서 획득된 infrared reflectivity를 보여준다.

차량의 초기 위치는 DGPS(Differential GPS)와 고가의 INS(Inertial Navigation System)로 추정되며 해당 위치에서 실시간으로 획득된 infrared reflectivity와 미리 생성해 놓은 정밀 지도의 인근 지역 정보를 비교하여 두 정보가 가장 잘 정합되는 위치를 자차의 위치로 추정한다.

그림 1의 우상단은 Velodyne lidar로 미리 생성해 놓은 정밀 지도이며 우하단은 이에서 자차 위치 인근의 정보를 가져온 결과이다.

그림 1. 구글의 센서 융합 기반 정밀 측위 시스템[1]

자차의 위치는 좌하단의 현재 측정된 정보와 우하단의 미리 측정된 정보를 정합함으로써 추정된다.

 ‌

다임러의 센서 융합 기반  정밀 측위 시스템

구글이 사용하고 있는 Velodyne lidar는 내구성, 디자인, 가격의 문제로 인해 양산 측면에서 한계를 갖는다. 완성차 및 부품 업체에서는 이를 대체할 센서로 스테레오 카메라를 도입하고 있다. 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우, 정밀 측위를 위해서 전파항법, 관성항법과 더불어 스테레오 카메라와 미리 생성해 놓은 정밀 지도를 사용한다[2].

다임러는 측위를 위해 차선 수준 지도와 특징 수준 지도를 사용한다. 두 지도는 모두 스테레오 카메라, DGPS, 고가의 INS를 기반으로 생성된다. 그림 2는 다임러가 사용하는 지도의 예를 보여준다.

그림 2. 다임러의 센서 융합 기반 정밀 측위 시스템[2]

좌상단은 차선 수준 지도를 보여주며 이는 스테레오 카메라 영상을 우상단과 같이 조감도로 변형시킨 후 수동으로 차선 정보를 입력해서 획득한다. 좌하단은 특징 수준 지도를 보여주며 이는 스테레오 카메라 영상에서 취득된 특징점과 이의 3차원 위치 및 특징을 저장하여 획득한다.

자차의 위치는 스테레오 카메라에서 획득된 차선 정보와 차선 수준 지도에 존재하는 차선 정보를 정합하고, 후방 카메라에서 취득된 특징 정보와 특징 수준 지도에 존재하는 특징 정보를 정합함으로써 추정된다.

측위와 지도의 응용 예

측위와 지도를 사용하면 차량에 장착된 센서들만을 사용하여 수행하기 어려운 작업들을 효율적으로 수행할 수 있게 된다. 첫 번째 응용 예는 신호등 인식이다[3]. 

신호등은 차량과 인프라스트럭쳐 간 통신이 제공되지 않는 상황에서 자율주행을 수행하기 위해서 반드시 인식해야 하는 교통 정보이다. 하지만 신호등은 그림 3의 좌측과 같이 크기가 매우 작고 전방 차량의 후미등 혹은 나뭇잎 등의 다른 물체와 유사한 형태 및 색상을 갖기 때문에 카메라만을 사용하여 인식하기 매우 어렵다.

그림 3. 측위와 지도를 활용한 신호등과 연석 인식[3], [4]

이를 해결하기 위해 구글은 측위와 지도 정보를 활용하였다.

먼저 정밀 지도에 주행하기 원하는 도로에 존재하는 모든 신호등의 3차원 위치를 미리 입력한다. 주행 시에는 정밀하게 추정된 자차의 위치 및 자세 정보와 지도상의 신호등 위치 정보를 사용하여 신호등이 촬영될 영상의 대략적인 위치를 추정하게 된다. 따라서 신호등 인식은 신호등이 있을 것으로 예상되는 좁은 영역에서만 수행된다. 이러한 방법으로 구글은 신호등 앞 100m에서 100%에 근접한 신호등 인식률을 달성했다.

두 번째 응용 예는 연석(curb) 인식이다[4]. 연석은 차선이 존재하지 않는 상황에서 차로와 인도를 구분하는 역할을 하기 때문에 자율주행을 위해서 반드시 인식해야 하는 물체이다. 하지만 연석은 도로와 색상이 유사하고 높이 차이가 크지 않기 때문에 카메라 혹은 lidar만으로 인식하기 어려운 물체이다. 다임러는 이를 안정적으로 인식하기 위해 측위와 지도 정보를 활용했다.

먼저 지도에 연석의 위치를 미리 입력해 놓는다. 주행 시에는 정밀 측위를 통해 자차의 위치를 추정한 후, 현재 위치에서 촬영된 영상 상에 연석이 존재할 영역을 추정한다. 그 후, 연석이 존재할 영역 인근에서만 높이 정보와 영상 밝기 정보를 활용하여 연석을 인식한다. 다임러는 이를 통해 약 95%의 정확도로 연석을 인식하는 데 성공했다.
세 번째 응용 예는 차량 제어이다[2]. 측위와 지도를 활용하면 지형에 최적인 행동을 효율적으로 생성하여 제어를 수행할 수 있게 된다. 다임러는 측위와 지도를 로터리(roundabout)에서의 양보 판단 및 제어에 사용했다. 만일, 측위와 지도 정보가 없다면 차량은 자차에 부착된 센서만을 사용하여 전방 로터리 존재 여부, 로터리의 지형, 타차의 움직임 등의 매우 많은 정보를 알아내야 한다.

하지만 측위와 지도 정보를 활용하면 차량은 전방 로터리 존재 여부와 로터리 지형을 사전 정보를 바탕으로 손쉽게 파악할 수 있기 때문에 타차의 위치 및 속도 등의 매우 적은 정보만을 차량에 부착된 센서로 알아내면 된다. 또한, 사전에 로터리에서의 양보와 관련된 이벤트 위치를 지도에 입력해 놓고 해당 위치를 어떤 차가 먼저 통과할 것인가 만을 계산하여 양보 여부를 쉽게 판단하고 이를 제어에 사용할 수 있게 된다.

그림 4는 다임러가 로터리에서 측위 및 지도 정보를 활용하여 차량 제어를 수행하는 개념도를 보여준다.

그림 4. 측위와 지도를 활용한 로터리에서의 제어 계획 수립[2]

이 그림을 통해 측위 및 지도 정보를 활용하면 복잡한 로터리를 이동하는 자차와 타차가 일차원 도로를 이동하는 것과 같이 표현할 수 있다는 것을 확인할 수 있다.

이들 응용 외에도 측위와 지도 정보는 전방 도로의 고도를 파악하여 하이브리드 혹은 전기차의 배터리 사용 여부 및 충전 시점 제어 등의 용도로도 사용할 수 있다.

서재규  한양대학교 자동차전자제어연구소 연구조교수
정호기  한양대학교 미래자동차공학과 조교수

정리 : 임근난 기자 (fa@hellot.net)