일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 사용되던 GPS, IMU와 함께 환경 인식 센서와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다. 그 예로 구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 Velodyne lidar의 infrared reflectivity를 기반으로 미리 생성해 놓은 정밀 지도를 사용한다.
반면, 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우는 정밀 측위를 위해서 전파항법, 관성항법과 더불어 스테레오 카메라와 미리 생성해 놓은 정밀 지도를 사용한다.
머리말
자차의 위치를 추정하는 측위 기술은 최근 관심이 높아지고 있는 자율 주행 자동차와 첨단 운전자 보조 시스템(ADAS)에 반드시 필요한 기술이다. 자차의 위치를 정확히 알게 되면 이를 통해 획득할 수 있는 사전 지식을 기반으로 주변 환경 인식, 주변 지형에 최적인 차량 제어, 지형에 따른 주행 전략 변경을 통한 연비 향상 등의 다양한 기술을 보다 효과적으로 수행될 수 있게 된다.
측위 기술 중 가장 널리 사용되고 있는 것은 GPS(Global Positioning System) 등의 위성 정보를 활용하는 전파항법 방식이다.
이 방식은 지구 좌표계에서의 절대 위치를 제공하고 위치 오차가 누적되지 않는다는 장점이 있는 반면, 전파 수신 상황에 따라 위치 정밀도가 좌우된다는 한계를 가진다. 이를 보완하기 위해 IMU(Inertial Measurement Unit) 등을 활용하는 관성항법 방식이 활용되고 있다.
이 방식은 전파 수신 상황에 무관하며 짧은 주행 거리에서 정밀한 상대 위치를 제공한다는 장점을 갖지만, 누적 기반 위치 추정 방법의 한계로 인해 시간이 지속됨에 따라 오차가 지속적으로 증가한다는 한계를 가진다.
위와 같은 기존 방법의 한계를 극복하기 위하여 최근 센서 융합 기반 정밀 측위에 대한 연구가 활발하게 진행되고 있다. 일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 사용되던 GPS, IMU와 함께 환경 인식 센서(카메라, lidar 등)와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다.
이 글에서는 자율주행 부문의 IT업계 선두 주자인 구글(Google)과 완성차 업계 선두 주자인 다임러(Daimler)에서 사용한 센서 융합 기반 정밀 측위 기술들과 이의 활용 예들을 설명한 후, 저자들이 수행하고 있는 저가형 센서 융합 기반 정밀 측위 시스템을 소개하고자 한다.
구글의 센서 융합 기반 정밀 측위 시스템
구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 Velodyne lidar의 infrared reflectivity를 기반으로 미리 생성해 놓은 정밀 지도를 사용한다[1]. 그림 1의 좌상단은 구글의 자율주행 자동차이며 빨간색 원은 Velodyne lidar이다. 좌하단은 Lidar에서 획득된 infrared reflectivity를 보여준다.
차량의 초기 위치는 DGPS(Differential GPS)와 고가의 INS(Inertial Navigation System)로 추정되며 해당 위치에서 실시간으로 획득된 infrared reflectivity와 미리 생성해 놓은 정밀 지도의 인근 지역 정보를 비교하여 두 정보가 가장 잘 정합되는 위치를 자차의 위치로 추정한다.
그림 1의 우상단은 Velodyne lidar로 미리 생성해 놓은 정밀 지도이며 우하단은 이에서 자차 위치 인근의 정보를 가져온 결과이다.
그림 1. 구글의 센서 융합 기반 정밀 측위 시스템[1]
자차의 위치는 좌하단의 현재 측정된 정보와 우하단의 미리 측정된 정보를 정합함으로써 추정된다.
다임러의 센서 융합 기반 정밀 측위 시스템
구글이 사용하고 있는 Velodyne lidar는 내구성, 디자인, 가격의 문제로 인해 양산 측면에서 한계를 갖는다. 완성차 및 부품 업체에서는 이를 대체할 센서로 스테레오 카메라를 도입하고 있다. 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우, 정밀 측위를 위해서 전파항법, 관성항법과 더불어 스테레오 카메라와 미리 생성해 놓은 정밀 지도를 사용한다[2].
다임러는 측위를 위해 차선 수준 지도와 특징 수준 지도를 사용한다. 두 지도는 모두 스테레오 카메라, DGPS, 고가의 INS를 기반으로 생성된다. 그림 2는 다임러가 사용하는 지도의 예를 보여준다.
그림 2. 다임러의 센서 융합 기반 정밀 측위 시스템[2]
좌상단은 차선 수준 지도를 보여주며 이는 스테레오 카메라 영상을 우상단과 같이 조감도로 변형시킨 후 수동으로 차선 정보를 입력해서 획득한다. 좌하단은 특징 수준 지도를 보여주며 이는 스테레오 카메라 영상에서 취득된 특징점과 이의 3차원 위치 및 특징을 저장하여 획득한다.
자차의 위치는 스테레오 카메라에서 획득된 차선 정보와 차선 수준 지도에 존재하는 차선 정보를 정합하고, 후방 카메라에서 취득된 특징 정보와 특징 수준 지도에 존재하는 특징 정보를 정합함으로써 추정된다.
측위와 지도의 응용 예
측위와 지도를 사용하면 차량에 장착된 센서들만을 사용하여 수행하기 어려운 작업들을 효율적으로 수행할 수 있게 된다. 첫 번째 응용 예는 신호등 인식이다[3]. 신호등은 차량과 인프라스트럭쳐 간 통신이 제공되지 않는 상황에서 자율주행을 수행하기 위해서 반드시 인식해야 하는 교통 정보이다.
하지만 신호등은 그림 3의 좌측과 같이 크기가 매우 작고 전방 차량의 후미등 혹은 나뭇잎 등의 다른 물체와 유사한 형태 및 색상을 갖기 때문에 카메라만을 사용하여 인식하기 매우 어렵다.
그림 3. 측위와 지도를 활용한 신호등과 연석 인식[3], [4]
이를 해결하기 위해 구글은 측위와 지도 정보를 활용하였다.
먼저 정밀 지도에 주행하기 원하는 도로에 존재하는 모든 신호등의 3차원 위치를 미리 입력한다. 주행 시에는 정밀하게 추정된 자차의 위치 및 자세 정보와 지도상의 신호등 위치 정보를 사용하여 신호등이 촬영될 영상의 대략적인 위치를 추정하게 된다. 따라서 신호등 인식은 신호등이 있을 것으로 예상되는 좁은 영역에서만 수행된다. 이러한 방법으로 구글은 신호등 앞 100m에서 100%에 근접한 신호등 인식률을 달성했다.
두 번째 응용 예는 연석(curb) 인식이다[4]. 연석은 차선이 존재하지 않는 상황에서 차로와 인도를 구분하는 역할을 하기 때문에 자율주행을 위해서 반드시 인식해야 하는 물체이다. 하지만 연석은 도로와 색상이 유사하고 높이 차이가 크지 않기 때문에 카메라 혹은 lidar만으로 인식하기 어려운 물체이다. 다임러는 이를 안정적으로 인식하기 위해 측위와 지도 정보를 활용했다.
먼저 지도에 연석의 위치를 미리 입력해 놓는다. 주행 시에는 정밀 측위를 통해 자차의 위치를 추정한 후, 현재 위치에서 촬영된 영상 상에 연석이 존재할 영역을 추정한다. 그 후, 연석이 존재할 영역 인근에서만 높이 정보와 영상 밝기 정보를 활용하여 연석을 인식한다. 다임러는 이를 통해 약 95%의 정확도로 연석을 인식하는 데 성공했다.
세 번째 응용 예는 차량 제어이다[2]. 측위와 지도를 활용하면 지형에 최적인 행동을 효율적으로 생성하여 제어를 수행할 수 있게 된다. 다임러는 측위와 지도를 로터리(roundabout)에서의 양보 판단 및 제어에 사용했다. 만일, 측위와 지도 정보가 없다면 차량은 자차에 부착된 센서만을 사용하여 전방 로터리 존재 여부, 로터리의 지형, 타차의 움직임 등의 매우 많은 정보를 알아내야 한다.
하지만 측위와 지도 정보를 활용하면 차량은 전방 로터리 존재 여부와 로터리 지형을 사전 정보를 바탕으로 손쉽게 파악할 수 있기 때문에 타차의 위치 및 속도 등의 매우 적은 정보만을 차량에 부착된 센서로 알아내면 된다. 또한, 사전에 로터리에서의 양보와 관련된 이벤트 위치를 지도에 입력해 놓고 해당 위치를 어떤 차가 먼저 통과할 것인가 만을 계산하여 양보 여부를 쉽게 판단하고 이를 제어에 사용할 수 있게 된다.
그림 4는 다임러가 로터리에서 측위 및 지도 정보를 활용하여 차량 제어를 수행하는 개념도를 보여준다.
그림 4. 측위와 지도를 활용한 로터리에서의 제어 계획 수립[2]
이 그림을 통해 측위 및 지도 정보를 활용하면 복잡한 로터리를 이동하는 자차와 타차가 일차원 도로를 이동하는 것과 같이 표현할 수 있다는 것을 확인할 수 있다.
이들 응용 외에도 측위와 지도 정보는 전방 도로의 고도를 파악하여 하이브리드 혹은 전기차의 배터리 사용 여부 및 충전 시점 제어 등의 용도로도 사용할 수 있다.
산업통상자원부 센서 융합 기반 정밀 측위 과제
저자들은 현재 산업통상자원부의 지원을 받아 ‘GPS-DR, 영상 및 도로 정보를 융합한 횡방향 정밀도 20cm 이내의 저가형 측위 시스템 개발’이라는 센서 융합 기반 정밀 측위 과제를 수행하고 있다. 그림 5는 개발 중인 시스템의 구성도와 각 부분을 맡고 있는 기관을 보여준다.
그림 5. 센서 융합 기반 정밀 측위 과제의 시스템 및 팀 구성도(과제명: GPS-DR, 영상 및 도로 정보를 융합한 횡방향 정밀도 20cm 이내의 저가형 측위 시스템 개발)
정밀 지도 생성은 현대엠엔소프트가, GPS 기반 전파항법은 세스트가, 카메라 기반 차로 표시 인식은 한양대학교가, IMU 기반 관성항법 및 센서 융합 측위 부분은 주관기관인 위드로봇이 맡고 있다. 해당 기술을 상용화할 경우, 지도와 카메라 모듈을 제외한 추가 비용을 20달러 이하로 예상하고 있다.
개발 중인 시스템은 기본적으로 GPS 기반 전파항법과 IMU 기반 관성항법의 결과를 기반으로 차량의 위치를 추적하며, 전파 수신 상황에 따른 GPS의 오차와 시간에 따라 증가하는 IMU의 누적 오차를 카메라 기반으로 인식된 노면표시와 정밀 지도에 입력되어 있는 노면표시를 정합하여 해소해주는 방식으로 동작한다.
그림 6은 개발 중인 시스템에서 사용하고 있는 지도를 보여준다.
그림 6. 정밀 지도 생성
좌측은 MMS(Mobile Mapping System) 장비를 사용하여 획득한 3차원 점들로 구성된 초기 지도이고, 이로부터 수동으로 차로 표시, 노면 표시 등의 다양한 특징들을 추출하여 우측과 같은 축약된 형태의 정밀 지도를 생성한다. 이 지도는 차로의 노드 및 링크, 횡단보도, 방향 표시, 정지선 등의 다양한 정보를 담고 있다. 그림 7은 전방 카메라를 사용하여 차로 및 노면 표시 인식을 수행한 결과를 보여준다.
그림 7. 차로 및 노면 표시 인식 결과
이 과제에서는 차선, 정지선, 횡단보도 예고 표시, 8가지 화살표의 위치와 유형을 인식하여 측위에 사용한다.
그림 8은 개발 중인 시스템의 측위 결과를 보여준다.
그림 8. 개발 중인 센서 융합 기반 정밀 측위 시스템의 결과
해당 예제는 차량이 고가 아래를 지나가는 상황이다. 상단은 전방 카메라 영상을, 하단은 지도상의 자차 위치를 보여준다. 지도에서 갈색 화살표는 GPS만 사용한 결과를, 보라색 화살표는 센서 융합 기반 결과를 보여준다.
좌측 영상에서 고가를 진입하기 전에 비교적 정확하던 GPS 기반 측위 결과가 중앙 영상에서 고가를 진입한 후에 오차가 커지다가 우측 영상에서는 지도 밖으로 나갈 정도로 오차가 매우 커지는 것을 확인할 수 있다. 하지만 센서 융합 기반 측위의 경우 고가 진입 전과 후에 모두 안정적인 결과를 보이며, 자차가 1차선에서 2차선으로 차선을 변경하는 것을 정확하게 추정하고 있음을 확인할 수 있다.
기준값을 출력하는 지도 생성 차량에 시제품을 장착하여 GPS 수신이 원활하지 않은 지역을 위주로 약 200km를 주행한 결과 차로 구별이 가능한 수준인 약 1m의 오차를 확보할 수 있음을 확인했다. 이는 1차년도 결과이며 2차년도에는 더욱 향상된 결과를 얻을 수 있을 것으로 예상하고 있다. 자세한 설명과 동영상은 주관 기관인 위드로봇 홈페이지에서 확인할 수 있다[5].
맺음말
자율 주행 및 첨단 운전자 보조 시스템을 위해서는 정밀 측위가 반드시 필요하며, 도심 상황에서 이를 달성하기 위해서는 전파항법 및 관성항법 기술과 더불어 정밀 지도와 환경 인식 센서를 융합하는 기술을 함께 사용해야 한다.
측위 및 지도 정보는 객체 인식, 차량 제어, 연비 향상 등의 다양한 용도로 사용할 수 있으며, 측위, 인식, 제어 등을 위한 다양한 정보가 포함된 통합 주행 환경 지도를 도입하면 자율주행 기술의 복잡도를 정해진 경로만을 운행하는 트램과 유사한 수준으로 감소시킬 수 있을 것으로 예상된다.
서재규 한양대학교 자동차전자제어연구소 연구조교수
정호기 한양대학교 미래자동차공학과 조교수
정리 : 임근난 기자 (fa@hellot.net)
