3D시스템즈 20200123

홈 > 기계·FA >



PTC 리드젠 캠페인
매거진
잡지이미지
잡지이미지
잡지이미지
잡지이미지
잡지이미지
  • 구독신청
  • 광고안내

element 20191202

유진로봇 3D 라이다 YRL3 신규 출시 실내 3D 라이다를 만나보세요

[TECHNOLOGY FOCUS] 시각장애인의 옥외 이동 지원 기술과 그 지속 가능 디자인

입력 : 2020.10.05 10:23

글자크게보기 글자작게 댓글달기 좋아요 즐겨찾기

페이스북 트위터 카카오스토리 블로그

[헬로티]


1964년 도쿄 올림픽에서 일본 국내 패럴림피언(장애인 올림픽 선수)은 그 대부분이 하코네나 벳푸의 요양소에서 생활하는 사람들이었는데, 그에 반해 서양 국가들의 패럴림피언은 직업을 가지고 정상인과 함께 사회생활을 영위하고 있었다. 해외 경기자가 외출을 하고 쇼핑을 하는 것을 놀라운 눈으로 보았다고 한다.


그로부터 56년이 지난 현재, 장애인에 대한 배려와 가치관의 성숙은 물론이고, 정보 기술의 큰 발전 속에 소수자에 대한 지원 기술(Assistive Technology)은 크게 발전했다. 시각장애에 한하지 않고 외출은 자립을 위한 중요한 요소이다. 날씨가 좋은 날에는 산책을 한다, 편의점에 물건을 사러 간다, 이러한 것들은 현재의 사회 환경에서는 당사자에게 있어 여러 가지 어려움이 존재하고 있다.


이 글에서는 2018년도부터 필자 등이 대응해 왔던 연구의 총체에 관해 보고하려고 한다. 2013년 장애인 차별 해소법의 시행 이후, 장애를 가진 당사자와 정상인이 차별 없는 사회 활동을 영위하는 환경, 의식 개혁이 다양한 측면에서 이루어지고 있다. 그중에서 시각장애의 경우, 특히 완전실명의 장애 당사자에게 있어 사회 활동에 반드시 필요한 옥외 이동에는 여전히 ​​여러 가지 어려움이 많다.


안내견의 경우에는 수명, 육성 문제와 코스트, 보호자 동반의 심리적 배려 등은 당사자가 부담 없이 옥외로 나다니는 것을 쉽게 하고 있다고는 말하기 어렵다. 사회복지법인 일본맹인회연합(현 : 일본시각장애인단체연합)의 설문조사에 의하면, 혼자 외출할 수 있다고 대답한 시각장애인의 53%는 약시이며, 특히 완전실명의 장애인에 대해 이 단독 보행 지원은 중요한 과제이다.


시각장애인의 옥외 이동 지원에서는 주로 내비게이션 관점에서 많은 연구가 보고되어 있다. 그중에서도 Sato 등에 의한 BLE 비콘을 대상 범위에 고밀도로 설치하는 것으로 실현한, 시각장애인 지원 용도의 고정밀 옥내 내비게이션이 잘 알려져 있는데, 몇 m 간격으로 beacon 디바이스를 설치해야 하기 때문에 이동 범위를 사전에 한정할 필요가 있다. 이에 대해 GPS를 이용해 이 문제를 해결할 수 있지만, 여전히 GPS 정확도에는 한계가 있고, 50cm 정확도가 어긋난 것만으로도 보행자는 점자 블록이나 보도의 일탈, 심지어는 단차에 의해 넘어질 위험이 생기게 된다.


최근에는 cm급의 GPS 서비스 전개가 추진되는 등 상황 변화는 있지만, 어쨌든 건물의 그림자나 전파 상황 악화로 인해 옥외에서는 항상 이와 같은 고정밀 GPS 서비스를 보증하는 것은 쉽지 않다. 또한, 루트를 유도하는 것만으로는 통행 시의 동적인 장애물, 보행자, 주륜 자전거, 간판, 삼각콘 등은 당사자가 흰지팡이로 물체를 감지할 수밖에 없다.


흰지팡이 등의 디바이스 관점에서 이동 지원을 하는 연구 사례도 많이 보고되어 있다. 이것은 Electronic Travel Aids(ETAs)라고 부르며, 1960년대부터 연구가 진행되고 있다. 초음파 센서는 레이저에 의한 센싱 기능을 통해 장애물 정보를 음성이나 진동 정보로서 사용자에게 제시하는 것이 일반적인데, 대부분은 사용성이 낮은 것이 많아 실제로 이용되고 있는 것은 적다.



한편, 90년대부터 Computer Vision(이하 ‘CV’)를 활용한 ETAs의 연구 보고가 이루어지고 있다. 지금까지는 여러 개의 센서를 이용해 주변 정보를 얻고 있던 것에 대해, CV 기반의 ETAs인 경우 프로세서와 카메라가 있으면 기본적인 시스템 설계를 할 수 있다는 것이 장점이다. 이번 연구에서는 이 점에 주목, CV 기반의 ETAs 디바이스를 스마트폰으로 대체함으로써 장애 당사자가 쉽게 사용할 수 있는 시스템을 목표로 한다. 이번 연구에서 프로토타입으로서 실장을 목표로 하는 시스템 스케치를 그림 1에 나타냈다.


이 시스템 개발을 실현하기 위해, 이번 연구에서는 다음의 3가지를 실현해야 할 설계로 했다.


1. 시각장애인의 옥외 이동 지원을 목적으로 한 데이터 세트의 개발

2. 데이터 세트 개발의 지속 가능한 디자인

3. 데이터 세트를 이용한 이동 지원 시스템의 개발


초기 데이터 세트 개발


이번 연구에서는 심층학습을 이용한 CV에 의한 물체 검출을 이용한다. 이미 물체 검출에서는 ImageNet, COCO나 Google사의 Open Image Data Set 등으로 대표되는 데이터 세트를 학습시키는 것으로 범용적인 물체 검출기 개발은 비교적 용이해졌지만, 이들을 그대로 이번 연구에 이용하는 것은 곤란하다. 이것은 일본 국내의 취득 이미지가 적은 것, 필자 등이 필요로 하는 검출 대상 물체가 애초에 등록되어 있지 않는 것, 그리고 등록되어 있는 경우라도 이번 연구에서 가정하는 물체와의 대응이 되어 있지 않은 것이 원인이다. 예를 들면 그림 2는 Open Image Dataset에서 traffic_light 어노테이션 인스턴스를 표시한 이미지이다. 자동차 및 보행자용 신호기가 혼재하고 있으며, 더구나 그 형상과 배경은 국외인 것이 많다는 것을 알 수 있다.



구체적으로 어떤 물체를 검출할 것인지, 장애를 가진 당사자 및 정보처리학회 접근성 연구회의 발표를 통해 논의를 거듭했으며, 또한 2017년 10월부터 시각장애인을 위한 내비게이션 시스템 개발을 추진해온 주식회사 컴퓨터사이언스연구소의 개발 멤버와 논의했다. 결과적으로 person이나 car 등 범용성이 높은 클래스 외에, 점자 블록이나 단차, 정원수, 보행자용 누름버튼, 횡단보도, 백선 등을 종합한 총 39종류(2020년 3월 19일 시점)의 클래스로 했다.


2018년 4월부터 2019년 9월에 걸쳐 단속적으로 촬영 및 어노테이션 작업을 실시했다. 데이터 세트에서 이미지 수는 7,122장, 총 인스턴스 수는 83,319부위로 되어 있다. 이미지는 주로 도쿄도립대학 히노 캠퍼스 주변(개발자 검토용), JR 중앙선 도요타역 주변(개발자 검토용) 기타큐슈 시내(내비게이션 시스템 실험용), 히로시마 평화기념공원(시각장애인용 평화 학습 교재 작성용)에서 촬영된 것을 이용하고 있다.



개발한 데이터 세트를 이용해, 각 클래스당 mAP(IoU50% 임계값의 mean Average Precision) 측정 결과를 나타낸다. 측정에는 yolov3 모델을 이용해 각 클래스당 mAP를 산출하고, 전체 7,122장의 이미지 중 10% 정도에 해당하는 716장을 테스트 데이터로서 계산했다. 테스트 데이터는 무작위 추출하고 있기 때문에 이미지 내의 출현 빈도 및 인스턴스 수가 적은 물체가 테스트 데이터에 포함되지 않는 경우가 있었다. 따라서 해당 클래스에 관해서는 전체 평균 mAP의 계산에서 제외했다. 표 1에 벤치마크 결과를 나타냈다. 그림 3에 테스트 데이터의 검출 결과 예를 나타냈다.


지속 가능한 디자인의 적용


지금까지 개발한 데이터 세트의 개요와 간단한 벤치마크를 소개했는데, 원래 이 데이터 세트는 필자 등이 수동으로 어노테이션 작업을 하고 있다. 그러나 이러한 데이터 세트는 장애 당사자가 거주하는 지역에 특화된 데이터 세트인 것이 이상적이다. 앞으로 다양한 환경에서 이 시스템을 활용하는 것을 고려할 때, 거주 지역에 특화된 데이터 세트 개발을 어떻게 지속 가능한 형태로 디자인할 필요가 있는지가 중요하다. 그래서 이번 연구에서는 간병인이나 가족이 부담 없이 데이터 세트 개발에 참여할 수 있는 시스템을 스마트폰 애플리케이션을 통해 제공하기로 했다.


사용자 시나리오는 다음과 같다. 이 지원 시스템을 이용하고 있는 사용자가 외출할 때, 자택 주변의 횡단보도가 검출되어 있지 않은 것을 보호자가 알게 됐다. 그래서 보호자는 어노테이션용 애플리케이션을 기동, 그 자리에서 인식할 수 없었던 물체를 어노테이션하고, 서버에 전송한다. 서버 상에 송신된 데이터는 확인 후, 다음의 네트워크 학습 데이터 세트에 반영된다. 며칠 후 보호자가 같은 지점에서 지원 시스템의 인식 상황을 확인하면, 전회에 등록된 물체를 검출할 수 있게 되어 있다.



실제 등록할 때의 모습을 보여주는 스크린샷을 그림 4에 나타냈다. 어노테이션 결과는 이미지 및 독자 json 파일로서 Firebase 상의 서버로 전송, 보존된다. 학습 서버에서는 json 형식 파일에서 VOC 혹은 YOLO 형식으로 어노테이션 파일을 변환한 후, 학습기에 보낸다. json 형식의 파일에는 해당되는 바운딩 박스 및 클래스 라벨 정보뿐만 아니라, 촬영한 GPS 좌표도 부여되어 있지만, 현 시점에서는 이용하고 있지 않다. GPS 좌표에 관해서는 지원 시스템을 이용하는 사용자의 지역에 특화된 네트워크 중요 데이터의 자동 제공을 장래에 예상하고 있다.


개발 중 애플리케이션을 이용함으로써 이 데이터 세트 개발에 일반 사용자가 쉽게 참여할 수 있다. 장래적으로는 당사자가 보행 시에 개인적으로 안표로 하고 있는 물체나 지역에만 있는 특이한 물체에 관해서도 검출이 가능할 것으로 생각하고 있다.


이동 지원 시스템에 대한 응용


여기서는 검출한 물체를 어떻게 당사자에게 알리고, 옥외 이동을 지원할지에 관해 필자 등의 성과를 보고한다. 이 글에서는 내비게이션 기능에 대한 실장 및 실험 보고와 청각화(소니피케이션)에 의한 주변 상황 파악 제시 방법의 2가지에 관해 설명한다.


1. 내비게이션 기능에 대한 실장

주식회사 컴퓨터사이언스연구소의 협력을 얻어, 실험에서 이용하고 있는 내비게이션 시스템 내의 물체 검출 모듈을 이번 연구에서 개발한 데이터 세트를 이용해 실장했다. 시각장애인(완전실명, 약시, 선천성, 후천성)에 대해 출발 지점에서 목적지까지의 경로를 시스템을 이용해 내비게이션 실험을 했다. 피험자는 목걸이형 디바이스를 장착한다. 시스템 조작은 실험 실시자가 하기 때문에 피험자가 조작하는 것은 아니다. 피험자는 목걸이형 디바이스상의 스피커에서 흘러나오는 음성에 기초해 보행을 한다. 후쿠오카 시각장애인고용개발촉진센터의 협력 하에, 장애 당사자에 대해 실험 협력을 의뢰했다. 실험 시의 모습을 그림 5에 나타냈다. 또한 이 실험은 수도대학도쿄(현재는 도쿄도립대학) 히노 캠퍼스 연구윤리위원회에서 2019년 12월 19일자로 승인(승인 번호 : H19-032)받았다.



실험 내용 및 결과의 자세한 내용은 앞으로의 보고를 기다리기 바란다. 시스템의 사용성 등에 관해 16항목의 5단계 리커트 척도에 의한 질문지법을 이용해 설문조사를 실시, 물체 검출 기능을 이용한 결과만을 발췌해 그림 6에 나타냈다. 실험에서 많은 피험자로부터 긍정적인 의견을 모을 수 있었던 한편, 펜스나 벽 등의 주의 환기는 불필요, 점자 블록 점자 블록과 같이 지나치게 반복되는 말투 등의 시스템 개선 의견도 거론됐다.



실험 실시 후, 내비게이션 시스템 주담당 개발자 1명과 필자 등이 제공한 학습 완료 네트워크 이용에 관해 논의했다. 이 내비게이션 시스템은 2017년 10월부터 개발을 계속하고 있으며, OpenCV를 이용해 보행자나 점자 블록, 보행자용 신호기에 관해 특징 추출 기반의 절차 적인 이미지 처리를 실장하고 있었는데, 개발 당초부터 이미지 처리의 인식률 및 정확도에 관한 과제가 있었다. 지금까지도 피험자 실험을 해 왔는데, 이번 심층학습 모듈로 변경함으로써 검출 정확도가 분명하게 향상을 보였다는 의견을 개발자 측과 교환할 수 있었다.


2. 청각화에 의한 제시

내비게이션 기능 실장 외에 청각화(소니피케이션)에 의한 시험도 동시에 하고 있다. 앞의 내비게이션 기능 실장과 달리, 주변 물체를 음성 인식을 하지 않고 검출 물체 라벨이나 좌표에 따라 특정 음성 파형을 사용자에게 제시한다. 이 대응에 관해서는 앞으로 피험자 실험을 실시할 예정이기 때문에 이 글에서는 실장 시스템의 개략에 관해 설명한다.


픽셀 수준의 청각화 방법으로, Meijer에 의한 이미지 정보의 음향 신호 변환이 잘 알려져 있다. 이번 연구에서 개발하는 제시 방법도 이 영향을 크게 받고 있다. 사진 이미지를 8×8의 그레이 스케일 데이터로 하고, 이미지 중의 세로 위치와 오실레이터 주파수를, 이미지 가로 방향을 시간축으로 해 임의의 시퀀스 바를 움직임으로써 이미지 전체의 픽셀 정보를 소리 정보로 변환한다.


이 방법은 vOICe라고 하는 애플리케이션명으로 Meijer씨의 웹사이트에서 스마트폰 애플리케이션 등이 제공되고 있으며, 또한 트레이닝 매뉴얼에서는 구체적인 이미지 샘플과 음성 파일을 세트로 확인할 수 있다.


Meijer의 방법에서는 이미지 정보를 명암으로 한정하고 있기 때문에 색 정보의 제시가 사용자는 불가능하다. 이에 대해 k-means법 등의 이미지 세그먼테이션이나 특징점 추출을 이용해 이미지의 색 정보에 악기음을 할당하는 청각화 방법이 Bologna 등에 의해 제안되어 있다. 문헌 ‘An Experimental System for Auditory Image Representations’에서는 이용하지 않았던 음색을 활용해 구체적인 악기음을 할당하고 있다. 한편, 재생 위치의 주사는 하지 않고 머리부 전달함수를 이용한 입체 음향을 이용해 여러 개의 음원을 동시에 사용자에게 제시하고 있다.


3. 프로토타이핑

우선은 문헌 ‘An Experimental System for Auditory Image Representations’를 참고로, 청각화 시스템의 프로토타입을 했다. 지금까지는 픽셀 수준이었지만, 이번 연구에서는 인식된 물체 수준의 정보를 얻을 수 있다. 이에 각각의 물체에 대해 다른 주파수를 할애하는 것에서부터 시작했다. 또한, 발음 기준이 되는 주사선에 관해, 왼쪽에서 오른쪽으로 주사하는 것 외에도 다양한 주사 방법을 함께 검토했다. 개발한 프로토타입의 초기 설계를 그림 7에 나타냈다.



취득한 이미지에 대해 물체 검출 처리를 한다. 주사선(scanline)이 검출 물체 상을 이동하고 있는 경우, 중첩되는 물체에 미리 할당된 파형을 생성한다. 또한, 해당 물체의 중심 위치를 기준으로 좌우의 볼륨 컨트롤도 동시에 한다. 그림 7의 경우, 약간 왼쪽 부근에서 삼각파가 거의 중심에서 삼각파보다 약간 주파수가 높은 정현파가 생성되고 있다. 검출 물체와 파형의 매핑에 관해서는 이 시점에서는 하지 않고, 우선은 모두 동일한 정현파로 실장을하고 검토를 시작했다.


4. 물체와 파형의 매핑

개발한 프로토타입을 이용해 현대 작곡가와 청각화를 전문으로 하는 연구자와 토론을 하고, 잠정적으로 이하의 지침을 이끌어내 매핑하기로 했다.


•점자 블록이나 횡단보도 등의 보행을 유도하는 물체에 대해 화이트 노이즈를 이용해 사용자에게 평면감을 준다.

•동적 장애물(자동차와 자전거, 사람)에 대해서는 주의를 촉구하기 위해 구형파로 한다.

•단차나 주차, 수풀과 펜스 등의 정적 장애물에 관해서는 정현파를 이용한다.

•횡단보도의 파란등, 빨간등에 대해서는 실제와 동일한 보행 유도음을 이용한다.


이상의 지침을 기초로 해당 데이터 세트 32클래스(원고 집필 시점에서는 39클래스)에 대해 잠정적인 매핑을 했다. 


그림 8에 실제로 동작하고 있을 때의 스크린샷을 나타냈다. 사용자는 Loop 모드를 온으로 함으로써 반복 주사선을 왼쪽에서 오른쪽으로 자동적으로 이동시키고, 검출 물체를 청각화할 수 있다.


맺음말


18세기부터 시작된 산업혁명 이후 고품질·저가격의 제품을 얻을 수 있게 됐지만, 그것은 대다수에 대한 공급, 즉 최대공약수로서의 행복화인 것을 우리는 암묵적으로 받아들여 왔다. 그러나 최근의 제조 환경 향상에 의해 한 사람을 위한 제조가 현실감을 띄면서 실제로 그들 각각에 대한 디자인 실천 사례도 보고되기 시작했다. 특히 디지털 패브리케이션 환경의 향상으로 가족, 친구, 연인 등의 한 사람을 위한 디자인이 디지털에서도 가능하게 됐다. 이에 따라 소수자나 익스트림 유저 등으로 호칭되는 사용자에게 제조를 실천함으로써 최대공약수의 행복에서 보다 다양한 행복으로 완만하게 사회가 움직이고 있다. 이들은 다이버시티(diversity)나 다양성 등의 말로 사회에 정착하고 있으며, 동일한 것이 제조나 디자인에서도 현실화되고 있다고도 할 수 있다.


올림픽·패럴림픽, 그리고 더 나아가서는 그 미래의 공생 사회를 위해 이번 연구가 시각장애인 지원에 일조할 수 있기를 바라며, 앞으로도 연구 활동을 계속해 나갈 것이다.


바바 테츠아키, 도쿄도립대학 시스템디자인학부

와타나베 히데노리, 도쿄대학 대학원 정보학환(연구조직)

카마에 츠네요시, 도쿄대학 이학계연구과 물리학 전공

이 기사는 의 요약글입니다. <기사 상세내용보기>를 클릭하시면 전체 기사를 보실 수 있습니다.

기사 상세내용보기

어드밴텍 2019.11.25
디지키 2020.11
이전글
‘데이터 댐’ 이용해 불법 복제품 잡는 인공지능 개발한다
다음글
[TECHNOLOGY FOCUS] 선수촌에서도 사용 가능한 10초 만에 알 수 있는 감염증 스크리닝...
FLIR
성안당_내인생의갑
주요 파트너 / 추천기업

(주)코닥트 케이블케리어

F&B Soultion co. 엔코더

(주)동화기업 오일쿨러/유압부품

트윈컴퍼니 Bolting최적솔루션

바움뉴텍 하모닉감속기

세원정밀전자 오토스위치

삼원액트(주) FA제어반배선기기

신한전자기기 크레인안전장치

티아이씨(주) 볼스크류

(주)이디에스 감속기

(주)맵스코 볼 스크류 / LM가이드

KEM 공작기계관련부품

토마스케이블 케이블

씨크코리아 센서

효성훼바 모터콘트롤러

나라삼양감속기 감속기

케이씨티앤에스 소재부품

마이클앤솔루션 튜브넘버링기

엔아이피 머신비전

플루크네트웍스 테스터기

엘리먼트14 전자부품

SEC e-beam

에스디상사 공구

오토빔 공장자동화

지브라 자동인식 산업

더블유케이티 절연제품

성안당 기술서적

댓글쓰기

0/500

등록
전체 댓글수 0

최신순 | 인기순

    댓글이 없습니다.