스마트인재개발원 '크랙커' 팀, AI 기반 포트홀 탐지 시스템 고안
딥러닝 기술 기반 블랙박스 영상 분석으로 포트홀 실시간 감지
직접 찾아다니지 않아도 운전만 하면 포트홀 발견해 자동 신고
운전자 안전 보호…향후 내비게이션‧자율주행차 등에 접목 가능

포트홀 사고에 따른 피해 보상 금액이 해마나 증가하고 있는 가운데, 스마트인재개발원의 '크랙커(Cracker)' 팀은 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'을 고안했다. (사진=셔터스톡).
포트홀 사고에 따른 피해 보상 금액이 해마나 증가하고 있는 가운데, 스마트인재개발원의 '크랙커(Cracker)' 팀이 '차량 블랙박스 영상 분석을 통한 실시간 포트홀 탐지 시스템'을 고안해 눈길을 끌고 있다. (사진=셔터스톡).

 

【편집자주】 광주광역시 소재 스마트인재개발원은 올해 한 해 동안에만 800여 명의 인재를 양성해 배출할 계획이다. 그동안 스마트인재개발원의 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 최근 인공지능‧빅데이터 분야 5개 과정에서 약 960시간의 교육을 마친 120명의 청년들이 최종 프로젝트를 시연하면서 성과를 발표했다. 기자는 Aidea 기획시리즈를 통해 청년들의 갈고닦은 역량이 결집된 기발한 아이디어들을 소개하려 한다.

# 광주광역시에 거주하는 A씨. 시내 도로와 골목 곳곳에 지뢰처럼 숨어 있는 포트홀을 미처 발견하지 못해 깜짝 놀란 적이 한두 번이 아니다. 특히 지난 주 폭우가 쏟아지면서 갑자기 생긴 포트홀 때문에 도로를 달리던 중 타이어에 펑크가 나기도 했다. 자칫 추돌사고로 이어질 뻔했던 아찔한 순간이었다.

발견한 포트홀을 사진 찍어 신고하려고 해도 막상 운전을 하다 보면 촬영하기가 쉽지 않다. 그런데 최근 블랙박스 영상 분석을 통해 실시간으로 포트홀을 탐지하고 신고해주는 서비스가 나왔다는 소식에 반가운 A씨다. 운전자가 주행만 하면, 블랙박스 화면을 통해 자동으로 포트홀 탐지 후 신고까지 된다는 것이다. 

관리자와 사용자는 신고내역 페이지에서 실시간으로 포트홀의 위치와 보수 여부 등을 확인할 수 있다. 또 지도상에서 신고된 포트홀의 사진과 정보도 볼 수 있다. 그리고 보수 관리가 끝난 포트홀은 지도에 나타나지 않게 된다. 이 덕분에 장마철 운전대를 잡을 때마다 큰 사고가 날까 노심초사했던 A씨는 한시름을 덜게 됐다.

스마트인재개발원의 '크랙커(Cracker)' 팀은 최근 차량의 블랙박스 영상을 분석해 실시간으로 포트홀을 탐지할 수 있는 시스템을 제안했다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원의 '크랙커(Cracker)' 팀은 최근 차량의 블랙박스 영상을 분석해 실시간으로 포트홀을 탐지할 수 있는 시스템을 제안했다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).

도로 위 지뢰 '포트홀' 이제 직접 찾지 마세요!

운전만 해도 포트홀 실시간 감지해 자동 신고 

'도로 위 지뢰'라고 불릴 정도로 운전자들의 안전을 위협하는 포트홀(pothole, 도로 파임 현상). 최근 국지성 집중 호우 발생 빈도가 늘어남에 따라 포트홀도 지속적으로 발생하고 있다. 또 포트홀 사고에 따른 피해 보상 금액 역시 해마나 증가하고 있는 추세다. 도로 곳곳에 움푹 파인 포트홀은 차량 파손은 물론, 자칫 잘못하면 대형사고로 이어질 수 있는 만큼 신속한 보수가 필요하다.

정부와 지자체에서 포트홀 방지와 보수를 위한 대책 마련에 나서고 있으나 쉽지 않은 상황이다. 자체적으로 차량을 주행해 포트홀을 찾거나 시민들의 신고에 기대보지만 한계가 있다. 이 같은 상황에서 최근 스마트인재개발원의 '크랙커(Cracker)' 팀은 '차량 블랙박스 영상 분석을 통한 실시간 포트홀 탐지 시스템'을 고안해 기대감을 모으고 있다.

스마트인재개발원 크랙커(Cracker) 팀의 김원지 팀원이 최근 성과물 발표회에서 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'의 서비스 흐름도를 소개하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원 크랙커(Cracker) 팀의 김원지 팀원이 최근 성과물 발표회에서 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'의 서비스 흐름도를 소개하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원 크랙커(Cracker) 팀의 김원지 팀원이 최근 성과물 발표회에서 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'의 개발 내용에 대해 설명하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원 크랙커(Cracker) 팀의 김원지 팀원이 최근 성과물 발표회에서 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'의 개발 내용에 대해 설명하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).

실제 성과물 발표회에서 크랙커 팀은 해당 아이디어로 심사위원의 호평을 이끌어내 최우수상을 수상하기도 했다. 크랙커 팀은 블랙박스 영상 분석으로 주행 중 포트홀을 감지하고 자동으로 신고할 수 있는 시스템을 구축함으로써 쾌적한 주행 환경을 조성하겠다는 구상이다. 직접 포트홀을 찾아다니거나 번거롭게 신고할 필요도 없다. 차량 운전만으로 도로 위 포트홀의 위치가 자동 신고된다.  

신속한 포트홀 보수를 통해 교통사고로 인한 사회적 손실 비용을 감소시킬 뿐 아니라 포트홀 관리를 위한 인력 부담도 크게 줄일 수 있다는 게 크랙커 팀의 설명이다. 향후 이 기술은 내비게이션이나 자율주행자동차 등에 접목돼 다양하게 활용 가능할 것으로 보인다. 크랙커 팀의 정수빈 팀장을 통해 해당 아이디어에 대한 이야기를 들어봤다. 

(영상=정수빈 팀장 제공).

【인터뷰】 '크랙커(Cracker)' 팀의 정수빈 팀장 

Q. 아이디어를 고안하게 된 계기가 궁금합니다.

(사진=정수빈 팀장 제공). 
(사진=정수빈 팀장 제공). 

 이번 프로젝트는 기업형 주제로 진행됐다. 멘토기업인 '케이랩스' 측에서 블랙박스를 활용한 포트홀 감지에 관한 아이디어를 먼저 제시하셨다. 이를 기반으로 아이디어를 구현해 나갔다.

블랙박스로 포트홀을 감지해 지도에 활용함으로써 보수하시는 분들이 편하게 보게끔 하는 서비스까지 구축하게 됐다.

Q. 아이디어에 대한 구체적인 설명 부탁드립니다. 어떤 기술이 접목되었는지요.

주행 중에 발견된 포트홀을 자동으로 신고 받아 빠르게 보수가 이뤄질 수 있는 서비스를 구축하고자 했다. 차량 블랙박스 영상 분석을 통해 실시간으로 포트홀을 감지하는 시스템이다. 포트홀 신고가 들어오면, 그 신고된 포트홀이 지도상 어느 위치에 있는지까지 파악할 수 있도록 설계했다.

우선 딥러닝 기반 'YOLOv5' 모델을 통해 포트홀 데이터를 학습시켰다. YOLOv5 모델은 실시간 객체 탐지 능력이 뛰어나고 빠른 학습 속도를 가진 알고리즘이다. 이렇게 학습된 모델을 이용해 차량 주행 중 포트홀을 감지할 수 있도록 했다. 블랙박스 영상에서 포트홀이 인식되면 그 순간의 포트홀 위치와 사진 등을 데이터베이스에 저장해 바로 신고될 수 있도록 구현했다. 그렇게 신고가 된 포트홀 정보들은 홈페이지에서 신고 내역을 통해 볼 수 있다. 

또 지도 API를 활용해 우리가 제작한 웹페이지에 포트홀이 있는 위치를 구현했다. 해당 웹페이지 자체에서도 실시간으로 신고된 포트홀이나 보수되지 않은 포트홀이 어느 위치에 있는지 등을 알 수 있도록 만들었다.

크랙커(Cracker) 팀의 차량 블랙박스 영상 분석 기반 실시간 포트홀 지도. (사진=정수빈 팀장 제공).
크랙커(Cracker) 팀의 차량 블랙박스 영상 분석 기반 실시간 포트홀 지도. (사진=정수빈 팀장 제공).
크랙커(Cracker) 팀의 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'. 신고된 포트홀 정보는 홈페이지의 신고 내역을 통해 볼 수 있다. (사진=정수빈 팀장 제공).
크랙커(Cracker) 팀의 '차량 블랙박스 영상 분석 기반 실시간 포트홀 탐지 시스템'. 신고된 포트홀 정보는 홈페이지의 신고 내역을 통해 볼 수 있다. (사진=정수빈 팀장 제공).

Q. 유사 제품들과 비교해 차별화된 강점은 무엇입니까.

정부에서 시민들이 직접 포트홀 사진을 촬영해 신고할 수 있는 앱이 있다. 하지만 주행 중에는 사진 촬영이 어렵고 신고 건수도 많지 않다. 수도권에서는 버스를 활용한 도로 파손 신고 시스템도 있다. 충격 감지 센서와 GPS를 활용한 자동 신고 시스템인데, 급커브나 방지턱에서 잘못된 데이터가 발생할 수 있다는 단점이 있었다. 우리처럼 블랙박스 영상으로 포트홀을 감지해 지도상에서 포트홀 위치를 보여주고 자동으로 바로 신고를 하는 서비스는 아직 없는 것으로 알고 있다. 

Q. 프로젝트를 수행하는 과정에서 어려움은 없으셨나요.

▶ 포트홀 이미지 데이터를 학습시켜 블랙박스 영상에 적용하는 과정에서 애로사항이 있었다. 보통 블랙박스 영상은 정면에서 찍히게 된다. 그런데 포트홀을 위에서 아래로 바라보는 사진 구도로 학습시키다 보니, 막상 블랙박스 영상에 적용할 때 사진 구도가 달라 포트홀을 제대로 인식하지 못했다.

이에 블랙박스에서 정면으로 바라보는 구도의 사진들을 다시 수집해야 했다. 그런데 블랙박스 구도의 포트홀 이미지를 모으기가 쉽지 않았다. 해당 데이터가 그렇게 많지 않아 약 700장 정도밖에 학습을 시키지 못해 아쉬웠다. 그래도 이 같은 시행착오를 거쳐 개선해 의미 있는 결과를 도출할 수 있었다.   

스마트인재개발원의 크랙커(Cracker) 팀은 블랙박스의 포트홀 인식률 저조와 오인식 등의 문제를 해결하기 위해 블랙박스 구도 데이터를 선별해 다시 학습시켰다. 해당 문제점을 개선해 시연한 영상. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원의 크랙커(Cracker) 팀은 블랙박스의 포트홀 인식률 저조와 오인식 등의 문제를 해결하기 위해 블랙박스 구도 데이터를 선별해 다시 학습시켰다. 해당 문제점을 개선해 시연한 영상. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).

Q. 이번 성과가 향후 어떻게 활용될 수 있을지요.

 포트홀 신고를 통해 확보한 정보를 API로 개발해 내비게이션 회사에 배포를 한다면 큰 시너지를 낼 수 있을 것으로 기대한다. 주행 시 아직 보수가 안 된 포트홀을 알려주는 주의 알림 서비스에도 적용 가능해, 운전자들이 안전 운전을 하는 데 도움이 될 것이라고 본다. 또 최근 각광받고 있는 자율주행자동차에도 해당 기술을 접목한다면 알아서 포트홀을 피할 수 있는 기능이 탑재될 수 있지 않을까 생각한다.  

Q. 향후 계획에 대해.

▶ 만약 이 서비스가 상용화된다면, 향후 점점 더 많은 데이터를 확보할 수 있을 것이다. 현재로서는 데이터 학습률이 부족해, 보수가 이미 끝난 포트홀도 포트홀이라고 인식하는 경우가 종종 있다. 하지만 앞으로 수집될 포트홀 이미지 데이터를 토대로 지속적으로 학습을 시켜 정확도를 높이고 해당 서비스를 개선해 나가고 싶다. 또한 앞서 이야기한 것처럼 운전자들이 안전하게 주행할 수 있도록 API로 개발해 내비게이션 회사에 배포할 수 있다면 좋을 것 같다.  

크랙커(Cracker) 팀 단체사진. 왼쪽부터 진용환‧정수빈‧김원지‧김영민 팀원. (사진=정수빈 팀장 제공).
크랙커(Cracker) 팀 단체사진. 왼쪽부터 진용환‧정수빈‧김원지‧김영민 팀원. (사진=정수빈 팀장 제공).

 

AI타임스 윤영주 기자 yyj0511@aitimes.com

[관련기사] [Aidea] ⑪ “어디로 떠나볼까”…가고 싶은 곳 사진만 올리면 AI가 맞춤형 차박 캠핑지 추천

[관련기사] [Aidea] ⑩ “지금 내 감정과 잘 어울리는 노래는”…AI 추천 음악으로 힐링