스마트인재개발원 'SOULFUL' 팀, 감정 기반 음악 추천 서비스 제안
비지도 학습‧딥러닝 기술 등 활용…사용자 위치의 날씨 및 감정 분석
이모티콘으로 감정을 표현하면, 지금 기분에 어울리는 맞춤 곡 재생
스트리밍 서비스 비롯한 챗봇‧음악 치료 등 다양한 산업에 접목 가능
"늦은 나이는 없다, 스마트인재개발원 경험은 내 인생의 터닝 포인트"
【편집자주】 광주광역시 소재 스마트인재개발원은 올해 한 해 동안에만 800여 명의 인재를 양성해 배출할 계획이다. 그동안 스마트인재개발원의 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 최근 인공지능‧빅데이터 분야 5개 과정에서 약 960시간의 교육을 마친 120명의 청년들이 최종 프로젝트를 시연하면서 성과를 발표했다. 기자는 Aidea 기획시리즈를 통해 청년들의 갈고닦은 역량이 결집된 기발한 아이디어들을 소개하려 한다.
# 직장인 A씨는 퇴근 길에 집 근처 공원에 들렀다. 하루종일 업무에 시달리며 피로감에 몸과 마음이 지친 A씨는 공원 벤치에 앉아 휴대폰을 꺼냈다. 이어폰을 귀에 꽂고 즐겨찾기에서 요즘 자주 애용하는 '사용자 감정 기반 음악 추천 서비스'를 눌렀다. 마침 노을이 지고 있는 풍경이 눈앞에 그림 같이 펼쳐졌다.
'지금 기분은 어떠신가요?' 가을이 끝나가는 11월 말이라 그런지 날은 맑았지만 제법 쌀쌀해져 코끝이 시렸다. A씨는 '센티해요'라는 감정 이모티콘을 선택했다. 그러자 지금 A씨의 기분과 날씨에 딱 맞는 노래가 흘러나왔다. 정인의 '살다가보면'이다. 노래의 분위기와 가사 속 이야기가 지금 A씨의 감정에 퍽 어울렸다.
"날이 저물고 집에 돌아오는 길이 쓸쓸하게 느껴질 때마다 괜찮을거야 혼잣말을 하곤 해 나도 모르게 자꾸 흥얼대 하루를 살다가 보면 다 괜찮아지겠지 이렇게 살다가 보면 다 괜찮아질거야 받았던 상처도 추억이 되고 다 괜찮아질거야 "
노래를 흥얼거리면서 또 다시 내일을 살아갈 힘을 얻는 A씨다.
멜론과 유튜브 뮤직, 스포티파이(Spotify) 등 국내외 다양한 음악 스트리밍 서비스가 각광받고 있는 가운데, 음악 스트리밍 플랫폼도 고객의 소비 형태 변화에 맞춰 날로 진화하고 있다. 특히 최근에는 인공지능(AI) 기반 개인 맞춤형 서비스에 대한 수요가 늘어남에 따라, 고객 개개인의 취향이 반영된 음악 추천 시스템도 빠르게 도입되는 추세다.
국제음반산업협회(IFPI)에 따르면 전 세계 음악시장 규모는 지난해 약 216억 달러로 6년 연속 지속적인 성장세를 보이고 있다. 특히 스트리밍 서비스 부문은 134억 달러 규모로 전체 음악 매출의 약 62%를 차지할 정도로 큰 시장을 형성하고 있다. 그만큼 고객 유치를 위한 경쟁도 점점 더 치열해지고 있다. 더욱 더 정교화된 맞춤 서비스를 찾는 고객들의 욕구를 충족시키지 못한다면 이들을 잡아두기 어렵다는 이야기다.
스마트인재개발원의 수료생들로 구성된 'SOULFUL(소울풀)' 팀은 이 같은 고민에서 출발해 기존 서비스와는 차별화된 '사용자 감정 기반 음악 추천 서비스'를 제안했다. 사용자 위치에 따른 날씨를 고려하고 사용자의 감정을 확인해 이에 어울리는 음악들의 플레이리스트를 제공함으로써 사용자의 만족도를 높이겠다는 것.
SOULFUL 팀은 비지도 학습과 딥러닝 기술 등을 활용해 노래 가사나 음원 데이터 등 음악 특성 분석을 통한 콘텐츠 기반 필터링으로 이번 서비스를 구현했다. 사용자가 있는 곳의 날씨와 감정에 따라 맞춤형 음악을 제공하는 것은 물론, 플레이리스트의 감정을 시각화한 데이터를 토대로 사용자가 본인이 선호하는 곡의 감정과 분위기를 확인할 수 있도록 설계했다.
현재는 알앤비(R&B) 장르에 국한돼 있지만 해당 서비스에 사용된 전처리와 딥러닝 기술을 다른 음악 장르에도 확대 적용함으로써 더 폭넓고 정교한 음악 추천 서비스 구현이 가능할 것이라는 게 SOULFUL 팀의 설명이다. 또 기존 음악 스트리밍 서비스 산업을 비롯해 챗봇 서비스 산업과 음악 치료 산업 등 다른 분야와 접목될 경우 큰 시너지를 창출할 수 있을 것으로 기대했다. SOULFUL 팀의 신명진 팀장을 만나 해당 아이디어에 대한 이야기를 들어봤다.
(영상=신명진 팀장 제공).
Q. 아이디어를 고안하게 된 계기가 궁금합니다.
▶ 이번 프로젝트는 기업형 주제로 진행됐다. 우리 팀의 멘토기업은 감성 분석 AI 음악 플랫폼 기업인 '인디제이(inDJ)'였다. 기업 멘토링을 받으면서 음악 스트리밍 서비스 분야를 제안 받아 이 아이디어를 구상하게 됐다.
알앤비 음악을 위주로 사용자의 감정에 기반해 음악을 추천해주는 서비스이기 때문에, 팀명도 알앤비 음악의 소울풀한 특징과 감정을 담는 서비스라는 중의적인 의미에서 'SOULFUL'이라고 정했다.
Q. 아이디어에 대한 구체적인 설명 부탁드립니다. 어떤 기술이 접목되었는지요.
▶ 사용자가 메인 페이지에 들어가면, 우선 사용자의 위치에 대한 날씨 정보를 기반으로 해당 날씨에 보편적으로 어울리는 음악을 추천해준다. 그 다음 사용자가 감정을 선택할 경우 그 감정에 어울리는 음악도 추천해주는 서비스다. 또 사용자가 부정적인 감정을 갖고 있다면 이 감정을 긍정적으로 바꿔줄 수 있는 노래를 추천해주는 것이 우리 서비스의 목표이자 핵심이다.
학생 신분이다 보니 데이터를 충분하게 모을 수가 없어, 머신러닝(ML)을 이용한 문제 해결 경진대회 오픈 플랫폼 '카카오 아레나(kakao arena)'를 활용했다. 멜론 측에서 약 70만 개의 음원 특성 데이터를 제공했다. 음원 첫 부분과 중간 부분, 끝 부분으로 나눠 해당 음악이 어떤 주파수 대역과 내용을 가지고 있는지 음원 특성을 알 수 있다. 우리 팀은 이 데이터를 기반으로 알앤비 노래만 추출했다.
우리 팀은 어떤 감정과 분위기의 음악인지를 알아내고자 비지도 학습 기법 두 가지(K-means와 계측적 군집 분석)를 사용했다. 이를 통해 4만 7천 개의 음악이 각각 어떤 분위기인지를 분류했다. 이후 AI 딥러닝 학습을 시켜서 '이러한 주파수 대역을 가진 음악은 어떠한 분위기일 것이다'라고 미리 학습시켜 놓은 다음 새로운 데이터가 들어오면 분류 기법을 통해 '이 노래는 이 분위기'라고 예측할 수 있도록 구현했다.
가사가 있는 노래의 경우 약 1만 7천 개의 가사 데이터를 수집해 비지도 학습시켰고 가사에 따른 감정을 분류해냈다. 영어 가사는 구글에서 개발한 자연어 처리 딥러닝 모델 '버트(BERT)'를, 한국어 가사는 SKT의 '코버트(KoBERT)'를 활용했다. 딥러닝 학습 후에 새로운 가사가 들어오면 해당 노래의 감정을 알아낼 수 있도록 설계했다. 이를 통해 곡의 분위기와 가사 분위기, 이 두 가지를 합쳐 해당 노래가 내포한 감정을 예측할 수 있는 것이다.
Q. 유사 제품들과 비교해 차별화된 강점은 무엇입니까.
▶ 일단 스포티파이를 제외한 국내 서비스를 살펴보면, 음악의 기본 정보를 토대로 추천해주는 서비스가 많다. 혹은 사용자가 예전에 어떤 음악을 들었는지 사용자 로그 데이터를 기반으로 이와 유사한 음악을 추천해주는 게 대부분이다.
그런데 우리 서비스의 경우 음악 분석 기법으로 음악이 어떤 감정에 해당하는지 분류했고, 사용자가 이모티콘을 통해 자신의 기분과 감정을 선택했을 시 그 감정에 맞게 음악을 추천해준다. 물론 사용자의 기본 정보나 로그 정보를 활용해 추천하는 것도 중요한 서비스다. 하지만 사용자가 느끼는 감정과 감성에 어울리는 음악을 추천할 수 있다는 것이 우리 서비스의 차별화된 강점이라고 생각한다.
Q. 프로젝트를 수행하는 과정에서 어려움은 없으셨나요.
▶ 전체 팀원 5명 가운데 4명이 비전공자다. 그러다 보니 비지도 학습이나 지도 학습 시에 어떻게 접근하면 좋을지 접근법을 찾고 이를 풀어가는 과정이 쉽지만은 않았다. 접근 방법은 알아냈다 하더라도 비지도 학습법을 실행하기 위한 각각의 코드를 찾아내는 게 힘들었다.
전공자들은 바로바로 쉽게 찾아낼 수 있는 부분들도 우리는 비전공자다 보니 순탄치 않았다. 가사 감정 분류 작업은 비교적 수월하게 진행된 반면, 음원 분위기 분류 작업의 경우 쉽게 풀리지 않아 계속 고민하면서 여러 번 시행착오를 겪었던 일이 기억에 남는다.
Q. 이번 성과가 향후 어떻게 활용될 수 있을지요.
▶ 로그 정보 기반의 음악 추천도 굉장히 중요한 서비스이기 때문에, 기존 서비스에 우리 기술을 접목시킨다면 좀 더 사용자들에게 정교하게 음악을 추천해줄 수 있을 것으로 기대한다. 특히 우리가 구현한 가사 감정을 알아내는 텍스트 마이닝 기술에는 어느 정도 자신이 있다. 텍스트 내 감정 분류 기술은 사용자의 감정을 파악해 코멘트나 피드백을 분석하는 데 사용될 수 있지 않을까 생각한다.
음원 분위기 분류 기술의 경우 음악 치료 산업에도 활용될 수 있다. 프로젝트를 추진하면서 음악 치료에 관한 논문들도 많이 찾아봤는데, 부정적인 감정을 많이 느끼는 사람들을 치유하기 위해서는 긍정적 생각을 떠올리게 하는 음악을 추천해주는 것이 도움이 된다는 사실을 알게 됐다. 이에 음악 치료 산업에 접목시킨다면 좋은 효과를 볼 수 있을 것 같다. 또 현재로서는 이 서비스가 알앤비에만 집중돼 있지만, 타 장르에 접목시켜 훨씬 광범위하게 활용될 수 있을 것으로 기대한다.
Q. 향후 계획에 대해.
▶ 현재 우리가 고안한 서비스는 상용화되기에 아직은 부족하다고 생각한다. 6개월 동안 스마트인재개발원에서 배운 내용을 토대로 여러 가지 공부를 통해 구현했지만, 사업성을 높이기 위해서는 고도화 작업을 거쳐 개선해야 할 부분이 많다. 팀원 모두 이번 프로젝트를 진행하면서 부족한 점들을 많이 느꼈다. 다들 이 경험을 바탕으로 취업해 더 많이 배우고 성장해나가는 것을 목표로 하고 있는 것 같다.
개인적으로는 이곳에서 공부했던 시간이 내 인생에서는 '터닝 포인트'가 아닐까 생각한다. 스마트인재개발원의 선생님들이 굉장히 알기 쉽게 가르쳐 주셔서 자신감도 많이 얻었다. 앞으로 죽을 때까지 이 분야에 몸담아도 괜찮겠다 싶을 정도로 재미있었고 얻은 게 많은 시간이었다.
Q. 마지막으로 강조하고 싶은 한 말씀.
▶ 같이 수업을 들었던 학생들은 거의 나보다 10살 이상 어린 20대가 대부분이었다. 30대 중반에 막상 새로운 일을 시작한다는 게 쉽지 않았다. 그럼에도 불구하고 아직 늦지 않았다는 걸 강조하고 싶다. 이제 100세 시대라고 하지 않나. 주위를 둘러보면 한 곳에만 몰두하는 친구들이 많은데, 어느 순간 길을 잃었거나 무언가 하고 싶은데 길이 막혀 답답하다면 이곳에 와서 수업을 듣는 게 굉장히 소중한 경험이 되서 다른 새로운 길을 찾을 수 있는 계기가 될 수 있을 것이라고 생각한다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com