"콧노래만으로 한 곡 뚝딱"…삼성전자 사내벤처, 인공지능 작곡 시대 예고

입력 : 2017.06.09 12:00

콧노래 들려주면 한곡 뚝딱...삼성전자 C랩 출신 쿨잼컴퍼니
올 8월 정식 버전 나오기 전인데도 30만 건 다운로드

콧노래(허밍)만으로 작곡을 해주는 ‘험온(Hum on)’ 애플리케이션(앱)이 화제다. 콧노래를 부르면 알앤비(R&B), 셔플 등 다양한 반주가 저절로 만들어진다. 자신의 허밍에 맞는 반주를 선택하면 ‘작곡 끝’이다. 인공지능(AI)으로 누구나 작곡할 수 있는 시대가 성큼 다가온 것이다.

험온 앱은 공개되자마자 세계 각국 음악가(뮤지션)와 대중에게 폭발적인 관심을 받았다. 정식 버전이 아닌데도 현재까지 앱을 내려받은 건수는 약 30만건에 이른다. 입소문만 타고 낸 성과다.

허밍을 악보에 옮겨주고, 알맞은 반주까지 제공해주는 험온 앱을 만든 주인공은 삼성전자 사내벤처 씨랩(C-Lab)출신인 쿨잼컴퍼니다. 지난해 11월 삼성전자에서 분사했으며 현재 전체 직원수는 9명이다.

▲ 유럽 최대 스타트업 콘퍼런스인 파이오니어 페스티벌((Pioneers Festival )에서 최병익 쿨잼컴퍼니 대표가 발표를 진행하고 있다 . / 쿨잼컴퍼니 제공

지난 2일 만난 최병익 대표는 “2015년 12월 31일 퇴근 직전에 험온의 머신러닝 기능으로 생성한 반주를 처음 듣게 됐다” 며 “불가능할 거란 기술이 실현됐을 때의 감격을 지금도 잊을 수 없다”고 회상했다. 최 대표를 비롯한 안지호 최고운영책임자(COO), 가기환 연구이사 등 5명이 공동설립자다. 안 COO는 삼성전자 영상디스플레이(VD) 사업부에서 상품기획을 맡았으며 다른 창업 멤버들은 삼성전자에서 소프트웨어 개발 등을 맡았다.

◆ 작곡하는 머신러닝 알고리즘 마침내 개발…”사흘 연속 집에 못들어갈 때도”

험온 앱은 크게 음성인식 기술과 머신러닝 기술이 적용돼 있다. 음성인식은 사용자의 허밍을 인식하는데, 머신러닝은 허밍과 맞는 다양한 반주를 만들어내는데 쓰인다.

음성인식은 신호처리 기술과 소리 신호를 악보 정보로 바꿔주는 음원정보복원(MIR) 기술을 이용했다. 사람의 음성을 분석해 최적의 음높이와, 박자, 음길이에서 악보를 생성하는 것이다. 같은 음성인식 기술이라도 삼성전자 갤럭시S8 시리즈에 탑재된 음성인식 AI 비서 ‘빅스비’와는 다르다. 가 연구이사는 “빅스비가 발화자의 뜻을 이해하는 기술이라면 험온 앱은 음향 분석에 초점이 맞춰져 있다”고 말했다.

▲ 험온 앱 화면. 앱 하단에 여러 반주 장르가 보인다. / 이다비 기자

음성인식 기술이 허밍을 악보로 만들주면, 이후에는 머신러닝이 곡 완성도를 높여준다. 쿨잼컴퍼니는 머신러닝으로 ‘자동반주생성기술’을 구현했다. 현재 험온 앱은 알앤비, 셔플, 록, 클래식을 비롯한 7가지 장르의 반주를 제공하고 있다. 쿨잼컴퍼니는 악보 데이터를 얻어 음표, 조성, 비피엠(BPM·beats per minute) 등을 추출해 분석했다. 현재 험온 앱에는 쿨잼컴퍼니가 자체적으로 구현한 머신러닝 알고리즘이 탑재돼 있다.

머신러닝은 좋은 데이터가 많을수록 정확도가 올라간다. 쿨잼컴퍼니 직원은 좋은 악보 데이터 엄선에 공을 들이는 이유다. 가 연구이사는 “누가 들어도 ‘괜찮은 음악’을 만들기 위해, 각 장르의 특징을 최대한 살리는 악보들을 선별해 데이터를 입력하고 있다”고 말했다. 부족한 부분은 뮤지션이기도 한 쿨잼 직원이 각 장르의 특성을 살릴 수 있는 추가 음악 데이터를 만든다.

최 대표는 “머신러닝으로 반주를 만드는 것이 큰 도전이었고, 일부 팀원은 3일 동안 집에도 안 들어가고 코딩을 할 정도”고 말했다.

◆ 뮤지션들의 뭉클한 피드백이 큰 힘...교육 분야에도 관심

험온의 출발은 2015년 7월 시작된 삼성전자의 ‘음악- 공학 융합 프로젝트’였다. 지금도 국내외 뮤지션의 각종 피드백이 제품 완성도를 높이는 데 큰 도움이 된다.

특히 작곡가들의 반응도 좋다. 그동안 작곡가들은 종이와 펜, 녹음기를 들고 다니며 멜로디를 잊어버리기 전에 기록하느라 애를 먹었다. 종이로 기록하고 녹음기로 녹음을 해둬도 이를 악보로 바꾸는 것도 일이었다. 험온 앱을 사용하면, 멜로디를 기록하고 악보화하는 과정이 없이 필요없다. 인공지능이 악보를 생성해주기 때문이다.

▲ 지난 2일 쿨잼컴퍼니 사무실에서 험온 앱 시연을 보이고 있는 안지호 COO와 가기환 연구이사 / 이다비 기자

쿨잼컴퍼니는 악보 자동 생성 뿐만 아니라 악보의 미디 변환까지 제공해주는 기능을 차후 업데이트할 예정이다. 이어 가사 입력 기능, 허밍 녹음 기능 등 세부적인 기능도 피드백을 기반으로 업데이트하려고 한다. 현재 7개로 제공되는 반주 장르의 종류도 늘리려고 한다.

쿨잼컴퍼니는 험온 앱을 단순히 음악작곡 도구로만 한정짓지 않고 있다. 안 COO는 “교육쪽에도 관심을 가지고 있다”며 “최근 한 초등학교에 초청받아 험온 앱으로 음악수업을 하게 됐는데 아이들의 반응이 좋았다”고 말했다. 아이들이 험온 앱을 사용해 직접 노래도 불러보고 작곡도 할 수 있어 딱딱한 교과서적인 수업보다 효과가 좋았다는 것이다.

최 대표는 “음악이라는 내 꿈을 이룰 수 있게 해주셔서 고맙다는 리뷰에 가슴이 뭉클해지기도 했다”면서 “사용자의 피드백을 반영한 업데이트는 꾸준히 하겠다”고 밝혔다. 쿨잼컴퍼니는 오는 8월 안드로이드와 iOS에서 험온의 정식 버전을 출시할 계획이다.

원문보기:
http://biz.chosun.com/site/data/html_dir/2017/06/09/2017060901244.html#csidxa59b92701d5880499eea9fd793efbdb