개요

 악기 연주가 녹음된 .wav 파일을 바탕으로 연주된 악기가 무엇인지 추측해내는 모델입니다. 대표적인 오디오 분석 라이브러리인 librosa를 이용해 오디오 파일에서 feature를 추출하고 CNN 모델을 바탕으로 학습을 진행합니다.

 데이터셋에는 단일 악기로 연주된 곡과 여러 악기로 연주된 곡이 존재합니다. 따라서 해당 문제는 다중 레이블 분류(multi-label classification)에 해당됩니다. 모델이 클래스별로 예측해낸 정답 확률이 60% 이상인 클래스를 정답으로 간주합니다.

• dataset: https://drive.google.com/file/d/1-oMuUn1k1CLp3VSSjbrO_XRjFslIUUO5/view?usp=sharing (MusicNet 데이터셋(링크)을 가공함)
• input: .wav file
• output: 악기 종류 (https://ko.wikipedia.org/wiki/%EC%9D%BC%EB%B0%98_MIDI 를 활용)

성능평가

Accuracy

제한 사항

• 데이터셋에 모든 악기의 음성이 담겨있지 않으므로 검출이 불가능한 클래스가 존재할 수 있습니다. (오케스트라를 구성하는 악기가 주로 사용된 것 같습니다.)