위급 상황 분석을 위한 오디오 분류 모델
특정 오디오가 주어졌을 때, 그 오디오에 대응되는 위급상황이 무엇인지 분류
사회 내 안전 취약계층 위급상황 인지 및 판단 보조 :
독거노인, 중증장애인, 아동, 여성 1인 가구 등 사회 내 안전 취약계층을 포함한 전 국민 위급 상황 발생 시, 사회안전망의 필요성이 대두되고 있다.
위급 상황 발생 시, 데이터를 빠르게 분석하여 유관기관(경찰청, 소방청, 복지기관, 의료기관 등)에서의 신속한 대처가 필요하다.
예를 들어, 소통이 불가능한 신고자의 신고 음성 데이터에서, 주변 소리 분석만으로도 대처에 도움을 줄 수 있기 때문에, 오디오를 통한 상황 분석은 매우 중요하다.
맞춤형 돌봄 서비스 제공 :
오디오 분석을 통해, AI 모델 기반의 라이프스타일 패턴의 추정 및 개인화 돌봄 서비스 개발 및 구축에 도움을 줄 수 있다.
코클리어닷에이아이
비명 소리나 유리 깨지는 소리가 들리면 스마트폰 등으로 알림을 보내는 ‘위급상황 감지 시스템’ 구축
입력 : 오디오 (파일형식 : .wav)
출력 : 상황분류 (13개 상황)
강제추행, 강도범죄, 절도범죄, 폭력범죄, 화재, 갇힘, 응급의료, 전기사고, 가스사고, 낙상, 붕괴사고, 태풍-강풍, 지진
EX)
‘책상 밑으로 들어가’ → 지진
‘(장작타는 소리)’ → 화재
AIhub 위급상황 음성/음향 데이터셋
https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=17
Validation data를 training에 활용
16개의 상황 class 중에서 ‘도움요청, 실내, 실외’는 제외한 13개 class를 train에 활용
AIHub 후처리하는 코드 제공 (학습셋, 시험셋 - 랜덤시드 고정)
학습셋: 9,100개 (train 7800, val 1300)
강제추행 : 700개 (train 600, val 100)
강도범죄 : 700개 (train 600, val 100)
절도범죄 : 700개 (train 600, val 100)
폭력범죄 : 700개 (train 600, val 100)
화재 : 700개 (train 600, val 100)
갇힘 : 700개 (train 600, val 100)
응급의료 : 700개 (train 600, val 100)
전기사고 : 700개 (train 600, val 100)
가스사고 : 700개 (train 600, val 100)
낙상 : 700개 (train 600, val 100)
붕괴사고 : 700개 (train 600, val 100)
태풍-강풍 : 700개 (train 600, val 100)
지진 : 700개 (train 600, val 100)
시험셋: 650개
강제추행 : 50개
강도범죄 : 50개
절도범죄 : 50개
폭력범죄 : 50개
화재 : 50개
갇힘 : 50개
응급의료 : 50개
전기사고 : 50개
가스사고 : 50개
낙상 : 50개
붕괴사고 : 50개
태풍-강풍 : 50개
지진 : 50개
학습셋 및 시험셋의 클래스별 비율:
각 클래스별 1/13
모든 class가 동일한 비율로 데이터를 구성
정확도 (accuracy) = 맞춘 샘플 개수 / 전체 샘플 개수
예시) 강제추행 10건, 절도범죄 10건 모두 강제추행이라고 추론할 경우 50%
베이스라인 정확도 (accuracy) 53.0%
베이스라인 성능으로 모델 성능 목표 대체
그라디오로 웹 인터페이스 구성안 (입력: 이미지 파일 업로드, 출력: 텍스트)
입력 : 오디오 파일 업로드
출력 : 위급상황 클래스 텍스트
범죄 피해자 신변 보호를 위해 사용하는 스마트 워치를 활용하여, 피해자의 위급상황 대처에 도움을 줄 수 있다.
연계기관과 연계하여 취약계층 돌봄을 지원할 수 있다.
아동, 독거노인, 1인가구 등 돌봄이 필요한 사회 내 안전취약계층에게 맞춤형 돌봄 서비스를 제공할 수 있다.
