서비스 명칭
- 사람의 얼굴 표정 데이터를 활용한 감정 분류 AI
서비스 배경 및 목적
- 감정분석을 통한 소비자의 만족도 측정
- 사람의 얼굴 표정을 통한 마케팅/의료/콘텐츠 등 감성 관련 산업 서비스 제공
인공지능 서비스 유사 사례 분석
- Affectiva: 얼굴 표정 분석 기술을 바탕으로 감정 인식 및 분석 서비스
https://www.affectiva.com/
- Amazon Rekognition: 이미지 및 비디오 분석 서비스
https://azure.microsoft.com/en-us/services/cognitive-services/face/
- Kairos: 얼굴 감지 및 분석, 감정 인식, 유사한 얼굴 찾기 서비스
https://www.kairos.com/
인공지능 모델의 입출력
- 입력: 얼굴 영상
- 출력: 감정 (1: 분노, 2: 슬픔, 3: 불안, 4: 상처, 5: 당황, 6: 기쁨, 7: 중립)
데이터셋 구축 방안
- 10개의 장소 카테고리 배경에서 정의된 7가지 감정 상태에 대한 얼굴 표정이 담긴 자연스러운
일상생활 이미지
- 크라우드 소싱을 통한 데이터 수집
- 방송사, 유튜버 등을 통해 수집
- AIHub 제공: https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=82
데이터셋 구성 목표
- 데이터 다운로드
(aihub-한국인 감정인식을 위한 복합 영상 > 데이터 다운로드 > Training 1 다운로드 > /original /[기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장)
- 얼굴 영역 자르기
아래와 예시와 같이 얼굴 표정 인식은 얼굴 영역만 잘린 이미지를 기준으로 수행한다. (/crop/[기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장)

- 3개의 어노테이터가 안면 이미지에 대하 바운딩박스 작업, 감정에 대한 판별 정보 확인 후,
crop 이미지를 UNKNOWN, 기쁨, 당황, 분노, … 로 다시 새롭게 분류한다.
예시1) annot_A, annot_B, annot_C의 faaceExp의 판별 정보가 모두 다르므로 기쁨(기존 filename)→ UNKNOWN으로 분류됨.

예시2) annot_A, annot_B, annot_C의 faaceExp의 판별 정보가 각각 중립, 기쁨, 중립이므로 다수결에 따라
기쁨(기존 filename)→중립으로 분류됨.

- 학습을 위한 데이터셋 준비
train 80%, validation 10%, test 10% (/data/[train, test, val]/[UNKNOWN, 기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장)
인공지능 모델 평가 방법
- 정확도 (accuracy) = 맞춘 샘플 개수 / 전체 샘플 개수
인공지능 모델 성능 목표
- 정확도 85.0%
서비스 구축계획 및 사용 시나리오
- 카메라 센서가 포함된 기기(테블릿, 스마트폰 등)에 학습한 인공지능 모델 탑재
- 소비자가 사용하기 편리한 장소에 비치 후 서비스 제공
서비스 기대효과
- 사람의 얼굴 표정을 인식하고 어떤 감정인지 분류하여 감정에 따라 추천 음악 제공
- 마케팅 분야에서 소비자의 감정을 인식하여 제품에 대한 반응 분석
- 인공지능이 영화를 분석하여 해당 영화 속 배우가 어떠한 감정을 나타내는지 분석
- 스틸러, 로맨스, 코미디 등의 영화 장르 분류

얼굴 표정 데이터를 활용한 감정 분류_Gradio 실습 영상