사람의 얼굴 표정 데이터를 활용한 감정 분류 AI
2023.03.21 - 2023.05.30
0
0
0
공유
0
공유
  1. 서비스 명칭
    - 사람의 얼굴 표정 데이터를 활용한 감정 분류 AI
     
  2. 서비스 배경 및 목적
    - 감정분석을 통한 소비자의 만족도 측정
    - 사람의 얼굴 표정을 통한 마케팅/의료/콘텐츠 등 감성 관련 산업 서비스 제공
     
  3. 인공지능 서비스 유사 사례 분석
    - Affectiva: 얼굴 표정 분석 기술을 바탕으로 감정 인식 및 분석 서비스 
      https://www.affectiva.com/
    - Amazon Rekognition: 이미지 및 비디오 분석 서비스
      https://azure.microsoft.com/en-us/services/cognitive-services/face/ 
    - Kairos: 얼굴 감지 및 분석, 감정 인식, 유사한 얼굴 찾기 서비스
      https://www.kairos.com/
     
  4. 인공지능 모델의 입출력
    - 입력: 얼굴 영상
    - 출력: 감정 (1: 분노, 2: 슬픔, 3: 불안, 4: 상처, 5: 당황, 6: 기쁨, 7: 중립)
     
  5. 데이터셋 구축 방안
    -  10개의 장소 카테고리 배경에서 정의된 7가지 감정 상태에 대한 얼굴 표정이 담긴 자연스러운 
       일상생활 이미지
    - 크라우드 소싱을 통한 데이터 수집 
    - 방송사, 유튜버 등을 통해 수집
     - AIHub 제공: https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=82
     
  6. 데이터셋 구성 목표
    - 데이터 다운로드 
    (aihub-한국인 감정인식을 위한 복합 영상 > 데이터 다운로드 > Training 1 다운로드 > /original /[기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장) 
    - 얼굴 영역 자르기
      아래와 예시와 같이 얼굴 표정 인식은 얼굴 영역만 잘린 이미지를 기준으로 수행한다. (/crop/[기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장) 
     
    - 3개의 어노테이터가 안면 이미지에 대하 바운딩박스 작업, 감정에 대한 판별 정보 확인 후, 
      crop 이미지를 UNKNOWN, 기쁨, 당황, 분노, … 로 다시 새롭게 분류한다.
    예시1)  annot_A, annot_B, annot_C의 faaceExp의 판별 정보가 모두 다르므로 기쁨(기존 filename)→ UNKNOWN으로 분류됨.

    예시2)  annot_A, annot_B, annot_C의 faaceExp의 판별 정보가 각각 중립, 기쁨, 중립이므로 다수결에 따라 
    기쁨(기존 filename)→중립으로 분류됨.

    - 학습을 위한 데이터셋 준비
      train 80%, validation 10%, test 10% (/data/[train, test, val]/[UNKNOWN, 기쁨, 당황, 분노, …] 하위 폴더 생성 후 저장) 
      
  7. 인공지능 모델 평가 방법
    - 정확도 (accuracy) = 맞춘 샘플 개수 / 전체 샘플 개수
     
  8. 인공지능 모델 성능 목표
    - 정확도 85.0%
     
  9. 서비스 구축계획 및 사용 시나리오
    - 카메라 센서가 포함된 기기(테블릿, 스마트폰 등)에 학습한 인공지능 모델 탑재
    - 소비자가 사용하기 편리한 장소에 비치 후 서비스 제공
     
  10. 서비스 기대효과
    - 사람의 얼굴 표정을 인식하고 어떤 감정인지 분류하여 감정에 따라 추천 음악 제공
    - 마케팅 분야에서 소비자의 감정을 인식하여 제품에 대한 반응 분석
    - 인공지능이 영화를 분석하여 해당 영화 속 배우가 어떠한 감정을 나타내는지 분석
    - 스틸러, 로맨스, 코미디 등의 영화 장르 분류