한국전자통신연구원(ETRI )
팔로워13명
주최대회0개
글쓰기
수면 데이터 관련 선행 연구
1. 수면 단계 분류연구 사례: "Automated Sleep Stage Scoring in Mice Using Deep Learning"이 연구는 딥러닝을 활용하여 수면 단계를 자동으로 분류하는 모델을 개발했습니다. 수면 연구는 일반적으로 수면 단계(REM, NREM, 깨어있는 상태)를 분류하기 위해 EEG(뇌파), EMG(근전도), EOG(안구운동)를 사용합니다. 하지만 이 연구는 딥러닝 기술을 사용하여 수동으로 라벨링된 데이터를 학습하고, 새로운 수면 데이터를 자동으로 분류할 수 있는 모델을 구축했습니다.데이터: EEG, EMG 신호기법: Convolutional Neural Networks (CNNs)결과: 모델은 수면 단계 분류 정확도가 매우 높았으며, 이는 수면 연구의 효율성을 크게 향상시킬 수 있음을 보여줍니다.2. 수면 무호흡증 감지연구 사례: "Deep Learning for Sleep Apnea Detection from Single-Lead ECG"이 연구는 수면 무호흡증을 감지하기 위해 단일 리드 ECG 데이터를 분석하는 딥러닝 모델을 개발했습니다. 수면 무호흡증은 수면 중 호흡이 반복적으로 멈추는 상태로, 심각한 건강 문제를 초래할 수 있습니다.데이터: 단일 리드 ECG 신호기법: Recurrent Neural Networks (RNNs) 및 Long Short-Term Memory (LSTM) 네트워크결과: 모델은 높은 정확도로 수면 무호흡증 에피소드를 감지할 수 있었으며, 이는 가정에서의 수면 무호흡증 모니터링을 가능하게 합니다.3. 수면 효율성 예측연구 사례: "Predicting Sleep Efficiency Using Wearable Sensors and Machine Learning Techniques"이 연구는 웨어러블 센서를 사용하여 수면 효율성을 예측하는 모델을 개발했습니다. 수면 효율성은 실제 수면 시간과 침대에 누워 있는 시간의 비율로, 수면의 질을 평가하는 중요한 지표입니다.데이터: 심박수, 신체 활동, 피부 온도 등의 센서 데이터기법: Support Vector Machines (SVM), Random Forest, Gradient Boosting결과: 다양한 머신 러닝 모델을 비교하여, 특정 모델이 수면 효율성을 높은 정확도로 예측할 수 있음을 발견했습니다.4. 개인화된 수면 패턴 분석연구 사례: "Personalized Sleep Pattern Analysis Using Machine Learning Techniques"이 연구는 개인화된 수면 패턴을 분석하고, 각 개인의 수면 습관에 맞춘 개선 조언을 제공하는 모델을 개발했습니다.데이터: 수면 일지, 웨어러블 기기 데이터, 환경 데이터(예: 온도, 소음)기법: K-Means Clustering, Principal Component Analysis (PCA)결과: 개인의 수면 패턴을 군집화하여 유사한 수면 습관을 가진 그룹을 식별하고, 각 그룹에 맞춤형 수면 개선 전략을 제안했습니다.5. 수면 장애 예측연구 사례: "Early Detection of Sleep Disorders Using Deep Learning Techniques"이 연구는 딥러닝을 활용하여 수면 장애(예: 불면증, 기면증)의 초기 징후를 감지하는 모델을 개발했습니다.데이터: 장기 수면 기록, 생리적 데이터(심박수, 호흡률)기법: Deep Neural Networks (DNNs), Autoencoders결과: 모델은 수면 장애의 초기 징후를 높은 정확도로 감지할 수 있었으며, 이는 조기 개입과 치료를 가능하게 합니다.6. 수면 데이터 시각화 및 해석연구 사례: "Interactive Visualization of Sleep Data Using AI Techniques"이 연구는 수면 데이터를 시각화하고, AI를 사용하여 데이터를 해석하는 도구를 개발했습니다.데이터: 다양한 소스의 수면 데이터(EEG, 웨어러블 기기 데이터 등)기법: Data Visualization Techniques, Machine Learning Interpretability Tools결과: 사용자는 자신의 수면 패턴을 쉽게 이해하고, AI가 제공하는 인사이트를 통해 수면의 질을 개선할 수 있었습니다.7. 신경망을 이용한 수면 단계 자동화연구 사례: "Neural Network-Based Automatic Sleep Stage Classification for Portable Devices"이 연구는 휴대용 기기에서 실시간으로 수면 단계를 분류하는 신경망 모델을 개발했습니다.데이터: EEG, EMG, EOG 신호기법: Convolutional Neural Networks (CNNs), Long Short-Term Memory (LSTM)결과: 모델은 휴대용 기기에서 실시간으로 작동하여 수면 단계를 정확히 분류할 수 있었으며, 이는 개인의 수면 모니터링을 더욱 편리하게 만들었습니다.
Explainable AI | SHAP 논문 리뷰
SHAP은 모델의 판단에 각 feature가 얼만큼의 영향을 미쳤는지 분석할 때 사용하는 도구이다. 본 대회의 task는 사용자의 생활 패턴을 토대로 수면의 질과 수면과 관련된 병을 판단하는 것이므로, AI 모델이 병을 진단한 이후에도 그렇게 판단된 이유를 알아야 할 필요가 있다.따라서, 우리 팀에서는 SHAP을 사용해 feature를 분석해보았는데, 본 글에서는 “A Unified Approach to Interpreting Model Predictions” 논문을 리뷰해보려고 한다.해당 논문은 SHAP을 처음으로 제안한 논문이다. INTRODUCTION목표: 모델 예측의 해석은 예측 정확도만큼 중요하며, 특히 복잡한 모델(앙상블, 딥러닝 모델 등)의 경우 해석이 어렵다.문제: 여러 해석 방법이 제안되었지만, 이들 간의 관계와 우선순위가 명확하지 않다.제안: SHAP은 각 특성에 중요도 값을 할당하여 예측을 해석하는 통합 프레임워크를 제시한다. SHAP은 기존의 여섯 가지 방법을 통합하고, 이 클래스에서 유일한 해결책을 제안한다. CONTRIBUTIONS설명 모델 관점: 예측 모델의 설명을 모델 자체로 보는 관점 도입. 이를 통해 여섯 가지 현재 방법을 통합하는 가산적 특성 중요도 방법 정의하였다.게임 이론 적용: 게임 이론 결과를 통해 가산적 특성 중요도 방법 클래스에 유일한 해결책 존재를 증명. 이를 기반으로 SHAP 값을 제안하였다.새로운 SHAP 값 추정 방법: 인간의 직관과 더 잘 맞고, 기존 방법보다 계산 성능이 향상된 새로운 방법 제안하였다. RELATED WORKSLIME: 로컬 근사 방식을 통해 모델 예측을 해석. 로컬 선형 설명 모델 사용.DeepLIFT: 딥러닝 예측 해석을 위한 재귀적 설명 방법.Layer-Wise Relevance Propagation: 딥 네트워크의 예측 해석 방법.고전적 Shapley 값 추정: 협동 게임 이론을 사용한 세 가지 방법. DESIRABLE PROPERTIES지역 정확성: 특정 입력 x에 대해 원래 모델 f와 설명 모델 g가 일치해야 한다.누락: 원래 입력에 없는 특성은 영향을 미치지 않아야 한다.일관성: 모델이 변화하여 특정 입력의 기여가 증가하면 그 입력의 귀속값이 감소하지 않아야 한다. SHAP Value제안: SHAP 값은 조건부 기대 함수의 Shapley 값. 이는 가산적 특성 중요도 측정의 유일한 해결책을 제공한다.계산: 정확한 SHAP 값 계산은 어려우나, 현재 방법들의 통찰을 통해 근사 가능하다
멀티모달 데이터를 융합할 때, 생각해볼 수 있는 온도모듈에 대한 논문
안녕하세요.멀티모달 데이터를 융합할 때, 모달리티마다 성능에 영향을 미치는 데이터와 아닌 데이터가 있을 수 있습니다.이때, 온도 모듈을 적용하면 더 효과적인 멀티모달 학습이 가능하지 않을까 싶어, 논문을 소개합니다 Curriculum Temperature for knowledge Distillation저자Zheng Li 1, Xiang Li 1*, Lingfeng Yang 2, Borui Zhao 3, Renjie Song 3, Lei Luo 2, Jun Li 2, Jian Yang 1* 1 Nankai University 2 Nanjing University of Science and Technology 3 Megvii Technology Abstract대부분의 기존 증류 방법은 손실함수에서 온도 (Temperature) 의 유연한 역할을 무시하고, 이를 단순한 하이퍼 파라미터로 간주한다. 그러나, 온도는 두 분포 사이의 불일치를 제어하고 증류 작업(Distillation task)의 난이도(difficulty)를 제어할 수 있다. 본 논문에서는, 가변적이고 학습 가능한 온도를 통해 학생의 학습동안 난이도 수준을 제어하는 간단한 curriculum기반 CTKD(Curriculum Temperature for Knowledge Distillation)를 소개한다. MethodBackground모델 압축에서 주력기술 중 하나인 지식증류 (Hinton, Vinyals, and Dean 2015)는 Vision 작업에서 매우 폭넓게 사용되고 있다 (Liu et al. 2019; Ye et al. 2019; Li et al. 2021b, 2022). 전통적인 two-stage 증류 방법은 주로 미리 훈련된 번거로운 교사모델로 시작한다. 그 다음, 작은 학생 네트워크는 부드러운 예측(soft predictions) 또는 중간표현(intermediate representation, Romero et al. 2014; Yim et al. 2017) 를 이용한 교사 네트워크의 감독아래 훈련된다. 주어진 라벨링된 데이터셋 D={(x_i, y_i)}^I_{i=1}에서 , KL 발산손실 (Kullback-Leibler divergence loss) 은 아래 공식과 같이, 교사와 학생 모델의 부드러운 출력 확률 (soft output probabilities) 간의 불일치를 최소화하는데 사용된다.이때 qt와 qs는 각각 교사와 학생의 logits을 의미하고, σ(·) 는 softmax 함수, τ는 두 분포를 부드럽게 스케일하는 온도를 표시한다. 아래 그림과 같이, τ가 작을수록 분포가 날카로워지고, 두 분포간의 차이를 크게하며, 교사의 예측의 최대 로짓에 증류의 초점이 맞춰진다. 반대로 τ가 크면 분포를 더욱 평평하게 하여, 두 모델 사이의 격차를 좁게하고 교사의 전체 로짓에 증류의 초점을 맞추게 된다. 그러므로, 온도(τ)는 확률분포에 영향을 미쳐. 신뢰도 있게 지식증류 손실 (KD loss) 의 최소화 과정의 난이도를 결정한다. Adversarial Distillation기본 지식증류에서는 학생모델은 특정작업 손실(Task-specific loss)와 증류 손실 (Distillation loss) 를 최소화하여 최적화 되었다. 이 증류 과정의 목적은 다음과 같이 공식화 된다.이때, Ltask는 이미지 분류 작업에서 사용되는 일반 cross-entropy 손실이고, ft(), fs()는 교사와 학생의 함수이다.동적 온도로 학생의 학습 난이도를 제어하게되므로, GAN에 영감을 받아 (Goodfellow et al. 2014), 본 논문은 현재 훈련에 적합한 온도 τ를 예측하는 동적 온도 모듈에 대한 적대적 학습을 제안한다. 이 모듈은 학생과 반대 방향으로 최적화되어, 학생과 교사의 증류손실을 최대화한다. 즉, 아래와 같이 학생모델은 loss를 최소화하고, 온도모듈은 loss를 최대화 한다.Curriculum Temperature학교에서, 선생님은 언제나, 쉬운 개념으로 시작하여 학생들이 성장할 수록 점점 어려운 개념으로 커리큘럼을 설계하고, 이를 따라 학생을 가르친다. 사람은 의미있는 순서로 정렬된 작업을 할 때, 훨신 잘 학습할 수 있다. 이러한 커리큘럼 러닝 (Curriculum learning, Bengio et al. 2009) 에 영향을 받아, 저자는 손실 L을 크기 \lambda로 직접 스케일링하여 쉬운 것부터 어려운 것으로 증류작업이 구성 되어있는 간단하고 효과적인 커리큘럼을 제안한다. 즉, 온도 모듈은 다음과 같이 업데이트 된다.훈련의 시작에는 어린 학생은 표현능력의 한계 (Limited representation ability)가 있으며, 기본적인 지식을 요구한다. 이때, 초기 lambda를 0으로 설정하여 어린 학생이 아무런 제약없이 학습에 집중할 수 있도록 한다. lambda를 점진적으로 상향시킴으로, 증류의 난이도를 높혀서 학생이 더 고급 지식을 학습할 수 있도록 할 수 있다.ExperimentsCIFA-100으로 실험을 진행했을 때, 그림 3에서 CTKD가 기존의 VanilaKD보다 중간 loss가 높지만, 최종 에포크에서는 유사하게 수렴했다. 또, 그림 4에서 기존 VanillaKD보다 더 효과적으로 분산되었다. 이는 CTKD가 더 디테일한 피처를 학습하여, 더 깊은 피처를 식별 가능하게함을 의미한다.위 그림은 학습 중에 온도의 학습 곡선을 보여준다. 온도를 고정한 증류와 비교하여, 논문의 CTKD는 온도를 동적으로 제어하고 있으며, 기존 방법보다 좋은 성능을 보인 것을 확인할 수 있다. 또, 아래 표는 다양한 모델에 대해 기존 KD방법과 CTKD를 적용한 후의 성능 비교이다. 마치며,CTKD방법은 성능을 극적으로 끌어올리진 않습니다. 그러나, 기존 방법에 쉽게 적용 가능하면서, 추가적인 계산비용없이 이렇게 성능을 향상시킬 수 있다는 점이 본 논문의 의의라고 생각합니다.또, 지식증류뿐만이 아니라, 멀티모달리티를 융합할 때도 적용할 수 있습니다. 온도모듈을 통해 성능에 부정적인 영향을 주는 모달리티는 온도를 높혀 최종결과에 반영하지 않고, 성능에 긍정적인 영향을 주는 모달리티만 남기면, 모델의 최종성능에도 도움이 될 것입니다.
Classifier에 활용할 수 있는 Method 관련 논문
“What Data Benefits My Classifier?” Enhancing Model Performance and Intepretability Through Influence-Based Data SelectionChhabra, Anshuman, et al. "“WHAT DATA BENEFITS MY CLASSIFIER?” ENHANCING MODEL PERFORMANCE AND INTERPRETABILITY THROUGH INFLUENCE-BASED DATA SELECTION." (2023).이 논문은 Classifier에 부정적인 영향을 주는 Data를 제거해 줌으로써 Classifier의 Performance를 향상시킬 수 있는 지를 보는 논문입니다 여태 존재했던 Method들은 Classifier를 다시 training 시켜주었다면, 이 논문에서는 다른 수학적인 방법을 이용하여 training 시키지 않고 cost를 줄였습니다 Performance 향상은 3가지 측면에서 살펴 보았습니다 Utility (Accuracy) FairnessRobustness 성능 측면에서는 Utility와 Robustness가 중요한 문제이고,윤리적인 측면에서는 Fairness가 중요한 지표입니다Data trimming을 할 때 부정적인 영향을 주는 index만 빼낼 수 있도록 budget과 부정적인 영향을 주는 index의 개수에서 min을 계산을 해줍니다
라이프로그 데이터
라이프로그 데이터란?라이프로그(Lifelog)는 말 그대로 '삶의 기록'을 의미합니다. 스마트폰, 웨어러블 디바이스, IoT 기기 등을 통해 수집되는 개인의 활동, 위치, 건강 관련 데이터 등이 이에 해당합니다. 예를 들어, 스마트워치를 통해 수집되는 심박수, 걸음 수, 수면 패턴 등의 데이터가 라이프로그 데이터에 포함됩니다.라이프로그 데이터의 활용 사례헬스케어 및 피트니스: 라이프로그 데이터는 개인의 건강 상태를 모니터링하고, 질병 예방 및 관리를 돕는 데 사용됩니다. 예를 들어, 지속적으로 수집된 심박수, 혈압, 수면 패턴 등의 데이터를 분석하여 건강 이상 징후를 조기에 발견할 수 있습니다.개인화된 서비스: 라이프로그 데이터는 개인의 취향과 행동 패턴을 분석하여 맞춤형 서비스를 제공하는 데 사용됩니다. 예를 들어, 사용자의 운동 패턴을 분석하여 맞춤형 운동 프로그램을 제공하거나, 식사 패턴을 분석하여 개인에게 적합한 식단을 추천할 수 있습니다.스마트 홈: IoT 기기를 통해 수집된 라이프로그 데이터를 기반으로 가정 내 환경을 자동으로 조절할 수 있습니다. 예를 들어, 사용자의 일정을 분석하여 조명, 난방, 냉방 등을 자동으로 조절하는 스마트 홈 시스템이 가능합니다.라이프로그 데이터의 장점개인화: 라이프로그 데이터는 개인 맞춤형 서비스를 제공하는 데 필수적입니다. 사용자의 생활 패턴을 정확히 이해함으로써 더욱 효과적인 서비스 제공이 가능합니다.예방 및 관리: 라이프로그 데이터는 건강 상태를 실시간으로 모니터링하고, 질병 예방 및 관리에 도움을 줄 수 있습니다. 특히, 만성질환 관리에 유용합니다.데이터 기반 의사결정: 라이프로그 데이터는 개인의 일상생활에서 발생하는 다양한 데이터를 기반으로 의사결정을 돕습니다. 이는 더 나은 삶의 질을 유지하는 데 기여할 수 있습니다.라이프로그 데이터의 문제점과 과제프라이버시 문제: 라이프로그 데이터는 매우 개인적인 정보를 포함하고 있어, 프라이버시 침해의 위험이 있습니다. 데이터 수집 및 활용에 있어서 철저한 보안 조치가 필요합니다.데이터 관리: 방대한 양의 데이터를 효율적으로 수집, 저장, 분석하는 것이 중요합니다. 데이터 관리 및 처리에 있어서 기술적인 도전이 존재합니다.데이터 신뢰성: 수집된 데이터의 정확성과 신뢰성을 확보하는 것이 중요합니다. 특히, 헬스케어 분야에서는 데이터의 정확성이 생명과 직결될 수 있습니다.
인공지능을 통한 라이프로그 데이터 분석의 발전
라이프로그 데이터를 이용한 수면, 감정, 스트레스 인식 및 추론에 인공지능(AI)을 도입하는 것은 이 분야의 혁신적 진보를 가능하게 합니다. 인공지능은 대규모 데이터 세트를 분석하고 패턴을 학습하는 데 뛰어난 능력을 보유하고 있으며, 이는 라이프로그 데이터의 복잡성과 다양성을 다루는 데 특히 유용합니다. 머신러닝 및 딥러닝 알고리즘은 수면 패턴, 감정 상태, 스트레스 수준 등의 지표를 보다 정밀하게 인식하고 추론하는 데 활용될 수 있습니다.예를 들어, 딥러닝을 사용한 신경망 모델은 생체 신호 데이터를 분석하여 수면의 질과 양을 평가하고, 얼굴 표정 인식 및 음성 분석 기술은 감정 상태를 보다 정확하게 파악할 수 있습니다. 스트레스 인식에 있어서도, AI 모델은 심박수 변이도, 피부 전도도 등 다양한 생리적 데이터를 통합 분석하여 개인의 스트레스 수준을 예측합니다. 이러한 접근 방식은 기존의 단일 모달리티 분석 방법보다 더 높은 정확도와 신뢰성을 제공합니다.또한, 인공지능은 실시간 분석과 예측을 가능하게 함으로써, 사용자에게 즉각적인 피드백을 제공하고, 맞춤형 건강 관리 솔루션을 제시할 수 있습니다. 예를 들어, AI 기반 애플리케이션은 사용자의 실시간 데이터를 모니터링하여 수면 개선 조언을 제공하거나, 스트레스 수준이 높아질 때 적절한 대처 방법을 제안할 수 있습니다. 이를 통해 라이프로그 데이터의 잠재력을 최대한 활용하고, 개인의 웰빙을 증진하는 데 중요한 역할을 할 수 있습니다.결론적으로, 인공지능의 도입은 라이프로그 데이터를 이용한 수면, 감정, 스트레스 인식 및 추론 연구에 혁신적인 변화를 가져올 것입니다. 이는 보다 정확하고 개인화된 건강 관리 솔루션을 개발하는 데 필수적인 요소로 작용하며, 궁극적으로는 인구 전체의 건강 증진에 기여할 것입니다.
train dataset과 val dataset
본 경진대회에서 사용되는 train dataset과 val dataset/test dataset은 데이터 구성이 다릅니다. train dataset에는크게 mAcc, mGyr, mMag, mGps, e4Acc, e4Eda, e4Bvp, e4Temp, e4Hr, User label 데이터가 있습니다. (https://nanum.etri.re.kr/share/schung/ETRILifelogDataset2020?lang=En_us)반면에 val dataset 에는 다음과 같은 데이터가 있습니다:mAcc: 스마트폰의 가속도 센서 데이터. 1초당 약 50회씩(50Hz) 측정됨.mActivity: 스마트폰에서 인식된 행동 분류값. 1분마다 1회씩 기록됨.mAmbience:스마트폰에서 인식된 음향 기반 레이블. 2분마다 1회씩 기록됨.mGps: 스마트폰에서 산출된 GPS 좌표 정보(단, 위도 및 경도는 상대 좌표로 변환됨). 5초 간격(1분당 약 12회)으로 측정됨.mLight: 스마트폰에서 측정된 빛의 세기. 10분 간격으로 측정됨.mUsageStats: 스마트폰에서의 앱 사용량 정보. 10분 간격으로 측정됨.wHr: 스마트워치(갤럭시 워치)에서 측정된 심박 데이터. 1초 간격으로 측정됨.wPedo: 스마트워치(갤럭시 워치)에서 측정된 걸음수 데이터 및 관련 정보. 1분 간격으로 측정됨.wLight: 스마트워치(갤럭시 워치)에서 빛의 세기. 10분 간격으로 측정됨.둘 모두에서 있는 데이터는 mAcc, mActivity, mGps, mHr 로 그 외의 데이터는 val dataset에만 존재하거나 train dataset에만 존재하고 있습니다. 이를 참고하세요.
시계열 데이터 동기화 방법
이번 데이터셋은 1초 1분 10분 등 여러 주기의 데이터가 섞여있다.그렇기에 시계열 데이터 동기화가 필요하다. DTW시계열 데이터 간의 비선형적인 시간 매핑을 통해 유사성을 측정하는 방법임비선형 매핑 : DTW는 두 시계열 데이터의 비선형적인 시간 변화를 고려하여 매핑할 수 있습니다. 이는 두 데이터가 다른 속도로 진행되는 경우에도 유사성을 찾을 수 있게 한다.시간 재 샘플링시간 재샘플링은 시계열 데이터를 일정한 시간 간격으로 변환하는 방법이다. 이는 데이터를 특정 시간 간격으로 맞추어 비교할 수 있도록 한다.선형 보간법선형 보간 법은 두 데이터 포인트 사이의 값을 선형적으로 추정하는 방법이다. 이는 불규칙한 시계열 데이터를 일정한 간격으로 맞추는데 유용하다.
디지털 헬스케어에서의 라이프로그
라이프로그란?개인의 일상(life)에 대한 기록(log)를 뜻함.흔히 페이스북, 인스타그램 등 라이프로그 데이터가 축적되어 왔음.라이프로그는 기록과 수집 방식에 따라 수동적으로 수집되는 기록, 능동으로 수집되는 기록으로 분류될 수 있다.웨어러블 기기처럼 버튼만 누르면 자동적으로 축적되는 데이터 - 수동적자신이 먹은 식사를 앱을 통해 직접 기록하는 등 사용자의 일정 부분의 행위가 요구되는 기록 - 능동적 헬스케어초기 헬스케어 분야에서 라이프로그 데이터로 인식되었던 것은 'Patient Generated Health Data(PGHD), 환자를 주체로 기록한 일상 데이터임.이 개념이 점차 환자가 아닌 일반으로 데이터 주체를 확장해 나가는 개념으로 변함.
이전 대회 수상 모델 리뷰
[2022 ETRI 휴먼이해 인공지능 경진대회] 과기부장관 수상작 모델 리뷰https://github.com/HongSungRae/ETRI_2022_AI_Competition/blob/main/model.py모델 DoRaeMiSol_lstm은 오디오 및 텍스트 데이터를 결합하여 감정, 각성(arousal), 그리고 가치(valence)를 예측하는 다중모달 감정 인식 모델입니다. 다음은 모델의 구성 요소와 작동 방식에 대한 자세한 분석입니다. 모델 구성 요소오디오 임베딩 레이어:일련의 2D 컨볼루션 레이어로 구성되어 있으며, ReLU 활성화 함수, 배치 정규화, 그리고 맥스 풀링을 포함합니다.오디오 임베딩 레이어의 구조는 다음과 같습니다:BasicConv2d(ws, 32, 3): 32개의 채널과 3x3 커널 크기를 가진 컨볼루션 레이어.BasicConv2d(32, 48, 3, max_pool=2): 48개의 채널과 3x3 커널 크기를 가진 컨볼루션 레이어, 2x2 맥스 풀링.BasicConv2d(48, 32, 5, max_pool=2): 32개의 채널과 5x5 커널 크기를 가진 컨볼루션 레이어, 2x2 맥스 풀링.BasicConv2d(32, ws, 7, max_pool=2): ws 개의 채널과 7x7 커널 크기를 가진 컨볼루션 레이어, 2x2 맥스 풀링. LSTM 레이어:오디오와 텍스트 특징을 결합한 후 순차적 종속성을 캡처하기 위한 LSTM 레이어.입력 크기는 816 + text_dim.히든 크기는 256.양방향 LSTM을 사용하여 총 4개의 LSTM 레이어를 구성, 양방향 설정으로 인해 실제 히든 크기는 512가 됩니다. 감정 예측을 위한 MLP (다층 퍼셉트론):일련의 완전 연결 레이어로 구성되어 있으며, ReLU 활성화 함수와 배치 정규화를 포함합니다.구조:BasicLinear(ws*hidden_size*bi, 2048): 입력 크기는 ws*hidden_size*bi이고, 출력 크기는 2048.BasicLinear(2048, 512): 입력 크기는 2048, 출력 크기는 512.BasicLinear(512, 256): 입력 크기는 512, 출력 크기는 256.BasicLinear(256, 64): 입력 크기는 256, 출력 크기는 64.nn.Linear(64, 7): 최종 출력 크기는 7로 감정 클래스 수를 나타냅니다.소프트맥스 함수를 사용하여 최종 감정 예측 값을 확률로 변환합니다. 각성 및 가치 예측을 위한 MLP:각성과 가치를 예측하기 위해 두 개의 별도 MLP 네트워크를 사용합니다.mlp_av는 감정 예측 값과 결합하여 각성과 가치를 예측하는 데 사용됩니다.구조:BasicLinear(ws*hidden_size*bi, 2048): 입력 크기는 ws*hidden_size*bi, 출력 크기는 2048.BasicLinear(2048, 1024): 입력 크기는 2048, 출력 크기는 1024.BasicLinear(1024, 512): 입력 크기는 1024, 출력 크기는 512.각성 및 가치 예측을 위한 MLP는 다음과 같은 구조를 가집니다:mlp_arousal:BasicLinear(512+7, 128): 입력 크기는 512+7, 출력 크기는 128.BasicLinear(128, 32): 입력 크기는 128, 출력 크기는 32.nn.Linear(32, 1): 최종 출력 크기는 1.nn.Sigmoid(): 시그모이드 활성화 함수.mlp_valence:BasicLinear(512+7, 128): 입력 크기는 512+7, 출력 크기는 128.BasicLinear(128, 32): 입력 크기는 128, 출력 크기는 32.nn.Linear(32, 1): 최종 출력 크기는 1.nn.Sigmoid(): 시그모이드 활성화 함수. 모델의 작동 방식오디오 임베딩:입력된 오디오 데이터는 audio_embedding을 통해 2D 컨볼루션 레이어를 통과하여 특징을 추출합니다.텍스트 데이터:입력된 텍스트 데이터는 torch.squeeze로 차원을 줄인 후 사용됩니다.LSTM:오디오와 텍스트 특징을 결합하여 LSTM 레이어를 통과합니다. 이때, 양방향 설정으로 인해 각 시퀀스의 특징이 양방향으로 학습됩니다.감정 예측:LSTM의 출력은 MLP 네트워크를 통해 감정 클래스를 예측하며, 소프트맥스 함수를 통해 확률값으로 변환됩니다.각성 및 가치 예측:LSTM의 출력과 감정 예측 값을 결합하여 각성과 가치를 예측합니다. 이때, 시그모이드 함수를 통해 결과값을 [1, 5] 범위로 변환합니다. 요약이 모델은 오디오와 텍스트 데이터를 결합하여 감정 상태를 예측하는 복합적인 구조를 가지고 있으며, 다중 레이어의 LSTM과 MLP 네트워크를 통해 복잡한 특징을 학습하고 예측을 수행합니다. 모델의 세부 사항은 다음과 같습니다:오디오 데이터는 2D 컨볼루션을 통해 특징을 추출.텍스트 데이터는 주어진 차원을 줄여 LSTM에 입력.LSTM 레이어는 양방향 설정으로 시퀀스의 특징을 학습.MLP 네트워크는 감정, 각성, 가치를 예측.이 모델은 감정 인식 작업에 유용하며, 오디오 및 텍스트 데이터를 효과적으로 결합하여 높은 예측 성능을 보일 것으로 기대됩니다.
라이프로그 데이터를 사용하는 국내 사례
라이프로그 데이터는 개인의 일상 활동을 기록하고 분석하여 건강 상태를 모니터링하고 개선하는 데 중요한 역할을 합니다. 한국에서는 여러 기업들이 라이프로그 데이터를 활용하여 다양한 건강 관리 서비스를 제공하고 있습니다. 이 글에서는 삼성전자, LG전자, 카카오 등의 실제 사례를 통해 라이프로그 데이터가 어떻게 활용되고 있는지 살펴보겠습니다. 1. 삼성전자의 "삼성 헬스" 앱 삼성전자는 "삼성 헬스(Samsung Health)" 앱을 통해 종합적인 건강 관리 서비스를 제공합니다. 이 앱은 스마트폰과 웨어러블 기기(예: 삼성 갤럭시 워치)와 연동되어 다양한 건강 데이터를 수집합니다. 주요 기능으로는 운동 추적, 수면 분석, 스트레스 측정, 심박수 모니터링 등이 있습니다. 또한, 사용자는 자신의 건강 목표를 설정하고, 맞춤형 운동 및 식단 계획을 받을 수 있습니다. 삼성 헬스는 데이터 시각화 기능을 통해 사용자가 자신의 건강 상태를 쉽게 파악할 수 있도록 돕고, 커뮤니티 기능을 통해 사용자 간의 상호작용을 지원합니다 2. LG전자의 "LG ThinQ" 플랫폼LG전자는 "LG ThinQ" 플랫폼을 통해 스마트홈 기기와 연동된 건강 관리 서비스를 제공합니다. 이 플랫폼은 LG의 스마트 가전 제품(예: 스마트 냉장고, 공기 청정기, 세탁기 등)과 연결되어 생활 패턴을 분석하고, 건강 관리 솔루션을 제공합니다. 예를 들어, 스마트 냉장고는 식습관 데이터를 기반으로 건강한 식단을 추천하고, 공기 청정기는 실내 공기 질을 모니터링하여 적절한 조치를 취합니다. LG ThinQ는 사용자가 목표를 설정하고 이를 달성할 수 있도록 맞춤형 알림 및 조언을 제공합니다. 3. 카카오헬스케어의 “파스타 헬스케어” 카카오헬스케어의 "파스타 헬스케어"는 실시간 혈당 모니터링을 통해 개인 맞춤형 건강 관리를 지원하는 서비스입니다. 이 서비스는 혈당 측정 센서와 연동되어 사용자의 혈당 변화를 실시간으로 모니터링하고 기록합니다. 사용자는 식사, 운동, 약물 복용 등의 데이터를 입력할 수 있으며, 이를 바탕으로 개인 맞춤형 건강 리포트를 제공합니다.
EDA tools
실전에서는 어떤 툴을 쓰는가?실전에서는 EDA를 위해 어떤 툴을 쓰는지 짧게 소개하고자 합니다. 회사마다 다르겠으나, Tableau, Google spreadsheet, Python을 가장 많이 사용하였습니다. 용도별로 실전 툴을 구분해 보았습니다.빠른 커뮤니케이션이 중요할 때 (일회성으로 자료 뽑아 보여주고 재활용하지 않을 때)ExcelGoogle SpreadsheetPython대시보드로 생성할 때TableauGoogle SpreadsheetZepplin심화된 데이터 전처리 혹은 모델링과 함께 섞을 때Python (Matplotlib, Seaborn, Folium, Pyecharts, Plotly, and etc.)RSQLInteractive EDA(Ipywidget, Colabotory의 경우 Widget) 원본: https://medium.com/bondata/%EC%B4%88%EC%8B%AC%EC%9E%90%EB%A5%BC-%EC%9C%84%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%8B%9C%EA%B0%81%ED%99%94-eda-%EA%B0%80%EC%9D%B4%EB%93%9C%EB%9D%BC%EC%9D%B8-c9737c680652
EDA의 개념과 데이터분석
‘맛있는 요리’를 만들기 위해서 가장 먼저 해야 할 일은 ‘맛있는 식재료’를 준비하는 것이라고 생각한다. 식재료가 맛있으면, 조리방법이 간단해도 맛있는 요리가 나오듯,데이터 분석에 있어서 ‘맛있는 식재료’라고 할 수 있는 EDA를 잘 한다면 의미있는 결과값을 도출하기 조금 더 수월해진다고 생각한다. 💡What is EDA?EDA(Exploratory Data Analysis, 탐색적 데이터 분석)는 벨연구소의 수학자 ‘존 튜키’가 개발한 데이터분석 과정에 대한 개념으로, 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 ‘탐색과 이해’를 기본으로 가져야 한다는 것을 의미한다.기획단계에서부터 이해가 잘 되고, 관계자들의 소통이 잘 된 프로젝트들은 일의 제작 및 수행과정이 그렇지 못한 프로젝트보다 훨씬 수월한 편이다. 또한, 일을 진행하면서도 지속적으로 기획단계의 의도(프로젝트의 why)를 피드백하고 소통하는 팀은 프로젝트 결과의 질을 높게 향상시킬 수 있다.데이터 분석에 있어서 EDA도 마찬가지다.처음에 로우데이터(raw data)를 접할 때부터 데이터를 잘 이해하고 파악한 다음, 어떤 결과를 만들어낼 지 ‘이 feature(column)로 필터해보고, 저 feature로 해보고..’ 이렇게 데이터를 여러 측면으로 쪼개고, 출력해보면서 인사이트를 얻어내는 것, 그것이 EDA적 데이터분석이다. 데이터 분석을 통한 결과값(표/그래프 등)을 출력하기 전에 어떤 결과값을 낼 지 ‘가설’을 갖고 기본적인 표나 그래프를 간단히 그려보며 ‘사전 검증’을 하는 과정을 의미한다. 그렇게 할 때 단순히 보기 좋은 그래프(보기에만 좋고 유의미하지는 않은)를 만드는 것이 아닌 유의미한 정보를 생산할 수 있다고 생각한다. 💡How to do EDA ?EDA를 잘 하려면, 크게 아래 3가지 정도의 기술이 필요하다.1. raw data 의 description, dictionary 를 통해 데이터의 각 column들과 row의 의미를 이해하는 기술.예를 들어, 데이터분석 연습 시에 많이 사용되는 캐글과 UCI 사이트에서는 데이터의 각 칼럼과 로우(row)에 대한 설명(data information, description, dictionary 등의 용어를 사용)이 잘 나와있다.캐글 Instacart 데이터 설명 예시2. 결측치 처리 및 데이터필터링 기술.데이터 분석을 본격적으로 들어가기 전, 반드시 데이터에 결측치가 없는지 확인하고, 있다면 제거해줘야 한다. 또한, 분석 시 필요한 데이터가 수치형 데이터(numerical data)인데 범주형(categorical data)으로 되어 있다면 (데이터 타입이 ‘object’로 뜸) 수치형으로 변환(ex. astype 활용)해줘야 한다.데이터에 결측치 (NaN, N/A 등) 가 있거나, 수치형이어야 하는데 범주형/비수치형(non-numerical data) 으로 들어가 있는 데이터로 열심히 데이터프레임 함수를 넣고, 그래프를 그려봤자 원하는 결과를 얻을 수 없기 때문이다.3. 누구나 이해하기 쉬운 시각화를 하는 기술.그래프를 그릴 때 멋진 컬러, 디자인 요소를 넣는다 하더라도 그래프의 의미가 쉽게 이해되지 않으면 안된다.출처: https://thenextweb.com/dd/2015/05/15/7-most-common-data-visualization-mistakes/예를 들어 위 그래프는 ‘이 그래프를 통해서 어떤 의미를 얻어야 하는지’ 쉽게 와닿지 않는다.데이터 분석을 통해 말하고자 하는 바를 제대로 전달할 수 있는 기술이 데이터분석가로서 가장 잘 갖춰야 하는 기술이다.차라리 아래 그래프처럼 평범해보이지만, 확실한 그래프가 훨씬 더 좋은 시각화일 것이다.캐글 Instacart notebook 💡Why is EDA not easy? How do get it done well?❗️누구에게나 ‘인지편향 (cognitive bias)’ 이 있기 때문.우리는 생각보다 ‘잘 듣고, 잘 읽는 것’ 을 ‘잘하지 못한다’.⚠️ So what?‘데이터를 잘 읽고, (이해관계자의 말을) 잘 듣는 (이해하는) 능력’ 이 중요하다.우리는 무의식적으로 다른 사람들의 이야기를 비롯한 외부의 정보를 접할 때, 스스로의 경험으로 ‘판단’을 먼저 내리는 경향이 있다.이는 어떤 ‘잘못된 것’이라기 보다는, 우리 뇌가 모든 정보를 처리하기에는 벅차기 때문에, 기존에 경험했던 것으로 먼저 판단을 내리게 하여 에너지를 효율적으로 관리하기 때문에 생기는 ‘편향(bias)’이다.다만, 세상이 빠르게 변화하고 그 변화하는 정보들에 대해서 유연하게 대처하는 능력이 중요해지는 시대에는 이러한 ‘인지적 편향’을 조금 내려놓고, 다른 사람들의 이야기와 정보(데이터)에 대해 있는 그대로 이해할 수 있는 능력이 필요하다.
최신 AI 모델을 활용한 특정 라이프로그 데이터 분석
최신 AI 모델의 적용 사례 1. Transformer 기반 모델을 활용한 수면 패턴 분석논문: “A Multi Constrained Transformer-BiLSTM Guided Network for Automated Sleep Stage Classification from Single-Channel EEG”데이터셋: 수면 다원 검사(PSG)에서 수집한 단일 채널 EEG(뇌파) 데이터모델: 이 연구에서는 Transformer와 BiLSTM을 결합한 모델을 사용하여 수면 단계 분류를 수행하였습니다. Transformer는 시계열 데이터의 긴 의존성을 처리하는 데 강력한 성능을 발휘하며, BiLSTM은 시계열 데이터의 양방향 문맥을 효과적으로 학습합니다.방법론:데이터 전처리: EEG 신호를 주파수 영역으로 변환하여 입력 데이터로 사용모델 구조: 멀티헤드 셀프 어텐션 메커니즘을 통해 각 시간 단계의 중요도를 동적으로 계산하는 Transformer와 시계열 데이터를 순차적으로 처리하는 BiLSTM을 결합성능 평가: F1 스코어와 정확도 측면에서 기존 모델 대비 우수한 성능을 보임결과: Transformer-BiLSTM 모델을 통해 수면 단계의 정확한 예측이 가능하며, 이는 수면 질 평가 및 수면 장애 진단에 유용하게 활용될 수 있습니다. 논문 링크: https://ar5iv.org/abs/2309.10542 2. Graph Neural Networks (GNN) 기반 모델을 활용한 스트레스 인식논문 예시: “Stress Detection Using Wearable Sensors and Graph Neural Networks”데이터셋: 웨어러블 센서를 통해 수집된 심박수, 피부 전도도, 체온 등의 생리학적 데이터모델: Graph Neural Networks는 다양한 센서로부터 수집된 데이터를 그래프 구조로 모델링하여 노드 간의 복잡한 관계를 학습합니다.방법론:데이터 전처리: 시계열 데이터에서 중요한 피처를 추출하고, 그래프의 노드와 엣지로 변환모델 구조: GNN 모델을 사용하여 센서 데이터 간의 상호작용을 학습, 각 센서의 데이터를 노드로, 상관관계를 엣지로 구성성능 평가: 스트레스 상태를 정확하게 예측하며, 기존의 단일 센서 기반 모델보다 높은 정확도와 정밀도를 기록결과: GNN 모델을 통해 다양한 생리학적 신호 간의 상호작용을 고려한 스트레스 인식이 가능하며, 이는 실시간 스트레스 관리 및 개인 맞춤형 건강 관리에 활용될 수 있습니다. 논문 링크: https://ar5iv.org/abs/2211.13005 3. Variational Autoencoders (VAE) 기반 모델을 활용한 감정 인식논문 예시: “Emotion Recognition from Multimodal Physiological Data using Variational Autoencoders”데이터셋: 멀티모달 생리학적 데이터(예: 심전도, 피부 전도도, 호흡률 등)와 음성 데이터모델: Variational Autoencoders는 고차원 데이터를 저차원 잠재 공간으로 변환하여 데이터의 본질적인 특징을 학습합니다. 감정 인식에서는 복잡한 멀티모달 데이터를 효과적으로 처리할 수 있습니다.방법론:데이터 전처리: 각 모달리티별로 특징을 추출하고 정규화모델 구조: VAE 모델을 사용하여 각 모달리티의 특징을 저차원 잠재 공간으로 변환, 디코더를 통해 감정 상태를 재구성성능 평가: 감정 인식 정확도가 높으며, 특히 멀티모달 데이터를 통합하여 인식률을 향상시킴결과: VAE 모델을 통해 멀티모달 데이터를 통합하여 감정을 정확하게 인식할 수 있으며, 이는 인간-컴퓨터 상호작용 및 개인 맞춤형 감정 관리 시스템에 적용될 수 있습니다. 논문 링크: https://arxiv.org/abs/2003.04132 결론 이번 토론에서는 최신 AI 모델을 활용하여 라이프로그 데이터를 분석하는 다양한 방법을 논의했습니다. Transformer, Graph Neural Networks, Variational Autoencoders와 같은 최신 모델은 각각의 데이터 특성과 분석 목적에 맞게 효과적으로 적용될 수 있습니다. 이러한 모델들을 활용하여 더 정확하고 정교한 예측 및 분석이 가능해졌으며, 이는 인간과 교감할 수 있는 인공지능을 구현하는 데 중요한 역할을 합니다.
복합센서 기반 수면 모니터링 시스템에 관한 연구
요약이 연구는 라즈베리 파이를 기반으로 한 복합 센서를 통해 수면 모니터링을 할 수 있는 시스템을 제안한다. 이 시스템은 생체 데이터, 움직임 데이터 및 수면 환경 데이터를 통합적으로 분석하여 NREM, REM, WAKE 세 가지의 수면 단계로 분류한다. 특히, 비접촉식 UWB 센서와 GSR 센서를 사용하여 수면 중 방해를 최소화하며, 사용자가 일상적인 수면 환경에서 검사를 진행할 수 있도록 설계되었다.키워드수면 모니터링 시스템UWB(Ultra-Wideband) 센서EDA(Electrodermal Activity)Raspberry Pi서론적절한 수면은 인간의 신체적, 정신적 회복을 위한 필수적인 요소이다. 수면의 질은 현대인의 삶에 매우 큰 영향을 미치며, 지속적이고 반복적인 수면 부족은 수면 장애를 유발하여 개인의 건강을 위협한다. 이에 본 연구는 복합 센서를 활용하여 일상 환경에서 수면의 다양한 단계를 정확히 모니터링하고 분석할 수 있는 시스템을 개발하고자 한다.방법론시스템 구성하드웨어 구성: 본 시스템은 Raspberry Pi 4를 중심으로 구성되며, UWB 센서, GSR 센서, 가속도 센서, 온도/습도/조도를 측정할 수 있는 환경 센서가 포함된다. 각 센서는 특정 생체 신호와 환경 데이터를 수집하는 데 최적화되어 있다.소프트웨어 구성: 클라이언트 소프트웨어는 Raspberry Pi에서 실행되며, 수집된 데이터를 처리하고 서버로 전송한다. 서버 소프트웨어는 데이터를 수신, 저장, 분석하여 수면 단계를 분류한다. 데이터는 SVM 분류기를 활용하여 NREM, REM, WAKE로 분류된다.데이터 수집 및 분석 방법생체 데이터: 심박수, 호흡수, 피부 전기 활동(EDA) 등을 측정한다.움직임 데이터: 수면 중 움직임을 감지하기 위해 가속도 센서를 활용한다.환경 데이터: 수면 환경에 영향을 미칠 수 있는 온도, 습도, 조도 등을 측정한다.데이터 처리: 수집된 데이터는 아웃라이어 제거, 필터링 과정을 거쳐 특징을 추출하고, 이를 바탕으로 수면 단계를 분류한다.결과본 시스템은 실험실이 아닌 평소와 같은 환경에서 수면할 수 있으므로, 환경 변화로 인한 수면 패턴 변화가 적고, 실제 수면 환경에서 얻은 데이터를 통해 더 정확한 수면 분석이 가능하다. 초기 테스트 결과, 제안된 시스템은 전통적인 수면 연구 방법인 수면 다원 검사와 유사한 성능을 보여준다.결론 및 향후 연구 방향결론비접촉식 센서와 복합 센서 기반의 접근 방식을 통해 수면 모니터링의 정확도와 편의성을 향상시켰다. 본 시스템은 사용자의 일상적인 수면 환경에서도 효과적으로 작동하여, 실제 환경에서의 수면 패턴 분석에 유용하다.향후 연구 방향다양한 알고리즘과 기계 학습 기법을 도입하여 수면 단계 분류의 정확도를 더욱 향상시킬 계획이다.모바일 애플리케이션과의 연동을 통해 사용자가 자신의 수면 데이터를 쉽게 확인하고 관리할 수 있는 플랫폼을 개발할 예정이다.실제 수면 다원 검사와 병행하여 시스템의 정확도와 신뢰성을 검증할 예정이다.참고 문헌본 연구에서 참조한 문헌과 연구 자료를 목록화하여 첨부한다. (문헌 리스트는 본문에서 언급된 각 참고 번호에 대응되는 자세한 출처를 포함한다.)이 보고서는 복합 센서를 활용한 수면 모니터링 시스템의 개발과정 및 초기 성과를 자세하게 설명하며, 연구의 의의와 함께 향후 발전 가능성에 대해 논한다.
The National Sleep Foundation 수면 만족도 도구 (SST)에 대하여
https://www.sleephealthjournal.org/article/S2352-7218(18)30182-7/fulltext위 링크의 논문은 국립수면재단(NSF)의 수면 만족도 도구(SST)의 개발 및 검증에 대해 설명하고 있다. SST는 체계적인 문헌 검토와 전문가 합의를 통해 만들어졌으며, 여러 차례의 인지 테스트와 전국 설문조사를 거쳤다. 최종 SST는 신뢰할 수 있는 9항목 도구로, 평균 56/100의 점수를 받아 일반 인구의 수면 만족도를 측정하는데 사용된다.목적:NSF는 일반 인구의 수면 만족도를 측정하기 위해 잠정적인 수면 만족도 도구를 정교화하고 통계적으로 검증하고자 했다.방법:정성적 개발:온라인 설문조사를 통해 수면 만족도에 영향을 미치는 요인을 식별.인지 테스트:두 번의 인지 테스트를 통해 도구의 항목을 정교화하고 명확성과 관련성을 보장.정량적 테스트:인터넷 사용자를 대상으로 전국적인 샘플을 통해 도구의 타당성과 신뢰성을 테스트.통계 분석:요인 분석, 크론바흐 알파, 회귀 모델을 사용해 도구를 검증.SST 흐름도결과:정성적 연구:방 조건, 편안함, 방해 없는 수면, 총 수면 시간 등의 주요 요인을 식별. 공공 입력을 기반으로 한 추가 요인인 마음의 이완이 추가됨.인지 테스트:응답자의 피드백을 바탕으로 질문을 정교화하여 질문이 의도한 대로 이해되도록 보장.현장 테스트:전국 샘플 응답을 분석한 후 9항목 도구가 최종화됨.심리 측정 속성:SST는 강력한 신뢰성(Cronbach alpha = 0.87)과 타당성을 보여주며, 전반적인 건강, 스트레스, 삶의 만족도와 잘 상관됨.SST 점수:평균 SST 점수는 56/100이며, 개별 항목 점수는 39에서 66 사이. 인구통계학적 분석에서 연령, 성별, 결혼 상태, 생활 환경에 따른 변화를 보임. 다양한 통계결과 결론:SST는 일반 인구의 수면 만족도를 평가하는 신뢰할 수 있는 비임상 도구로, 수면 건강에 대한 귀중한 통찰을 제공한다. 이는 공공 보건 정책과 개인 개입을 안내하는 데 도움이 될 수 있다.
데이터셋 설명 및 분석을 통한 AI 모델 개발
이번 포스팅에서는 다양한 데이터셋을 활용한 AI 모델 개발에 대해 다룹니다. 스마트폰과 스마트워치를 통해 수집된 멀티모달 센서 데이터와 유저의 기록을 포함한 라이프로그 데이터를 중심으로, 수면 패턴, 감정 변화, 스트레스 수준을 예측하는 모델을 개발하는 방법을 살펴봅니다. 또한, Action recognition task의 background bias 문제와 감정 인식을 위한 Contrastive Loss 기반의 멀티모달 융합 학습 방법을 소개합니다.데이터셋 설명Dataset Composition본 데이터셋은 Train, Validation, Test 세트로 구성되며, 스마트폰과 스마트워치를 통해 수집된 다양한 센서 데이터를 포함합니다.Train Dataset (2020년 수집): 22명의 데이터를 포함하며, 다양한 센서 데이터를 포함합니다.Validation Dataset (2023년 수집): 4명의 데이터를 포함하며, Train 데이터셋에 비해 향상된 센서 기능을 가지고 있습니다.Test Dataset (2023년 수집): Validation 데이터셋과 유사한 또 다른 4명의 데이터를 포함합니다.각 데이터셋은 스마트폰, 스마트워치, 일일 설문 기록, 수면 센서 데이터를 포함합니다. Validation과 Test 데이터셋에는 추가적인 데이터 종류와 결여된 데이터가 존재합니다. 데이터의 Column 설명은 ETRI AI 나눔을 통해 확인할 수 있습니다. 최종적으로 7가지 Metric에 대해 예측을 수행해야 합니다.Key Metrics and Challenges참가자들은 다음과 같은 7가지 주요 지표를 도출해야 합니다:Q1: Overall sleep qualityQ2: Emotional state before sleepQ3: Stress levels before sleepS1: Total sleep time (TST)S2: Sleep efficiency (SE)S3: Sleep onset latency (SOL)S4: Wake after sleep onset (WASO)이 지표들은 평균 이상의 값인지, 또는 National Sleep Foundation 지침을 준수하는지 여부를 나타내는 이진 지표입니다. 참가자들은 각 지표의 이진 값을 포함한 CSV 파일 형식으로 추론 결과를 제출해야 하며, 평가는 매크로 F1 점수를 기반으로 합니다.Action Recognition Task의 Background BiasIntroductionAction recognition은 비디오 속 subject가 수행하는 행동을 분류하는 작업입니다. 주요 데이터셋으로는 Kinetics400, UCF101, Something-something v2, HMDB51, Diving48, ActivityNet 등이 있습니다. 이 데이터셋들은 크게 static-biased와 motion-biased 데이터셋으로 구분됩니다.Background Biasstatic-biased 데이터셋은 장소나 오브젝트와 연관된 라벨로 구성되어 있으며, motion-biased 데이터셋은 모션 변화와 관련된 라벨로 구성됩니다. 대부분의 비디오 인코더 모델들은 Kinetics400에서 학습하고 다른 데이터셋에 finetuning을 통해 성능을 냅니다. 그러나 Kinetics400의 static bias로 인해 비디오 인코더 모델은 이미지 한 장만 보고 액션을 맞추는 식으로 잘못 편향된 학습을 하게 됩니다. 이를 background bias라고 하며, 이는 비디오 학습의 고질적인 문제로 많은 논문들에서 다뤄지고 있습니다.감정 인식을 위한 Contrastive Loss 기반의 멀티모달 융합 학습 방법Introduction싱글모달 데이터를 이용한 감정 인식은 정확도가 높지 않다는 단점이 있습니다. 본 논문에서는 Modality Representation Encoder와 Supervised Contrastive Loss를 활용한 LMR-CL 모델을 제안하였습니다. 이 모델은 Intra-modal Contrastive Loss (Intra-CL)과 Inter-modal Contrastive Loss (Inter-CL)를 활용하여 학습합니다.Model Structure모델은 Text, 음성 데이터, 생체신호 데이터를 활용하여 감정분석을 진행합니다:Text: KoELECTRA를 사용하여 특징을 추출합니다.음성 데이터: Pre-trained Wav2vec 2.0 모델을 사용하여 특징을 추출합니다.생체신호 데이터: 시간-주파수 도메인별 다양한 특징들을 추출하여 2개의 FCL을 통과하여 잠재벡터를 추출합니다.Fusion and Classification각 모달리티별로 추출한 잠재 벡터는 Modality Representation Encoder 및 Gated Fusion Block을 통해 감정 상태를 분류합니다. 각 블록들은 샘플 내 특징 간 차이를 고려한 Within-sample Loss와 샘플 간 차이를 고려한 Contrastive Loss를 통해 학습하며, 최종적으로 cross-entropy loss를 사용하여 classification task를 수행합니다.Experimental Results실험 결과, Loss 함수 변화에 따라 감정 분류에 대한 성능 평가 결과를 나타냅니다.데이터셋의 특징에 기반한 몇 가지 방향성1. 시계열 데이터 동기화 문제각 센서 데이터의 수집 주기가 다르므로, 시계열 데이터의 동기화 문제가 발생할 수 있습니다. Dynamic Time Warping (DTW)이나 Interpolation 기법을 통해 공통 시간축으로 데이터를 변환하는 방법이 있습니다.2. 개인화된 모델링의 필요성검증 데이터셋의 인구 통계는 다양합니다. 개인화된 모델링 접근법, 특히 Meta learning이 유용할 수 있습니다.3. 훈련 데이터셋과 검증 데이터셋간의 차이로 인한 영향 고려훈련 데이터셋은 2020년에 수집되었고, 검증 및 테스트 데이터셋은 2023년에 수집되었습니다. 데이터 수집 시점의 차이로 인한 트렌드 변화를 반영하기 위해 Temporal Domain Adaptation이 유용할 수 있습니다.Human Understanding AI Paper Challenge 2024Introduction2024 Human Understanding AI Paper Challenge는 ETRI가 주최하며, 인간의 일상 생활을 이해하기 위한 인공지능 기술의 개발 및 평가를 목표로 합니다.Dataset Composition대회에서는 스마트폰, 스마트워치, 수면 센서를 사용하여 수집된 세 가지 데이터셋이 제공됩니다. 훈련, 검증, 테스트 세트로 나뉘며, 각 데이터셋은 고유한 속성과 도전 과제를 포함합니다.Evaluation Method참가자들은 각 지표의 이진 값을 포함한 CSV 파일 형식으로 추론 결과를 제출해야 하며, 평가는 매크로 F1 점수를 기반으로 합니다.Conclusion이 대회는 다중 모드 센서 데이터로부터 인간 행동을 해석할 수 있는 AI 모델을 개발하고자 하는 연구자들에게 포괄적인 플랫폼을 제공합니다. AI가 일상 생활에서 인간을 이해하는 능력을 한층 더 발전시킬 수 있는 가능성을 열어줍니다.
데이터셋 설명
본 대회의 데이터 셋에 대한 논문을 읽고 해석해 본 내용입니다. 논문의 순서를 따랐으며, 실제 데이터를 열어보고 대조해 보았습니다. Introduction우선 본 데이터는 멀티모달 센서 (스마트폰, 스마트워치)와 유저의 기록들을 통해 획득한 라이프로그 데이터 입니다.본 대회의 목적은 개인의 수면 패턴, 감정 변화, 스트레스 정도가 다양한 일상 경험에 얼마나 영향을 주는 지 탐구하기 위함입니다.요지는 라이프로그 데이터로 수면 패턴, 감정 변화, 스트레스 정도와 관련한 7 가지 지수를 잘 예측할 수 있는 모델을 개발하는 것입니다.Dataset CompositionTrain 데이터 셋은 2020 년에 모은 22 명의 데이터 입니다. Validation 과 Test 데이터 셋은 2023 년에 각각 모음 추가 데이터 입니다. Validation 과 Test 데이터 셋은 같은 집단이지만, subject_id 로 1~4 (Validation) 와 5~8 (Test) 로 랜덤하게 나누었습니다. (Table 1)Validation 의 인구 통계학적 정보 (Demographics) 는 아래 표 (Table 2) 와 같고, 저희는 Test 셋에서 subject_id 가 5~8 에 대한 데이터를 예측하면 될 것입니다.가장 중요한 데이터 셋 구성은 4 종류로 나눌 수 있습니다.Smartphone : 어플을 통해 측정된 센서 데이터Smartwatch : 워치를 통해 측정된 데이터Daily Survey Records : 매일 자기 전 또는 일어난 후 기록한 데이터Sleep sensor : 수면 중 측정된 데이터각 종류의 자세한 데이터는 아래의 표 (Table 3) 에서 볼 수 있습니다.여기서 주목할 만한 점은Validation 과 Test 데이터 셋에는 추가적인 종류의 데이터가 존재하고, 결여된 데이터도 있습니다. ETRI AI 나눔 에서 Train 데이터 셋의 Column 들의 설명을 볼 수 있고, 메일로 받은 Validation 과 Test 데이터 셋 압축 파일에서 pdf 파일을 통해 Validation 과 Test 데이터 셋 Column 들의 설명을 볼 수 있습니다.그리고 최종적으로 아래 (Table 5) 와 같이 총 7 가지의 Metric 에 대해 예측을 해야하는 것 입니다.정리를 하면, Train 데이터의 다양한 종류의 값을 통해 아래의 엑셀 처럼 Metric 을 예측하는 모델을 만들고, 이를 Test 데이터 셋에 대해 적용하여 subject_id 5~8 에 대한 Metric 을 예측하고 실제 Metric (정답) 과 비교하여 측정을 할 것입니다.
Action recognition task의 background bias에 관한 글
안녕하세요.여러분들이 논문 쓸 때, 어떤 task를 풀 지, 어떤 데이터셋을 써야 할지 항상 고민이 되리라 생각합니다.그 중에서, 비디오를 다룰 때 가장 기본이 되는 task인 action recognition에 대해 설명을 드리려 합니다. Action recognition이란, 비디오를 보고 비디오 속 subject가 하고 있는 행동에 대한 classification을 수행하는 것을 말합니다.예를 들자면, 농구 영상을 보고 “playing basketball”이라는 라벨을 맞추는 것이죠. Action recognition task에서 학습과 평가에 주로 사용되는 데이터셋으로는 Kinetics400, UCF101, Something-something v2, HMDB51, Diving48, ActivityNet 등이 있습니다.이 데이터셋들은 크게 static-biased와 motion-biased 데이터셋으로 구분할 수 있습니다.Kinetics400, UCF101, ActivityNet 등은 액션 라벨이 장소나 들고 있는 오브젝트와 크게 연관이 있는 라벨로 구성되어 있습니다.주로 농구하기, 타이핑하기, 스키타기, 다이빙하기 등과 같은 라벨이 많죠.이러한 데이터셋의 비디오를 보고 액션 라벨을 맞추려면, 사실 비디오의 많은 프레임을 다 보지 않고 프레임 한 장만 봐도 맞출 수 있습니다.그러나, Diving48, Something-something과 같은 데이터셋들은 “두 번 회전하고 한 번 비틀기”, “왼쪽에서 오른쪽으로 사물 이동하기” 등과 같은 모션에 관련된 라벨로 구성되어 있습니다.이 데이터셋의 비디오들을 잘 맞추려면 시간의 흐름에 따른 모션 변화를 잘 캐치해야 되겠죠.그러나, 대부분의 비디오 인코더 모델들은 Kinetics400이라는 거대한 source 데이터셋에서 학습을 하고 다른 데이터셋에 finetuning을 통해 성능을 내게 됩니다. 요즘 나오는 대부분의 딥러닝 모델들이 거대한 데이터셋에서 (e.g., ImageNet-21K) pre-train을 하고 downstream task를 위한 데이터셋에 finetuning을 하는 것과 같은 방법이죠.이때, static bias가 강한 Kinetics400에서 일차적으로 학습을 하면서 비디오 인코더 모델은 비디오 전체를 다 보고 액션 분류를 하지 않고, 이미지 한 장만 보고 액션을 맞추는 식으로 잘못 편향된 학습을 하게 됩니다.이러한 문제를 background bias라고 하죠. 이는 비디오 학습의 고질적인 문제로 많은 논문들에서 다뤄져 왔습니다.여러분들도 이러한 문제를 해결하는 것을 논문 주제로 잡으면 좋을 것 같습니다.마지막으로 관련 논문들을 인용하며 글 마무리하겠습니다.감사합니다.[1] Choi et al., “Why Can’t I Dance in the Mall? Learning to Mitigate Scene Bias in Action Recognition”, NeurIPS 2019.[2] Ding et al., “Motion-aware Contrastive Video Representation Learning via Foreground-background Merging”, CVPR 2022.
감정 인식을 위한 Contrastive Loss 기반의 멀티모달 융합 학습 방법
싱글모달 데이터를 이용한 감정 인식은 여러 가지 감정 상태를 인식할 때 정확도가 높지 않다는 단점이 있으므로, 멀티모달 데이터의 장점을 활용하여 보다 정확하게 감정을 인식하는 방법들이 소개되고 있다. 본 논문에서는 Modality Representation Encoder와 Supervised Contrastive Loss를 활용한 LMR-CL 모델을 Intra-modal Contrastive Loss (Intra-CL)과 Inter-modal Contrastive Loss (Inter-CL)를 활용하여 학습하는 방법을 제안하였다. 모델의 구조도는 위와 같다. Text와 음성데이터, 생체신호 데이터를 활용하여 감정분석을 진행하였다.Text: 발화 텍스트 데이터의 특징을 추출하기 위해 한국어 자연어 처리 모델 KoELECTRA를 사용하였다. (이때, 모델의 마지막 3개의 layer를 학습 데이터로 fine-tuning 하였다.)음성 데이터: Pre-trained Wav2vec 2.0 모델을 사용하여 특징을 추출하였다.생체신호 데이터: 텍스트 및 음성 데이터가 파악하지 못하는 화자의 생체 신호 데이터의 특징을 추출하였다. 이때, 시간-주파수 도메인별 다양한 특징들을 추출하여 2개의 FCL을 통과하여 잠재벡터를 추출하였다. 앞서 추출한 3개의 잠재 벡터는 Modality Representation Encoder 및 Gated Fusion Block을 통해 화자의 감정 상태를 분류할 수 있다. Modality Representation Encoder: 각 모달리티 별 특징을 추출하는 Modality-specific와 모달리티와 관계없는 공통적인 특징을 찾는 Modality-invariant 특징을 추출한다.Gated Fusion Block & Classification: 각 특징을 상호보완적으로 결합하여 감정을 인식하는 fusion block을 설계하였다.각 블록들은 샘플 내 특징 간 차이를 고려한 Within-sample Loss (Central Moment Discrepancy (CMD) Loss & Soft Orthogonality Constraints (SOC) Loss) 샘플 간 차이를 고려한 Contrastive Loss 통해 학습을 진행하였으며, 최종적으로 classification task를 수행하기 위해 cross-entropy loss를 사용하였다. 실험 결과는 다음과 같다. Loss 함수 변화에 따라 감정 분류에 대한 성능 평가 결과를 나타낸다.
데이터셋의 특징에 기반한 몇 가지 방향성
1. 시계열 데이터 동기화 문제데이터셋은 스마트폰, 스마트워치, 일일 설문 기록, 수면 센서 등 여러 출처에서 데이터를 수집하고 있습니다. 각 센서 데이터의 수집 주기가 다르므로, 시계열 데이터의 동기화 문제가 발생할 수 있습니다. 시계열 데이터 동기화 문제의 최신 접근법으로는 Dynamic Time Warping (DTW)과 같은 알고리즘을 통해 서로 다른 주기 데이터 간의 비선형적 시간 변형을 조정하거나, Interpolation 기법을 사용하여 공통 시간축으로 데이터를 변환하는 방법이 있습니다. 2. 개인화된 모델링의 필요성검증 데이터셋의 인구 통계를 보면, 나이, 성별, 직업 등이 다양합니다. 이러한 차이는 수면 패턴과 관련된 여러 지표에 영향을 미칠 수 있습니다. 따라서, 개인화된 모델링 접근법을 고려하는 것이 중요합니다. Meta learning이 이러한 환경에서 유용할 수 있습니다. 3. 훈련 데이터셋과 검증 데이터셋간의 차이로 인한 영향 고려훈련 데이터셋은 2020년에 수집된 반면, 검증 및 테스트 데이터셋은 2023년에 수집되었습니다. 데이터 수집 시점의 차이가 있기 때문에, 최신 데이터에 기반한 트렌드 변화를 반영하는 것이 중요합니다. 데이터셋이 기본적으로 시계열인 만큼 Temproal Domain Adaptation이 일반화 성능에 도움이 될 수 있습니다.
Human Understanding AI Paper Challenge 2024 에 관하여
2024 Human Understanding AI Paper Challenge 는 Electronics and Telecommunications Research Institute (ETRI)이 주최하는 대회로, 인간의 일상 생활을 이해하기 위한 인공지능 기술의 개발 및 평가를 목표로 합니다. 이 대회는 참가자들이 다양한 센서에서 수집된 데이터를 분석하여 수면의 질, 감정 상태, 스트레스 수준 등 인간의 웰빙 지표를 추론할 수 있는 머신러닝 모델을 개발하도록 합니다.Dataset Composition대회에서는 스마트폰, 스마트워치, 수면 센서를 사용하여 수집된 세 가지 데이터셋이 제공됩니다. 이 데이터셋은 훈련, 검증, 테스트 세트로 나뉘며, 각 데이터셋은 고유한 속성과 도전 과제를 포함하고 있습니다:Training Dataset (2020년 수집): 22명의 참가자로부터 508일 동안 수집된 데이터로, 스마트폰과 스마트워치의 센서 데이터를 포함합니다.Validation Dataset (2023년 수집): 4명의 참가자로부터 105일 동안 수집된 데이터로, 훈련 데이터셋에 비해 향상된 센서 기능을 가지고 있습니다.Test Dataset (2023년 수집): 검증 데이터셋과 유사하며, 또 다른 4명의 참가자로부터 115일 동안 수집된 데이터입니다.Data Collection Methods데이터는 다양한 센서를 통해 수집됩니다:스마트폰: 3축 가속도계, GPS 좌표, 활동 카테고리, 애플리케이션 사용 통계, 주변 광도 등.스마트워치: 심박수, 걸음 수, 광도 등.수면 센서: 수면 시간, 수면 효율성 등.데이터셋에는 각 참가자의 상세한 인구 통계 정보와 센서 데이터 구성 정보가 포함되어 있으며, 훈련 데이터셋과 검증/테스트 데이터셋 간의 차이점을 강조합니다.Key Metrics and Challenges참가자들은 데이터셋에서 다음과 같은 일곱 가지 주요 지표를 도출해야 합니다:Q1: Overall sleep qualityQ2: Emotional state before sleepQ3: Stress levels before sleepS1: Total sleep time (TST)S2: Sleep efficiency (SE)S3: Sleep onset latency (SOL)S4: Wake after sleep onset (WASO)이 지표들은 평균 이상의 값인지 아닌지, 또는 National Sleep Foundation 지침을 준수하는지 여부를 나타내는 이진 지표입니다.Evaluation Method참가자들은 각 지표의 이진 값을 포함한 CSV 파일 형식으로 추론 결과를 제출해야 합니다. 평가는 매크로 F1 점수를 기반으로 하며, 이는 모델의 정밀도와 재현율을 모두 고려하여 균형 잡힌 성능 측정을 제공합니다.Conclusion2024 인간 이해 AI 논문 챌린지는 다중 모드 센서 데이터로부터 인간 행동을 해석할 수 있는 AI 모델을 개발하고자 하는 연구자들에게 포괄적인 플랫폼을 제공합니다. 이 대회의 엄격한 데이터셋과 평가 방법은 AI가 일상 생활에서 인간을 이해하는 능력을 한층 더 발전시킬 수 있는 가능성을 열어줍니다. 대회 참가자들이 혁신적인 모델과 기술을 개발해 인간의 웰빙을 향상시키는 데 기여할 수 있기를 기대합니다.
다중 인스턴스 기반 개인별 모달 중요도 추출 및 군집화를 통한 긴장도 예측 성능 향상
서울과학기술대학교 연구진의 논문 '다중 인스턴스 기반 개인별 모달 중요도 추출 및 군집화를 통한 긴장도 예측 성능 향상'에 대해 소개해 드리겠습니다. 이 연구는 웨어러블 기기로부터 수집한 다중 모달 생체신호 데이터를 활용하여 사용자 개인별 맞춤형 긴장도 예측 모델을 구축하는 새로운 접근법을 제시합니다. 연구 방법론을 살펴보면 다음과 같습니다. 첫째, 2019년 동안 20명의 사용자로부터 9가지 모달(스마트폰 IMU, 지자기, GPS, 가속도계, EDA, 온도, 심박수, 혈압)의 생체신호 데이터를 수집하고 전처리하였습니다. 이러한 데이터는 12,487시간 동안 수집된 정보로 구성되어 있으며, 긴장도 라벨의 불균형을 해결하기 위해 7단계의 긴장도를 3단계로 매핑하였습니다. 또한, 시계열 데이터를 5초 단위의 최대값으로 변환하여 사용하였습니다.둘째, Causal Dilated Convolution 신경망을 사용하여 각 모달의 시계열 데이터를 인코딩하고, 변형된 Self-Attention 메커니즘을 통해 각 모달의 중요도를 계산하였습니다. 이는 각 모달의 중요도를 정량적으로 평가하고, 모달 간 상관관계를 반영하여 보다 정확한 중요도를 도출하기 위함입니다.셋째, 추출된 모달 중요도를 기반으로 Agglomerative 군집 기법을 적용하여 사용자를 그룹화하고, 각 그룹별로 개별 모델을 학습시켰습니다. 이를 통해 사용자 간 유사한 성향을 가진 그룹을 형성하고, 각 그룹에 특화된 예측 모델을 구축하였습니다.연구 결과, Agglomerative 군집 기법이 K-Means보다 낮은 엔트로피와 높은 실루엣 스코어를 보이며 더 효과적인 군집화 성능을 입증하였습니다. 또한 군집별 모델이 전체 사용자 모델 대비 평균 0.7% 정확도, 4.4% F1 스코어 향상을 보였습니다. 이는 각 그룹별로 특화된 모델이 전체 사용자 모델보다 긴장도 예측 성능이 뛰어남을 나타냅니다. 이 연구의 가장 큰 기여는 개인별 모달 중요도 추출 및 군집화를 통한 맞춤형 모델링 방법론을 최초로 제안했다는 점입니다. 이는 사용자 개개인의 생체신호 특성을 반영하여 보다 정확한 긴장도 예측을 가능하게 합니다. 연구진은 또한 제안된 모델을 GitHub에 공개하여 다른 연구자들이 접근하고 활용할 수 있도록 하였습니다. 논문 링크 : https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE11488632
Dataset Design
해당 논문은 경진대회를 위한 데이터 설명 및 유의사항에 관한 내용으로 참고하면 좋으실거 같습니다. introduction일상에서 인간의 행동을 이해하기 위해선 광범위한 라이프로그 데이터가 필수적이다.해당 연구에선 22명의 10000시간 가량의 라이프로그 센서데이터를 수집함이번 대회는 수면패던,감정, 스트레스 추론에 초점을 맞춤최종목표는 스마트폰,워치를 통해 수집된 데이터를 통해수면 질, 감정, 스트레스 수치등 7가지 지표를 식별하고 추론하는 모델 개발임 2. Dataset composition제공되는 데이터는 train.val.test로 구성되어있음. 표1 참조 train 데이터는 2020년에 수집된 데이터를 포함하고 있고 test와 val은 2023데이터로 이루어져 인구통계학적 구성은 달라질 수 있음을 유의test와 val 데이터는 고유한 식별자가 부여되고 val 데이터는 1~4의 범주를 갖고 test는 5~8의 범주를 가지고 있음표2는 val 데이터의 참가자의 정보를 명시한 것으로 참가자 나이는 10단위로 제공되며 키와 체중은 반올림하여 제공됨그림1은 4가지 데이터 항목에 관한 그림으로데이터는 설문기록, 스마트폰 수집 데이터, 스마트 워치 수집 데이터, 수면 센서 데이터로 이루어짐일일 설문 기록: 매일 아침에 일어나서 또는 자기 전에 완료한 자가 기록 설문지입니다.스마트폰: 참가자가 소유한 스마트폰(Android OS 버전 10 이상)에 설치된 애플리케이션을 통해 얻은 센서 데이터입니다.스마트워치: 훈련 데이터셋에서는 Empatica E4 장치를 사용하여 가속도와 심박수 데이터를 수집했습니다. 검증 데이터셋과 테스트 데이터셋에서는 Galaxy Watch4 또는 Watch5를 사용하여 심박수, 걸음 수, 조도 데이터를 수집했습니다.수면 센서: Withings Sleep Tracking Mat을 사용하여 수집한 수면 로그 데이터입니다.표3은 데이터셋의 항목과 수집 주기를 나타내는 표로test와val 데이터는 train에 포함되지 않은 데이터로 이루어져있고상당량의 누락이 있음을 유의해야함표4는 val데이터와 test 데이터의 상세 구성이다.스마트폰과 스마트워치를 통해 수집된 데이터를 중점으로 표시한다.표5는 표3의 데이터 항목을 기반으로 생선한 7가지 지표를 보여준다.설문 기록과 관련된 세 가지 설문 지표(Q1, Q2, Q3)는 각 참가자의 실험 기간 전체에 걸쳐 설문 응답의 평균 첫 번째와 두 번째 설문 지표(Q1, Q2)는 설문 응답이 평균보다 높은 날에는 1을, 평균보다 낮은 날에는 0을 부여 스트레스 상태 지표(Q3)는 반대로, 스트레스 수준이 평균보다 높은 날에는 0을, 낮은 날에는 1을 부여수면 센서 데이터에서 도출된 네 가지 수면 지표(S1, S2, S3, S4)는 미국 수면 재단(NSF)의 수면 건강 지침에 맞추어 보정 권장 지침을 준수하는 수면 기록에 대해 1을, 지침을 준수하지 않는 수면 기록에 대해 0을 부여 3.Submission format and evaluation method제출은 csv파일로 해야하며 참가자의 id 날짜 지표 7가지의 이진값이 포함되어야한다.