글쓰기
[챗GPT 러닝데이] Transformer 모델 개요와 GPT3 모델 활용 주요 질의응답
[챗GPT 러닝데이] 중급 - Transformer 모델 개요와 GPT3 모델 활용 실습 세미나에 나왔던 주요 질의응답을 정리해봤습니다. Q) 그런데 Chat GPT는 왜 hallucination 문제를 보이는건가요? 곧 해결될 사항일까요?A) 할루시네이션 문제는 보통 학습 데이터의 영향을 받아서 그렇습니다. 잘못된 정보의 텍스트로 학습되어서 그럴수도 있고 정보가 없어 어쩔 수 없이 생성되는 경우도 있고요. 이러한 부분은 현재 프롬프트 작성하는 방법을 통해서 해결할 수도 있고 파인튜닝을 통해서 해결할 수 있는 것으로 알고 있습니다. Q) Bart와 gpt 의 차이점도 궁금합니다A) Bart는 Encoder-Decoder 구조의 모델이고 gpt는 Decoder 모델입니다. Q) 작년에 '차근 차근히 생각해보자'라는 프롬프트?를 추가해서 추론 했더니 기존에 풀지 못했던 수학 관련 문제를 더 잘 풀었다는 것을 보았는데 이것이 어떻게 영향을 주었는지 궁금합니다!A) Chain of Thought에 관련한 연구 이야기를 주신듯 합니다. 정답을 생성하기 전에 문제에 대한 풀이과정을 서술하도록 한 뒤에 정답을 낼 수 있도록 하는 것인데요. 풀이 과정의 서술이 좋을 수록 정답을 맞출 확률이 높은 것으로 알고 있습니다. 해당 연구에서는 이런 방식을 통해 수학 관련 문제에 대한 풀이 성능이 더 좋다고 이야기 합니다. 관련한 접근방법은 종종 Chat GPT를 통해서도 볼 수 있습니다. 질의를 했을 때 질의한 어떤 단어들에 대한 정의를 나열하면서 답을 하거나 하는 경우 Chain of Thought 접근이 들어갔을 것이라 예상하고 있습니다. Q) GPT와 BERT의 pre-trained 모델을 같은 데이터로 학습시켜도, BERT는 생성ai가 아니기에 이 둘은 같은 아웃풋을 내뱉을 수 없는 걸까요?A) 네, BERT와 GPT는 학습 목적이 다릅니다. 그렇기 때문에 BERT는 GPT와 같은 출력을 내기 어렵습니다. BERT가 텍스트 생성할 수 있도록 할 수는 있지만 출력한 결과가 GPT와 같을지는 잘 모르겠습니다. Q) LM모델하고 토크나이저를 다른 모델 체크포인트로 부터 불러 오는것같은데...그렇게 해도되나요?A) 해당 질문은 실습 내용과 관련이 되어있는 듯합니다. Ko-Alpaca-polyglot 모델은 polyglot-5.8b 모델을 파인튜닝한 모델입니다. 그렇기 때문에 polyglot-5.8b의 토크나이저와 호환이 가능하여 사용 가능합니다. Q) Few-shot Learning이 요즘 많이 언급되는 프롬프트 엔지니어링의 일종이라고 볼 수 있을까요?A) Few-shot Learning이 소개 되었기 때문에 프롬프트 엔지니어링이 나왔다고 보시는게 적절하지 않나 싶습니다. 프롬프트는 말 그대로 명령을 하기 위한 내용을 작성하는 것이고 이에 대한 예시를 추가하면서 few-shot이 됩니다. few-shot 예제를 추가할 때도 템플릿을 적용하여 prefix 토큰이 같이 붙을 수 있는데 prefix 단어를 선택하는 것도 일종의 프롬프트 엔지니어링 중 하나입니다. Q) 앱 서비스에 인공지능 모델을 넣으려고 하는데 프레임워크는 어떻게 구성하셨는지 궁금합니다. 장고 또는 플라스크 쓰셨는지A) 모델을 넣고자 할 때는 개발에 편하신 프레임워크를 선택하시면 됩니다. 플라스크 같은 경우는 간단한 코드만으로도 서빙이 가능하기 때문에 프로토타입하는데 많이 사용하는 것으로 알고 있습니다. 최근에는 FastAPI도 많이 활용하니 참고해주세요. 좋은 질문해주신 참여자분들과 친절한 답변 해주신 최태균님께 감사드립니다. 🍀 세미나 영상보기📺 본 세미나의 녹화본을 보시려면 💁🏻 바로가기
[챗GPT 러닝데이] 중급 - 코알파카 이용하여 인컨텍스트 퓨샷러닝으로 리뷰분류 실습세미나
챗GPT 러닝데이의 중급 세션으로 최태균님을 모시고 "Transformer 모델 개요와 GPT3 모델 활용 실습" 세미나를 개최하는데요. 최근 이슈가 된 코알파카를 이용한 실습을 해보려고 합니다. 용어가 생소하신 분들도 계실텐데요. 하나씩 간단히 소개드리겠습니다.코알파카란? (KoAlpaca)스탠포드에서 LLAMA 기반 Instruct-following하는 알파카(Alpaca) 모델을 5만 2천개의 데이터셋도 함께 공개했습니다. 이어서 이준범님이 코알파카(KoAlpaca) 이름으로 한국어로 학습된 모델을 아래 깃헙으로 공개했습니다.https://github.com/Beomi/KoAlpaca데모를 해볼 수 있도록 텔레그램까지 만드셨네요. (위 깃헙에 들어가시면 접속 링크를 확인할 수 있습니다.) 이 모델을 만들기 위해 한국어 데이터셋을 구축을 하셨는데요. 먼저 스탠보드 데이터셋에 instruction과 input 부분만 DeepL API 서비스로 번역하였고, 이를 기반으로 OpenAI ChatGPT API(gpt-3.5-turbo)를 이용하여 output을 생성한 후 데이터셋을 구성했습니다. 인컨텍스트 퓨샷러닝이란?대규모 언어 모델을 특성 태스크에 적용하기 위해서 여러가지 기법을 사용하는데요. 이번 실습에는 인컨텍스트 퓨샷러닝을 사용할 예정입니다. 인컨텍스트 러닝은 모델 자체는 바꾸지 않고 프롬프트 내의 정보로만 모델을 원하는 태스크를 수행할 수 있도록 학습을 시키는 방법이며, 이 때 모델 가중치는 바뀌지 않습니다. 그리고 퓨샷러닝은 여러개의 샘플을 미리 보여주는 것을 얘기하며, 1개만 보여줄 경우에는 원샷러닝, 하나도 안 보여줄 경우에는 제로샷러닝이라고 합니다. 리뷰 분류?네이버 영화 리뷰를 분류한 데이터셋이며, 자연어처리 분류 모델에 자주 사용되는 데이터셋입니다. 예전에는 이 데이터셋으로 지도학습 기반의 모델을 만들거나 언어모델을 가지고 와서 파인 튜닝을 했었는데, 이번 실습은 대규모 언어모델을 기반으로 인컨텍스트 퓨샷러닝만으로 태스크를 풀어보고자 합니다.세미나 참여세미나 상세 안내 >> https://aifactory.space/learning/2300/discussion/193세미나 참여방법 >> 아래 그림처럼 상단 [참여하기] 버튼을 누르시면 됩니다.
[챗GPT 러닝데이] 중급 - Transformer 모델 개요와 GPT3 모델 활용 실습
본 세미나는 Transformer 계열 모델들의 기본적인 컨셉에 대해 간단히 소개하고 GPT3모델에 대한 활용 실습을 진행하고자 합니다. Transformer 모델을 시작으로 BERT와 GPT 모델에 대해 소개하고자 합니다. 모델 컨셉에 대한 소개 후 GPT3 모델에서 많이 활용되는 퓨샷러닝과 활용방법을 polyglot 오픈소스를 활용하여 소개합니다. 실습은 gpt3 백본모델로 KoAlpaca를 활용하여 인컨텍스트 퓨삿러닝을 통해 네이버 영화 리뷰 데이터(NSMC - NAVER Sentiment Movie Corpus) 분류문제를 풀어봅니다. 참고로 KoAlpaca는 한국어로 인스트럭션 데이터를 한국어 오픈소스 gpt3 모델인 polyglot-ko에 파인튜닝한 모델입니다.💁 세미나 안내 날짜 : 2023년 3월 21일 화요일시간 : 19:00 ~ 20:00장소 : 온라인접속링크 : 실시간 라이브🧑🏫 세미나 내용1차시 : Transformer 계열 모델 소개2차시 : GPT3 퓨샷러닝 실습🧑🚀 연사 소개연사: 최태균 (텐서플로 2와 머신러닝으로 시작하는 자연어 처리 저자)📺 챗GPT 러닝데이 - 전과정 무료3월 한 달동안 매주 화요일 저녁에 챗GPT를 이해하기 위한 기초 내용 및 이론을 배우고, 실습을 해본 뒤 실제 개발과 활용을 어떻게 해야할 지 살펴봅니다. 챗GPT 러닝데이 안내 (3월달 매주 화요일 저녁 7시~9시 온라인) >> https://aifactory.space/learning/2291/discussion/191특별 세션 - 3월 7일(화) 19:00 (종료) 녹화본 시청가능연사 : 스모어톡 이정민 신청 및 상세 내용 : https://aifactory.space/learning/2293/discussion/190입문 - 3월 14일(화) 19:00 ~ 20:00연사 : 김준영 (인공지능팩토리 데이터사이언스팀 리드) 신청 및 상세 내용 : https://aifactory.space/learning/2306/discussion/192초급 - 3월 14일(화) 20:00 ~ 21:00연사 : 김태영 (인공지능팩토리 대표이사) 신청 및 상세 내용 :https://aifactory.space/learning/2308/discussion/196중급 - 3월 21일(화) 19:00 ~ 20:00연사 : 최태균 (텐서플로 2와 머신러닝으로 시작하는 자연어 처리 저자) 신청 및 상세 내용 :https://aifactory.space/learning/2300/discussion/193고급 - 3월 21일(화) 20:00 ~ 21:00연사 : 고우영 (전자통신부설연구소) 신청 및 상세 내용 :https://aifactory.space/learning/2298/discussion/194개발 - 3월 28일(화) 19:00 ~ 20:00연사 : 김태영 (인공지능팩토리 대표이사) 신청 및 상세 내용 :https://aifactory.space/learning/2307/discussion/197활용 - 3월 28일(화) 20:00 ~ 21:00연사 : 장병준 (노코드캠프 대표) 신청 및 상세 내용 :https://aifactory.space/learning/2297/discussion/195챗GPT MS애저톤이어서 4월에는 3월 동안 배운 것을 활용하여 프롬프트, 확장앱, API 기반 서비스를 만드는 해커톤을 진행합니다. 챗GPT에 관심있는 기관 혹은 서비스나 기술을 알리고싶은 기업 후원을 받고 있으니 아래 링크에서 신청 부탁드립니다.챗GPT 해커톤 후원사 모집 (~ 4월 18일 23시) >> https://aifactory.space/competition/detail/2292챗GPT 해커톤 참가자 모집 (~ 4월 18일 23시) >> https://aifactory.space/competition/detail/2290