GPT 분석방법

목차

Ⅰ. 서론

Ⅱ. 본론
1. 자연어 처리에 필요한 데이터
2. GPT-1
3. GPT-2
4. 언어모델의 성능 평가의 애로점
5. 언어 모델의 평가 지표
6. GPT-3

Ⅲ. 결론

Ⅳ. 참고문헌

본문내용

I. 서론
트랜스포머는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델이다. 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도 논문의 이름처럼 어텐션(attention)만을 이용하여 자연어처리를 할 수 있도록 만든 모델링을 말한다. 즉 RNN을 사용하지 앟ㄴ고 인코더-디코더 구조를 설계하였음에도 자연어 처리 분야에서 RNN보다 우수한 성능을 보여주었다.

II. 본론
1. 자연어 처리에 필요한 데이터
1) 지도학습 : 정답이 정해진 문제
- 예) 감성분석 : 어떤 단어가 긍정인지 부정인지 정답을 알아야 함(라벨링 작업을 통하여 진행함)

2) 비지도학습 : 정답이 정해지지 않은 문제
- 예) 워드투벡터 : 빈칸 앞뒤에 함께 등장하는 단어의 빈도를 알아보는 작업에서는 정답 데이터가 반드시 필요한 것이 아님

참고 자료

OpenAI GPT-2 웹 사이트 : Openai.com/blog/better-language-models
OpenAI GPT-2 깃허브 : github.com/openai/gpt-2
OpenAI GPT-2 논문 : cdn.openai.com/better-language-models/language_models.are_unsupervised_multitask_learners.pdf
위키독스 문서 : https://wikidocs.net/31379