Intro

Transformers를 다뤄보며, 소설 쓰는 GPT를 만드는 것을 목적으로 합니다.

참가 조건

누구나 참가 가능합니다

About Project

Transformers는 자연어 생성 모델을 넘어 Diffusion과 활용되기도 하는 등 시퀀스 생성 모델의 뿌리가 되어가고 있습니다. 이 프로젝트에서는 Transformers의 구조를 이해하고, 포지셔널 임베딩이라는 것이 어떤 역할을 하는지 직접 느끼고, nanoGPT 코드를 사용하여 직접 모은 소설 데이터로 임베딩을 구현하여 소설을 작성하는 모델을 만들고, 그 모델을 서비스로 서빙하는 것을 목적으로 합니다.

⛓️ Process ⛓️

Part 1.

Part 2.

Part 3.

Notice

이 프로젝트는 Transformer 모델을 깊이 이해해보고자 하는 데 목적이 있습니다.

Value of this project

Transformers는 실제로 정말 많이 이용되는 모델입니다. 이 모델에 익숙해져 봅시다.