텍스트에서 학습 데이터까지

먼저 학습의 목적을 연결합니다

GPT는 앞에 주어진 토큰을 보고 다음 토큰을 예측하도록 학습합니다. 이를 위해 원문을 숫자로 바꾸고, 각 위치에서 맞혀야 할 다음 토큰을 정답으로 준비합니다.

이 노트북은 임베딩까지의 입력 준비를 다룹니다. 이후 Attention은 문맥을 반영하고, 출력 레이어는 다음 토큰의 점수를 만듭니다. 학습 시에는 그 점수를 여기서 만든 정답 ID와 비교해 파라미터를 갱신합니다.

텐서 shape와 인덱싱이 어렵다면 텐서 기초를 먼저 읽고, 여기서 데이터 흐름을 확인한 뒤 Day1의 Attention·GPT 설명으로 이어가세요. 이후 Day2의 GPT 조립·Loss·학습 루프에서 이 입력과 정답이 실제 학습에 어떻게 쓰이는지 연결하세요.

셀 1

1. 문자열을 토큰 ID로 바꿉니다

import tiktoken
tokenizer = tiktoken.get_encoding("gpt2")
integers = tokenizer.encode(text, allowed_special={"<|endoftext|>"})
strings = tokenizer.decode(integers)

encode는 문자열을 정수 목록으로, decode는 그 목록을 문자열로 복원합니다. 토큰은 단어 전체일 수도, 단어 조각이나 문장부호일 수도 있습니다. 토큰 ID는 식별 번호이므로 ID가 크다고 의미가 더 강하거나 비슷한 의미끼리 번호가 가까운 것은 아닙니다.

allowed_special은 원문 속 <|endoftext|>를 특수 토큰으로 인식하도록 허용합니다. 각 문장 뒤에 자동으로 붙이라는 뜻은 아닙니다.

원본 예제의 "terraces" "of"는 파이썬에서 "terracesof"로 연결됩니다. 띄어쓰기를 의도했다면 두 번째 문자열 앞에 공백을 넣어야 합니다. 공백도 토큰화 결과에 영향을 줍니다.

셀 2

2. 정답은 입력보다 한 토큰 뒤에 있습니다

datas/the-verdict.txt가 없으면 다운로드한 뒤 UTF-8로 읽어 raw_text에 저장합니다. 전체 원문을 인코딩한 enc_text의 길이는 토큰 수입니다. enc_text[50:]는 예시를 위해 처음 50개 토큰을 건너뛴 것으로, 필수 전처리는 아닙니다.

context_size = 4
x = enc_sample[:context_size]
y = enc_sample[1:context_size + 1]

# 설명용 토큰 ID
# 원본: [10, 20, 30, 40, 50, ...]
# x:    [10, 20, 30, 40]
# y:    [20, 30, 40, 50]

슬라이스의 끝 인덱스는 포함되지 않습니다. 입력과 정답은 모두 길이 4이며, 정답의 각 원소는 해당 입력 위치 바로 다음 토큰입니다.

입력에는 뒤쪽 토큰도 함께 담겨 있지만, 모델의 causal attention이 미래 위치를 가립니다. Dataset은 정답을 정렬하고, Attention 마스크는 정답을 미리 보지 못하게 합니다.

셀 3

3. Dataset은 전체 원문에서 샘플을 만듭니다

한 쌍을 만들었던 슬라이싱을 전체 토큰 목록에 반복합니다. max_length는 샘플 하나의 입력 길이이고, stride는 다음 샘플의 시작점을 이동하는 간격입니다.

class GPTDatasetV1(Dataset):
    def __init__(self, txt, tokenizer, max_length, stride):
        self.input_ids = []
        self.target_ids = []
        token_ids = tokenizer.encode(
            txt, allowed_special={"<|endoftext|>"}
        )
        assert len(token_ids) > max_length
        for i in range(0, len(token_ids) - max_length, stride):
            input_chunk = token_ids[i : i + max_length]
            target_chunk = token_ids[i + 1 : i + max_length + 1]
            self.input_ids.append(torch.tensor(input_chunk))
            self.target_ids.append(torch.tensor(target_chunk))

    def __len__(self):
        return len(self.input_ids)

    def __getitem__(self, idx):
        return self.input_ids[idx], self.target_ids[idx]

이 코드는 앞서 import torch와 from torch.utils.data import Dataset, DataLoader를 실행한 상태를 전제로 합니다. 입력 길이가 L이면 정답의 마지막 토큰까지 최소 L+1개가 필요합니다. 완전한 쌍을 만들 수 없는 끝부분은 버립니다. max_length와 stride는 양의 정수로 사용합니다.

len(dataset)은 전체 토큰 수가 아니라 샘플 쌍의 수입니다. dataset[0]은 첫 번째 입력·정답 텐서를 반환하며, 각각 shape는 [max_length]입니다. 이 구현은 모든 샘플을 생성할 때 메모리에 저장합니다.

셀 4–5

4. DataLoader는 샘플을 배치로 묶습니다

def create_dataloader_v1(txt, batch_size=4, max_length=256,
                         stride=128, shuffle=True, drop_last=True,
                         num_workers=0):
    tokenizer = tiktoken.get_encoding("gpt2")
    dataset = GPTDatasetV1(txt, tokenizer, max_length, stride)
    return DataLoader(
        dataset, batch_size=batch_size, shuffle=shuffle,
        drop_last=drop_last, num_workers=num_workers
    )

dataloader = create_dataloader_v1(
    raw_text, batch_size=1, max_length=4, stride=1, shuffle=False
)
data_iter = iter(dataloader)
first_batch = next(data_iter)
second_batch = next(data_iter)

iter로 배치를 꺼낼 순회자를 만들고, next로 다음 배치를 받습니다. 위 설정에서 첫 두 배치의 입력은 시작 위치가 한 토큰 차이입니다. 배치 크기가 1이어도 배치 차원은 유지되어 입력과 정답 각각 [1, 4]가 됩니다.

stride와 batch_size는 역할이 다릅니다. stride는 Dataset에서 샘플을 만드는 간격이고, batch_size는 만들어진 샘플을 묶는 개수입니다. 끝의 짧은 토큰 구간을 제외하는 일과 drop_last로 불완전한 배치를 버리는 일도 서로 다릅니다.

셀 6–7

5. ID를 벡터로 바꾸고 위치 정보를 더합니다

input_ids = torch.tensor([2, 3, 5, 1])
embedding_layer = torch.nn.Embedding(6, 3)
token_embeddings = embedding_layer(input_ids)
# weight: [6, 3] → 선택한 네 행: [4, 3]

Embedding은 학습 가능한 표입니다. 어휘가 6개이고 벡터 차원이 3이면 가중치는 [6, 3]입니다. 각 ID에 대응하는 행을 가져옵니다. 초기값은 무작위이며 학습으로 바뀝니다. 허용되는 ID는 0부터 5까지입니다. 노트북의 torch.manual_seed(123)은 난수 초기화의 재현을 돕습니다.

vocab_size, output_dim = 50257, 256
token_embedding_layer = torch.nn.Embedding(vocab_size, output_dim)
max_length = 4
dataloader = create_dataloader_v1(
    raw_text, batch_size=8, max_length=max_length,
    stride=max_length, shuffle=False
)
inputs, targets = next(iter(dataloader))      # 각각 [8, 4]
token_embeddings = token_embedding_layer(inputs)  # [8, 4, 256]
pos_embedding_layer = torch.nn.Embedding(max_length, output_dim)
positions = torch.arange(max_length)              # [0, 1, 2, 3]
pos_embeddings = pos_embedding_layer(positions)   # [4, 256]
input_embeddings = token_embeddings + pos_embeddings  # [8, 4, 256]

토큰 임베딩은 ‘어떤 토큰인가’를, 위치 임베딩은 ‘샘플 안에서 몇 번째인가’를 나타냅니다. 위치 벡터는 모든 배치 샘플에 broadcasting으로 더해집니다. 이어 붙이는 연산이 아니므로 차원이 512로 늘어나지 않습니다.

B는 배치 크기, T는 시퀀스 길이, V는 어휘 수, D는 임베딩 차원입니다. 정답 targets는 이후 손실 계산에 사용할 정수 ID로 유지합니다.

6. 뒤쪽 확장 자료는 어디에 연결될까요?

토크나이저 비교

노트북 후반은 Qwen과 EXAONE으로 여러 언어의 문장을 인코딩합니다. 같은 글도 토크나이저에 따라 ID와 토큰 수가 달라집니다. 토큰 수가 적다는 것은 해당 예제의 표현이 더 짧다는 뜻이며, 모델의 이해력이나 전체 성능을 보장하지 않습니다. 특수 토큰 추가 여부와 더 넓은 테스트 문장도 함께 봐야 합니다.

개별 ID를 하나씩 디코딩하면 문자 바이트가 나뉜 경우 글자가 깨져 보일 수 있습니다. 전체 ID 시퀀스의 디코딩 결과와 구분하세요. 다른 토크나이저로 바꿀 때는 해당 모델의 어휘와 임베딩도 맞아야 합니다.

Hugging Face 파일 구조

• config.json: 모델 구조와 설정
• model.safetensors: 학습된 가중치. 큰 모델은 여러 파일로 나뉠 수 있음
• tokenizer.json, vocab.json, merges.txt: 토큰화에 사용하는 데이터. 필요한 파일 구성은 토크나이저별로 다름
• tokenizer_config.json: 토크나이저 설정
• generation_config.json: 생성 시 기본 설정

파일 이름 암기보다 ‘텍스트 변환 규칙·모델 구조·학습된 가중치’의 역할을 구분하세요. 노트북 마지막 외부 시뮬레이터의 cl100k_base는 본 실습의 gpt2와 다르므로, 같은 문장도 ID와 분할 결과가 다를 수 있습니다.

이유까지 설명할 수 있는지 확인하세요

input_chunk = token_ids[___ : ___ + max_length]
target_chunk = token_ids[___ + 1 : ___ + max_length + 1]
dataloader = DataLoader(___, batch_size=4)
embedding_layer = torch.nn.Embedding(___, ___)