CODE · VALUES · CALL FLOW / 2장 · Dataset

글 한 줄을 다음 토큰 연습 문제로 바꿉니다.

입력과 정답이 왜 한 칸 어긋날까요? 같은 숫자 목록을 토큰화·슬라이싱·배치·임베딩까지 이어서 봅니다.

계속 따라갈 예시

무엇을 확인하는 실습인가요?

설명용 토큰 [10,11,12,13,14,15,16,17]에서 입력 길이 3, stride 2의 문제를 만듭니다. 번호는 GPT-2 실제 토큰화 결과가 아닙니다.

큰 흐름을 읽고 코드 줄을 선택하세요. 옆 그림은 현재 줄의 변화를 보여줍니다. 수치는 설명용이며 실제 모델을 실행한 결과가 아닙니다.

먼저 전체 일을 나눠 봅니다.

코드와 값의 변화를 함께 따라가세요.

코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.

기본: 설명을 위해 빈칸을 복원한 코드

선택한 줄 ↔ 바뀌는 값

이 단계 전체 그림과 실험 펼치기

단계 전체를 다시 연결

키워드함수문자열숫자주석
전체 원본 코드 보기 · 빈칸 유지

위 탐색기는 실행 흐름의 핵심 줄을 추렸습니다. 아래에는 생략하지 않은 원본 코드 셀 전체가 있습니다.