CODE · VALUES · CALL FLOW / 5장 · 사전학습

틀린 다음 토큰 예측이 GPT의 숫자를 바꾸기까지.

입력과 한 칸 뒤 정답을 비교하는 순간부터, 손실·미분·가중치 수정·생성 확인까지 한 배치의 흐름을 연결합니다.

계속 따라갈 예시

무엇을 확인하는 실습인가요?

작은 사전 ID [0,1,2]를 입력하면 다음 토큰 정답은 [1,2,3]입니다. 아래에서는 문장2개·위치3개·어휘6개로 축소합니다. 실제 원본은 GPT-2 어휘50,257개를 사용합니다.

큰 흐름을 읽고 코드 줄을 선택하세요. 옆 그림은 현재 줄의 변화를 보여줍니다. 수치는 설명용이며 실제 모델을 실행한 결과가 아닙니다.

먼저 전체 일을 나눠 봅니다.

코드와 값의 변화를 함께 따라가세요.

코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.

기본: 설명을 위해 빈칸을 복원한 코드

선택한 줄 ↔ 바뀌는 값

이 단계 전체 그림과 실험 펼치기

단계 전체를 다시 연결

키워드함수문자열숫자주석
전체 원본 코드 보기 · 빈칸 유지

위 탐색기는 실행 흐름의 핵심 줄을 추렸습니다. 아래에는 생략하지 않은 원본 코드 셀 전체가 있습니다.