CODE · VALUES · CALL FLOW / 4장 · GPT

GPT는 부품을 어떻게 연결해 다음 토큰을 고를까요?

입력 ID가 벡터로 바뀌어 블록을 지나고, 어휘 점수에서 한 토큰을 고른 뒤 문맥에 붙이는 과정을 코드 옆에서 확인합니다.

계속 따라갈 예시

무엇을 확인하는 실습인가요?

원본 시작 문장은 “Hello, I am”입니다. 아래 작은 수치 예는 “I like” 뒤의 후보를 고르는 원리만 보여줍니다. 이 원본은 사전학습 가중치를 불러오지 않아 실제 생성 문장의 의미를 보장하지 않습니다.

큰 흐름을 읽고 코드 줄을 선택하세요. 옆 그림은 현재 줄의 변화를 보여줍니다. 수치는 설명용이며 실제 모델을 실행한 결과가 아닙니다.

먼저 전체 일을 나눠 봅니다.

코드와 값의 변화를 함께 따라가세요.

코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.

기본: 설명을 위해 빈칸을 복원한 코드

선택한 줄 ↔ 바뀌는 값

이 단계 전체 그림과 실험 펼치기

단계 전체를 다시 연결

키워드함수문자열숫자주석
전체 원본 코드 보기 · 빈칸 유지

위 탐색기는 실행 흐름의 핵심 줄을 추렸습니다. 아래에는 생략하지 않은 원본 코드 셀 전체가 있습니다.