CODE · VALUES · CALL FLOW / 3장 · Attention

지금 읽는 토큰은 앞의 무엇을 참고할까요?

Q·K·V라는 이름부터 외우지 않고, 점수표의 행·열과 미래를 가리는 칸을 먼저 봅니다.

계속 따라갈 예시

무엇을 확인하는 실습인가요?

“Your journey starts”의 세 위치로 축소해 설명합니다. 원본 실행 예시는 여섯 위치·입력차원3입니다. 숫자와 Attention 비율은 아래 계산 원리를 위한 작은 예입니다.

큰 흐름을 읽고 코드 줄을 선택하세요. 옆 그림은 현재 줄의 변화를 보여줍니다. 수치는 설명용이며 실제 모델을 실행한 결과가 아닙니다.

먼저 전체 일을 나눠 봅니다.

코드와 값의 변화를 함께 따라가세요.

코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.

기본: 설명을 위해 빈칸을 복원한 코드

선택한 줄 ↔ 바뀌는 값

이 단계 전체 그림과 실험 펼치기

단계 전체를 다시 연결

키워드함수문자열숫자주석
전체 원본 코드 보기 · 빈칸 유지

위 탐색기는 실행 흐름의 핵심 줄을 추렸습니다. 아래에는 생략하지 않은 원본 코드 셀 전체가 있습니다.