CODE · VALUES · CALL FLOW / 3장 · 관찰

Attention 그림의 한 칸은 무엇을 뜻할까요?

모델이 계산한 비율을 수집하는 코드와, 그 비율을 그림으로 바꾸는 코드를 구별합니다. 행은 현재 위치, 열은 참고 위치입니다.

계속 따라갈 예시

무엇을 확인하는 실습인가요?

원본은 “The artist painted the portrait of a woman with a brush”를 GPT-2 Small로 읽습니다. 아래 세 위치 계산은 그림의 축과 미래 마스크를 이해하기 위한 축소 예입니다.

큰 흐름을 읽고 코드 줄을 선택하세요. 옆 그림은 현재 줄의 변화를 보여줍니다. 수치는 설명용이며 실제 모델을 실행한 결과가 아닙니다.

먼저 전체 일을 나눠 봅니다.

코드와 값의 변화를 함께 따라가세요.

코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.

기본: 설명을 위해 빈칸을 복원한 코드

선택한 줄 ↔ 바뀌는 값

이 단계 전체 그림과 실험 펼치기

단계 전체를 다시 연결

키워드함수문자열숫자주석
전체 원본 코드 보기 · 빈칸 유지

위 탐색기는 실행 흐름의 핵심 줄을 추렸습니다. 아래에는 생략하지 않은 원본 코드 셀 전체가 있습니다.