지인이 보낸 문자 · 받아야 함
“미안, 회의 중이야. 나중에 전화할게.”
Sorry, in meeting I'll call you later
정상 · ham · 정답 0
계속 함께 볼 두 문자
문자는 모델이 읽고, 정답은 사람이 알려줍니다.
상금 광고 문자 · 걸러야 함
“1,000파운드 현금 또는 5,000파운드 상당의 경품에 당첨!”
Win a £1000 cash prize or a prize worth £5000
스팸 · spam · 정답 1
영문은 로컬 SMS 학습 데이터에 들어 있는 문구이며, 위 한글은 뜻을 이해하기 위한 번역입니다. 모델은 영문을 읽습니다. 이 페이지의 작은 숫자 예시는 계산 설명용이며 실제 GPT-2 예측 결과가 아닙니다.
처음에는
두 문자의 뜻과 사람이 붙인 정답이 있습니다. GPT는 아직 이 분류 과제를 배우지 않았습니다.
학습할 때는
문자로 예측한 뒤 정답과 비교합니다. 틀린 방향을 줄이도록 일부 가중치를 바꿉니다.
배운 뒤에는
새 문자만 넣고 예측합니다. 정답을 이미 알려주어야만 분류할 수 있는 것이 아닙니다.
큰 그림 · 지금 어떤 일을 하는가
준비하는 코드와, 반복해서 배우는 코드를 나눠 보세요.
1~5는 학습 전 준비입니다. 6~7은 배치마다 반복하고, 8은 중간에 확인합니다. 아래 카드를 누르면 해당 코드와 설명으로 이동합니다.
코드와 값의 변화를 함께 따라가세요.
코드 줄을 누르면 바로 옆 그림에서 바뀌는 칸을 강조합니다. 함수 호출이 헷갈리면 아래 ‘호출 흐름 따라가기’로 들어갔다 돌아오는 순서를 확인하세요.
선택한 줄 ↔ 바뀌는 값
이 단계 전체 그림과 실험 펼치기
단계 전체를 다시 연결
키워드함수문자열숫자주석
이 단계와 관련된 원본 전체 코드 보기
위에는 흐름을 이해할 핵심 줄을 추렸습니다. 아래는 줄을 생략하지 않은 원본 구간입니다. 함수 정의와 호출 위치를 함께 확인하세요. 원본 빈칸은 그대로 유지합니다.