챗 GPT의 핵심 원리 ChatGPT의 핵심 원리 중 하나가 바로 어텐션(Attention) 메커니즘이에요.쉽게 말해, 어텐션은 문맥 속에서 어떤 단어가 중요한지를 판단하는 기술이라고 할 수 있습니다. 1. 어텐션(Attention)이란?어텐션은 입력 토큰들 사이의 관계 중요도를 계산해, 모델이 지금 생성 중인 단어에 어떤 과거 토큰을 얼마나 참고할지를 정하는 메커니즘입니다. 트랜스포머의 핵심이며, ChatGPT가 긴 문맥에서 자연스럽게 이어 말하게 만드는 것입니다. 사람이 대화를 이해할 때 중요한 부분에 집중하는 방식과 비슷합니다.예를 들어 문장👉 “그녀가 케이크를 먹었을 때, 그것은 정말 달콤했다.”여기서 “그것”이 무엇을 의미하는지 이해하려면 앞의 "케이크"에 주목해야 하죠.이처럼 현재 단어가 ..
