Cross Attention vs Self Attention 차이: PyTorch 구현으로 이해하기
Self Attention은 같은 시퀀스에서 Query·Key·Value를 만들고, Cross Attention은 Query와 Key·Value의 출처가 서로 다른 어텐션입니다. PyTorch에서는 두 방식 모두 torch.nn.MultiheadAttention으로 구현할 수 있으며, 핵심 차이는 forward(query, key, value)에 전달하는 텐서입니다. 이 글에서는 동일한 어텐션 레이어로 두 구조를 실행하고, 가중치 차원과 패딩 마스크를 직접 검증합니다. Self Attention과 Cross Attention의 핵심 차이 어텐션은 Query(Q)가 Key(K)와 얼마나 관련 있는지 점수를 계산하고, 그 결과로 Value(V)를 가중합합니다. 두 방식은 계산식 자체보다 정보를..
