구글, 트랜스포머 아키텍처의 한계 극복하는 인피니-어텐션 발표

NLP 작업에 혁명을 일으킨 신경망 아키텍처, transformer 모델 (그림 셔터스톡)

 

구글은 트랜스포머(Transformer) 아키텍처의 약점을 보완하기 위한 새로운 기술을 공개했습니다.

 

 

이 기술은 '인피니-어텐션(Infini-attention)'으로, 대형 언어 모델(LLM)의 컨텍스트 창을 무한히 확장할 수 있게 합니다.

기존의 트랜스포머 아키텍처는 입력 데이터가 커질수록 추론이 느려지고 많은 메모리 공간이 필요한 문제가 있었습니다.

 

 

이 문제를 해결하기 위해 인피니-어텐션은 '압축 메모리'를 활용하여 메모리 및 계산 요구 사항을 일정하게 유지하면서도 무한한 길이의 텍스트를 처리할 수 있습니다. 이 기술은 이전 어텐션 상태를 압축 메모리에 저장하여 처리 효율성을 높입니다. 이를 통해 인피니-어텐션을 적용한 LLM은 메모리 추가 없이도 100만 개 이상의 토큰 품질을 유지할 수 있습니다.

 

 

인피니-어텐션은 매우 긴 컨텍스트에 대한 모델의 일관성을 측정하는 퍼플렉시티(Perplexity) 벤치마크에서도 다른 모델을 능가하는 결과를 보여줍니다. 또한 패스키 검색 및 요약 테스트에서도 우수한 성능을 보입니다.

 

 

이러한 기술은 이론적으로 모든 문서를 고려하여 가장 관련성 높은 답변을 선택하는 것과 같이 다양한 활용 가능성을 제시합니다. 또한 세부적인 조정 없이도 특정 작업에 대한 성능을 향상시킬 수 있습니다.

인피니-어텐션 (사진 논문)

 

트랜스포머 모델에서 사용하는 어텐션 기법도 등장 당시 엄청난 이슈가 됐었는데, 이번에 제시된 인피니-어텐션도 새로운 패러다임을 만들 수 있을지 기대가 됩니다:)

 

[관련 논문]

https://arxiv.org/pdf/2404.07143.pdf