📝 내용 정리

미국 인공지능 스타트업 매니페스트 AI가 “브럼비(Brumby)”모델을 온라인 아카이브를 통해 공개했다.

트랜스포머 아키텍처는 논문을 선보인 이후 GPT나 제미나이 등 대부분 LLM의 근간이 되었다. 하지만 8년이 지나며 어텐션 메커니즘이 한계에 달했다는 지적이 많았다.

이번에 선보인 ‘브럼비-14B-Base’는 알리바바의 오픈소스 ‘Qwen3-14B-Base’를 미새조정한 모델이지만, 트랜스포머의 어텐션 레이어를 완전히 제거했다

대신, 매니페스트 AI가 자체 개발한 “파워 리텐션(Power Retention)”이라는 새로운 순환 구조를 채택했다

기존의 방식과 달리, 파워 리텐션은 같은 입력 구조 (Q,K,V)를 쓰지만, 모든 단어를 비교하지 않는다. 이전 정보를 계속 업테이트하는 순환구조를 사용한다.

즉, 과거의 정보를 계속 압축해서 저장하면서 새로운 입력만 빠르게 처리하는 방식이다.

덕분에 문장이 아무리 늘어나도 토큰당 계산 비용은 크기 증가하지 않는다

이 기술은 기억력과 표현력에도 큰 강점을 가진다. 파워 리텐션은 입력 간의 복잡한 관계 (고차 의존성)을 잘 파악한다. 긴 문맥 속에서도 중요한 정보를 잃지 않고 유지할 수 있다

결과적으로, 모델이 100만 토큰이 넘는 긴 문맥을 처리하더라도 연산 비용이 늘어나지 않으며, GPU 메모리 사용량도 일정하게 유지된다고 강조했다.

여러 주요 벤치마크에서 기존 트랜스포머 모델과 동등하거나 우수한 성능을 기록했으며, 특히 장문 추론과 수학적 문제 해결에서는 트랜스포머보다 안정적인 성능을 보였다.

🧠 생각 정리

어텐션에 대항하는 새로운 메커니즘이 나왔다는 소식입니다. 트랜스포머의 성능이 너무 좋다보니 기술이 빠르게 바뀌는 AI에서도 8년이라는 긴 시간동안 높은 자리를 유지해왔는데요. 어텐션 메커니즘으로인해 발생하는 문제점들을 해결하는 새로운 메커니즘이라고 합니다. 순환 구조를 사용한다는 것이 흥미로웠던 부분이었습니다. 그리고 이 기사를 보면서 “와 이제 곧 트랜스포머도 끝나나?” 싶었는데 메니페스트 창립자가 인터뷰에서 “아직 트랜스포머 시대의 끝은 오지 않았다. 이번 출시는 미래를 향한 기 여정의 한 걸음일뿐”이라고 했다고합니다 .. 과연 그 긴 여정이 얼마나의 여정일지 ~~