목록fnet (1)

맥에서 오픈소스로

구글 FNet 프로젝트의 탄생 비화

2020년 가을, 구글 리서치 팀의 회의실. 트랜스포머 모델의 폭발적인 성공에도 불구하고, 연구진들은 깊은 고민에 빠져 있었다. "이대로는 안 됩니다. 모델이 커질수록 연산 비용이 기하급수적으로 증가하고 있어요." 제임스 리 박사가 화이트보드에 그래프를 그리며 말했다.당시 구글은 BERT와 T5 모델로 NLP 분야를 선도하고 있었지만, 내부적으로는 위기감이 감돌았다. 경쟁사들이 더 큰 모델을 만들어내는 군비경쟁 속에서, 전력 소비와 탄소 배출량은 심각한 수준에 이르고 있었다."만약... 어텐션 메커니즘을 완전히 다른 것으로 대체한다면?"조용히 듣고 있던 이선우 연구원이 던진 한 마디가 회의실을 얼어붙게 만들었다. 트랜스포머의 핵심인 셀프 어텐션을 버린다는 것은 당시로서는 이단에 가까운 발상이었다.하지만 ..
딥러닝 2025. 5. 27. 22:27
이전 Prev 1 Next 다음