Notice
Recent Posts
Recent Comments
Link
목록fnet (1)
맥에서 오픈소스로
구글 FNet 프로젝트의 탄생 비화
2020년 가을, 구글 리서치 팀의 회의실. 트랜스포머 모델의 폭발적인 성공에도 불구하고, 연구진들은 깊은 고민에 빠져 있었다. "이대로는 안 됩니다. 모델이 커질수록 연산 비용이 기하급수적으로 증가하고 있어요." 제임스 리 박사가 화이트보드에 그래프를 그리며 말했다.당시 구글은 BERT와 T5 모델로 NLP 분야를 선도하고 있었지만, 내부적으로는 위기감이 감돌았다. 경쟁사들이 더 큰 모델을 만들어내는 군비경쟁 속에서, 전력 소비와 탄소 배출량은 심각한 수준에 이르고 있었다."만약... 어텐션 메커니즘을 완전히 다른 것으로 대체한다면?"조용히 듣고 있던 이선우 연구원이 던진 한 마디가 회의실을 얼어붙게 만들었다. 트랜스포머의 핵심인 셀프 어텐션을 버린다는 것은 당시로서는 이단에 가까운 발상이었다.하지만 ..
딥러닝
2025. 5. 27. 22:27