구글 FNet 프로젝트의 탄생 비화

 

2020년 가을, 구글 리서치 팀의 회의실. 트랜스포머 모델의 폭발적인 성공에도 불구하고, 연구진들은 깊은 고민에 빠져 있었다. "이대로는 안 됩니다. 모델이 커질수록 연산 비용이 기하급수적으로 증가하고 있어요." 제임스 리 박사가 화이트보드에 그래프를 그리며 말했다.

당시 구글은 BERT와 T5 모델로 NLP 분야를 선도하고 있었지만, 내부적으로는 위기감이 감돌았다. 경쟁사들이 더 큰 모델을 만들어내는 군비경쟁 속에서, 전력 소비와 탄소 배출량은 심각한 수준에 이르고 있었다.

"만약... 어텐션 메커니즘을 완전히 다른 것으로 대체한다면?"

조용히 듣고 있던 이선우 연구원이 던진 한 마디가 회의실을 얼어붙게 만들었다. 트랜스포머의 핵심인 셀프 어텐션을 버린다는 것은 당시로서는 이단에 가까운 발상이었다.

하지만 연구팀은 포기하지 않았다. 수개월간의 브레인스토밍 끝에, 그들은 신호 처리 분야에서 오랫동안 사용되어 온 푸리에 변환(Fourier Transform)에 주목했다. "주파수 도메인에서의 연산이 훨씬 효율적일 수 있다"는 가설이 세워졌다.

첫 번째 실험은 처참한 실패였다. 모델은 제대로 학습조차 되지 않았고, 팀원들은 좌절했다. "이게 정말 맞는 방향일까?" 의구심이 커져갔다. 하지만 팀 리더인 톰슨 박사는 포기하지 않았다. "한 번 더 해보자. 이번엔 다르게."

그들은 밤낮없이 코드를 수정하고, 하이퍼파라미터를 조정했다. 그러던 어느 날 새벽 3시, 모니터를 지켜보던 연구원이 소리쳤다. "성공했어요! 정확도가 BERT의 92%까지 올라왔습니다!"

하지만 진짜 놀라운 것은 그 다음이었다. 학습 속도는 7배, 추론 속도는 무려 10배 이상 빨라진 것이다. 연구실은 환호성으로 가득 찼다.

그러나 학계의 반응은 차가웠다. "어텐션 없는 트랜스포머라니, 말이 되나?" 많은 리뷰어들이 의구심을 표했다. 구글 내부에서도 "검증되지 않은 방법론"이라는 비판이 나왔다.

연구팀은 수십 번의 추가 실험과 검증을 거쳤다. GLUE 벤치마크에서의 성능, 다양한 태스크에서의 일반화 능력, 그리고 무엇보다 에너지 효율성을 입증해야 했다.

2021년 5월, 마침내 FNet 논문이 공개되었을 때, AI 커뮤니티는 충격에 빠졌다. 단순한 푸리에 변환만으로 어텐션 메커니즘의 상당 부분을 대체할 수 있다는 것은 패러다임의 전환이었다.

"우리는 더 크고 강력한 모델만이 답이 아니라는 것을 증명했습니다." 논문 발표 후 인터뷰에서 연구팀은 말했다. "때로는 단순함 속에 진정한 혁신이 숨어있죠."

FNet은 비록 BERT나 GPT만큼 유명해지지는 못했지만, AI의 지속가능성이라는 중요한 화두를 던졌다. 그리고 이 프로젝트는 구글 내부에서 "불가능에 도전한 팀"으로 전설이 되었다.

오늘날 많은 연구자들이 FNet의 아이디어를 발전시켜 더 효율적인 모델을 만들고 있다. 그 시작은 한 연구원의 "만약에..."라는 질문이었고, 그것을 끝까지 밀고 나간 팀의 열정이었다.