맥에서 오픈소스로

2008년, 네덜란드 마스트리흐트 대학의 한 연구실. 로렌스 반 데르 마텐(Laurens van der Maaten)은 고차원 데이터 시각화 문제로 밤을 새우고 있었습니다. 당시 머신러닝 커뮤니티는 고차원 데이터를 2D나 3D로 시각화하는 것에 목말라 있었죠. PCA나 MDS 같은 기존 방법들은 복잡한 매니폴드 구조를 제대로 표현하지 못했습니다.로렌스는 멘토인 제프리 힌튼(Geoffrey Hinton)과 함께 SNE(Stochastic Neighbor Embedding)를 개선하는 작업을 시작했습니다. 원래 SNE는 힌튼이 2002년에 개발했지만, 계산 비용이 너무 높고 "crowding problem"이라는 치명적인 약점이 있었습니다. 고차원에서 가까운 점들이 저차원에서 표현될 공간이 부족해 뭉쳐지는 ..

1960년, 미국 메릴랜드주 볼티모어. NASA 연구소의 한 구석에서 헝가리 출신의 젊은 수학자 루돌프 칼만(Rudolf Kálmán)은 밤늦게까지 책상에 앉아 있었다. 창밖으로는 차가운 겨울바람이 불었고, 그의 커피는 이미 식은 지 오래였다.소련이 스푸트니크를 성공적으로 발사한 지 3년. 미국은 우주 경쟁에서 뒤처지고 있었다. 케네디 대통령은 "10년 안에 달에 사람을 보내겠다"고 선언했지만, 그 꿈을 실현하기 위해서는 넘어야 할 산이 너무 많았다. 그중 가장 큰 문제는 바로 '항법'이었다."도대체 어떻게 해야 38만 킬로미터 떨어진 달까지 정확히 갈 수 있을까?"칼만은 이 문제에 매달렸다. 당시의 센서들은 부정확했고, 측정값들은 노이즈로 가득했다. 자이로스코프는 시간이 지날수록 드리프트했고, 가속도계..

2022년 봄, 메타 AI 연구소의 한 구석에서 조용한 혁명이 시작되고 있었습니다. 당시 컴퓨터 비전 팀은 깊은 고민에 빠져 있었죠. "왜 이미지 분할은 아직도 이렇게 어려운가? 왜 새로운 도메인마다 처음부터 다시 학습해야 하는가?"프로젝트 리더였던 알렉산더 키릴로프(Alexander Kirillov)는 동료들과 함께 카페테리아에서 점심을 먹으며 한 가지 대담한 아이디어를 꺼냈습니다. "만약 우리가 GPT처럼 어떤 이미지의 어떤 객체든 분할할 수 있는 '범용 모델'을 만든다면 어떨까?"처음에는 모두가 회의적이었습니다. 당시 이미지 분할 분야는 각 도메인별로 특화된 모델이 지배적이었고, 의료 영상용 모델, 자율주행용 모델, 일반 사진용 모델이 모두 따로 존재했습니다. 하나의 모델로 모든 것을 해결한다는 것..

1980년대, 프랑스 우체국 연구소의 한 구석에서 한 젊은 연구원이 홀로 밤을 지새우고 있었습니다. 얀 르쿤(Yann LeCun)은 손으로 쓴 우편번호를 자동으로 인식하는 시스템을 만들기 위해 고군분투하고 있었죠."이건 불가능해..." 동료들은 고개를 저었습니다. 당시 컴퓨터는 단순한 패턴조차 제대로 인식하지 못했으니까요. 하지만 르쿤은 고양이의 시각 피질을 연구한 휴벨과 비젤의 1959년 논문에서 영감을 받았습니다. 고양이의 뇌가 시각 정보를 계층적으로 처리한다는 발견이었죠.1989년, 드디어 LeNet-1이 탄생했습니다. 하지만 학계의 반응은 차가웠습니다. "이론적 근거가 부족하다", "왜 이게 작동하는지 설명할 수 없다"는 비판이 쏟아졌죠. 심지어 한 저명한 교수는 "이건 과학이 아니라 마법이다"라..

1917년, 오스트리아의 수학자 요한 라돈은 빈 대학의 어두운 연구실에서 홀로 앉아 있었습니다. 제1차 세계대전의 포화 속에서도 그는 순수 수학의 아름다움에 몰두했죠. 그날 밤, 그는 함수가 선 적분들로부터 재구성될 수 있다는 혁명적인 아이디어를 증명했습니다. 당시 누구도 이 추상적인 수학 이론이 50년 후 의학을 완전히 바꿀 것이라고는 상상하지 못했습니다.시간은 흘러 1960년대, 남아프리카 출신의 물리학자 앨런 코맥은 케이프타운 대학 병원에서 방사선 치료를 연구하고 있었습니다. 어느 날 그는 환자의 몸을 투과한 X선의 감쇠 패턴을 보며 깊은 생각에 잠겼습니다. "만약 여러 각도에서 측정한 데이터를 수학적으로 재구성할 수 있다면?" 그는 라돈의 오래된 논문을 발견했고, 흥분으로 밤을 지새웠습니다.한편 ..

2020년 가을, 구글 리서치 팀의 회의실. 트랜스포머 모델의 폭발적인 성공에도 불구하고, 연구진들은 깊은 고민에 빠져 있었다. "이대로는 안 됩니다. 모델이 커질수록 연산 비용이 기하급수적으로 증가하고 있어요." 제임스 리 박사가 화이트보드에 그래프를 그리며 말했다.당시 구글은 BERT와 T5 모델로 NLP 분야를 선도하고 있었지만, 내부적으로는 위기감이 감돌았다. 경쟁사들이 더 큰 모델을 만들어내는 군비경쟁 속에서, 전력 소비와 탄소 배출량은 심각한 수준에 이르고 있었다."만약... 어텐션 메커니즘을 완전히 다른 것으로 대체한다면?"조용히 듣고 있던 이선우 연구원이 던진 한 마디가 회의실을 얼어붙게 만들었다. 트랜스포머의 핵심인 셀프 어텐션을 버린다는 것은 당시로서는 이단에 가까운 발상이었다.하지만 ..

트랜스포머 모델의 탄생은 구글 브레인 팀의 작은 회의실에서 시작되었습니다. 2017년 초, 기존의 순환 신경망(RNN)과 장단기 메모리(LSTM)의 한계에 좌절하던 젊은 연구원들이 모여 있었죠.아쉬시 바스와니(Ashish Vaswani)는 커피잔을 내려놓으며 동료들에게 말했습니다. "우리가 순차적 처리에서 벗어날 수 없을까? 병렬 처리가 가능한 완전히 새로운 구조를 만들어보자."당시 구글의 다른 팀들은 이들의 아이디어를 회의적으로 바라봤습니다. "어텐션만으로? 그게 가능하겠어?" 하는 비아냥도 들렸죠. 하지만 8명의 연구원들은 포기하지 않았습니다.수개월 동안 그들은 밤을 새워가며 코드를 작성하고 실험을 반복했습니다. 특히 멀티헤드 어텐션 메커니즘을 구현하는 과정에서는 수없이 많은 시행착오가 있었죠. 노암..

2015년 독일 프라이부르크 대학교의 컴퓨터 과학 연구실. 올라프 론네베르거(Olaf Ronneberger)와 그의 팀은 큰 고민에 빠져 있었다. 바이오메디컬 이미지 분할 대회인 ISBI 챌린지가 다가오고 있었지만, 의료 영상 데이터의 특성상 학습 데이터가 턱없이 부족했다."우리에게는 단 30장의 전자현미경 이미지밖에 없어요. 이걸로 어떻게 딥러닝을 훈련시킨다는 거죠?" 팀원 중 한 명이 절망적으로 말했다.당시 컴퓨터 비전 분야는 AlexNet의 성공 이후 CNN의 황금기를 맞이하고 있었다. 하지만 대부분의 모델들은 수백만 장의 이미지를 필요로 했다. 의료 영상 분야에서는 꿈도 꿀 수 없는 일이었다.론네베르거는 며칠 밤을 새우며 아키텍처를 스케치했다. 그는 FCN(Fully Convolutional Ne..