맥에서 오픈소스로

2020년 가을, 구글 리서치 팀의 회의실. 트랜스포머 모델의 폭발적인 성공에도 불구하고, 연구진들은 깊은 고민에 빠져 있었다. "이대로는 안 됩니다. 모델이 커질수록 연산 비용이 기하급수적으로 증가하고 있어요." 제임스 리 박사가 화이트보드에 그래프를 그리며 말했다.당시 구글은 BERT와 T5 모델로 NLP 분야를 선도하고 있었지만, 내부적으로는 위기감이 감돌았다. 경쟁사들이 더 큰 모델을 만들어내는 군비경쟁 속에서, 전력 소비와 탄소 배출량은 심각한 수준에 이르고 있었다."만약... 어텐션 메커니즘을 완전히 다른 것으로 대체한다면?"조용히 듣고 있던 이선우 연구원이 던진 한 마디가 회의실을 얼어붙게 만들었다. 트랜스포머의 핵심인 셀프 어텐션을 버린다는 것은 당시로서는 이단에 가까운 발상이었다.하지만 ..

- 몇 년 전에 정부 AI과제를 수행 중에 중간평가 심사를 받을 때 일어났던 일입니다.- 과제 심사위원들이 딥러닝에서 데이타가 점점 더 중요해지고 있다는 소리를 어디서 들었는지, 학습에 사용된 클래스별 데이터의 원래 수량과 각각의 오그먼테이션(Augmentation, 데이터 증강) 방식별 부풀려진 수량을 테이블로 정리해서 알려달라고 요구하였지요.- 하지만 데이타 전처리 타임이 아닌 학습 타임(train time)에 오그먼테이션을 하기 때문에 수량을 산정하기가 어려운 문제가 있었습니다.- 다시 말하면, 학습타임에 확률적으로 오그먼테이션된 이미지를 발생시켜서 메모리에 임시저장했다가 모델에 입력하고 바로 지워버리는 방식으로 반복적으로 진행하기 때문에 정확한 오그먼테이션 이미지 수량을 집계하는 게 어려운 것입니..

- 맥미니를 포함한 애플의 다양한 실리콘맥들은 "시스템메모리 = 비디오메모리"  이며, 이런 메모리 방식을 UMA(Unified Memory Architecture)구조라고 부릅니다.- 따라서 딥러닝 학습 및 추론시에 전처리 지연시간이 거의 없습니다. - 보통 gpu 는 cpu완 달라서 복잡한 수학적 영상처리가 불가능합니다. 따라서 데이타 전처리나 오그먼테이션을 수행하려면 비디오메모리에서 데이타를 시스템메모리로 보낸뒤 cpu에서 처리를한 후에 다시 비디오메모리로 보내야만 학습이 가능한데, 실리콘맥들의 메모리는 그럴필요가 없이 바로 처리가 가능하죠.- 손바닥 만한 라즈베리 파이나 젯슨보드 같은 arm코어 기반 임베디드 머신들도 그런 메모리 구조인데, 데스크탑급 연산속도를 갖는 맥들이 그런 구조를 갖는다는건..

-  누수(Water leakage)- 물이 파이프 밖으로 새어 나가는 현상- 10살 무렵부터 겪어봄, - 문제점으로는 수도요금이 올라감. - 누전(Current leakage)- 소중한 전류가 전선 밖으로 새어나가는 현상- 15살 무렵부터 겪어봄- 사람몸이 전기에 감전되는것도 누전현상 중 하나임- 문제: 전기요금이 올라감 - 메모리 누설(Memory leakage)- 20살때 부터?- 실행중인 프로그램이 의도치 않게 컴퓨터의 메모리를 야금야금 먹어가는 현상- 문제: 프로그램이 몇달간 잘 돌다가 갑자기 죽음. 원인을 알기가 매우 어려움.  - 스펙트럼 누설(Spectral leakage)- 서른살때(?)부터 겪어 봄- 유한한 신호 표현의 한계 때문에 목표한 주파수 대역이 퍼지는 현상.- 문제: 통신 대역..