OneShot 2

엔비디아의 미래가 불안한 이유

- 맥미니를 포함한 애플의 다양한 실리콘맥들은 "시스템메모리 = 비디오메모리"  이며, 이런 메모리 방식을 UMA(Unified Memory Architecture)구조라고 부릅니다.- 따라서 딥러닝 학습 및 추론시에 전처리 지연시간이 거의 없습니다. - 보통 gpu 는 cpu완 달라서 복잡한 수학적 영상처리가 불가능합니다. 따라서 데이타 전처리나 오그먼테이션을 수행하려면 비디오메모리에서 데이타를 시스템메모리로 보낸뒤 cpu에서 처리를한 후에 다시 비디오메모리로 보내야만 학습이 가능한데, 실리콘맥들의 메모리는 그럴필요가 없이 바로 처리가 가능하죠.- 손바닥 만한 라즈베리 파이나 젯슨보드 같은 arm코어 기반 임베디드 머신들도 그런 메모리 구조인데, 데스크탑급 연산속도를 갖는 맥들이 그런 구조를 갖는다는건..

맥 팁들 2024.09.11

ComfyUI로 합성데이타 생성하기

- 그림처럼 노드들을 링크로 연결하여 코딩없이도 StableDiffusion 같은 초거대AI기반 모델로 복잡한 이미지 생성을 가능하도록 한다.- 이러케 특정 기능을 수행하는 하나의 노드 연결구조를 워크플로우 하고 부르며 저장하기와 로딩으로 남이 만들어논 워플로우를 나도 사용할수 있게된다.- 이미지생성의 실행은 우상단의 Queue 버튼을 누르면 시작되며 에러가 없으면 그림처럼 이미지들이 생성된다. - 합성된 데이타는 입력한 레퍼린스 이미지와 "비슷은 하지만 새로운" 데이타가 만들어지며, 인간이 취사선택으로 이상한걸 버리면 딥러닝 학습에 적합한 오그먼테이션용 합성 데이타가 얻어지는 것이다. - 이 기술은 일종의 Oneshot LoRA 파인튜닝으로 볼수 있다.- 한장의 이미지 만으로 초거대AI 모델(SDXL)..

딥러닝 2024.09.10