ComfyUI로 합성데이타 생성하기

ComfyUI는 웹에서 작동하는 이미지 생성 툴이다.

- 그림처럼 노드들을 링크로 연결하여 코딩없이도 StableDiffusion 같은 초거대AI기반 모델로 복잡한 이미지 생성을 가능하도록 한다.

- 이러케 특정 기능을 수행하는 하나의 노드 연결구조를 워크플로우 하고 부르며 저장하기와 로딩으로 남이 만들어논 워플로우를 나도 사용할수 있게된다.

- 이미지생성의 실행은 우상단의 Queue 버튼을 누르면 시작되며 에러가 없으면 그림처럼 이미지들이 생성된다.

 

그림처럼 합성하려는 이미지를 좌측에 로딩하고 실행하면 우측에 4개의 새로운 비슷한 이미지 데이타가 생성된게 보인다.

- 합성된 데이타는 입력한 레퍼린스 이미지와 "비슷은 하지만 새로운" 데이타가 만들어지며, 인간이 취사선택으로 이상한걸 버리면 딥러닝 학습에 적합한 오그먼테이션용 합성 데이타가 얻어지는 것이다.

 

도토리에 난 결함(구멍) 데이타를 합성한 모습

- 이 기술은 일종의 Oneshot LoRA 파인튜닝으로 볼수 있다.

- 한장의 이미지 만으로 초거대AI 모델(SDXL) 을 파인튜닝하여 새롭지만 유사한 합성데이타를 만드는 것이기 때문이다.