맥에서 오픈소스로

- 어떤 활용이 가능할진 아직 모르겠지만 업계 최초로 ComfyUI에 입력된 이미지의 푸리에 스펙트럼을 만드는 Node 를 만들어 보았습니다.- 파이썬 패키지로 torch  와 scipy, pillow, 그리고 numpy 등을 사용했습니다.- ComfyUI 에 이미지 뒤집기나 이진화, 에지검출 등의 간단한 노드만들기는 쉬우나 주파수도메인에서의 변환이나 필터링 같은걸 만드는 건 꽤나 어렵더군요.. 왜냐하면 이미지데이타를 텐서로 바꾸어서 CUDA 메모리상에서 처리해ㅔ 주어야하기 때문입니다.- 그래도 한번 만들어 봤다는 ~import torchimport numpy as npfrom PIL import Image, ImageOps, ImageFilterfrom scipy.fft import fft2, ffts..

- 다만 아직 FLUX 가 mps 모드를 지원하지 않아 cpu mode 로 돌려서인지 꽤나 느립니다.이미지 한장 생성시에 한 8초 정도 걸려요.(m1 mac mini 16기가 기준). - 글자 생성은 영문인 경우 몇번 시도하면 그중에 한장은 정확하게 만들어 줍니다.- 하지만 한국어 글자는 아직 갈길이 머네요~ --;  - 네거티브 프롬프트 없이 짧은 포지티브 프롬프트 입력 만으로 이런 정도의 이미지들을 만들어 줍니다. 구동 환경:- H/W: m1 macmini 16GB- O/S: OSX 소노마- W/B: Safari- ComfyUI in CPU mode.​Stable Diffusion 동네에 FLUX라는 강력한 새모델이 오픈됬다고 해서 m1 맥미니에서 오랫만에 ComfyUI를 돌려보았습니다.아직은 Flu..

- 그림처럼 노드들을 링크로 연결하여 코딩없이도 StableDiffusion 같은 초거대AI기반 모델로 복잡한 이미지 생성을 가능하도록 한다.- 이러케 특정 기능을 수행하는 하나의 노드 연결구조를 워크플로우 하고 부르며 저장하기와 로딩으로 남이 만들어논 워플로우를 나도 사용할수 있게된다.- 이미지생성의 실행은 우상단의 Queue 버튼을 누르면 시작되며 에러가 없으면 그림처럼 이미지들이 생성된다. - 합성된 데이타는 입력한 레퍼린스 이미지와 "비슷은 하지만 새로운" 데이타가 만들어지며, 인간이 취사선택으로 이상한걸 버리면 딥러닝 학습에 적합한 오그먼테이션용 합성 데이타가 얻어지는 것이다. - 이 기술은 일종의 Oneshot LoRA 파인튜닝으로 볼수 있다.- 한장의 이미지 만으로 초거대AI 모델(SDXL)..