맥에서 오픈소스로

쉬뢰딩거의 오그먼테이션

- 몇 년 전에 정부 AI과제를 수행 중에 중간평가 심사를 받을 때 일어났던 일입니다.- 과제 심사위원들이 딥러닝에서 데이타가 점점 더 중요해지고 있다는 소리를 어디서 들었는지, 학습에 사용된 클래스별 데이터의 원래 수량과 각각의 오그먼테이션(Augmentation, 데이터 증강) 방식별 부풀려진 수량을 테이블로 정리해서 알려달라고 요구하였지요.- 하지만 데이타 전처리 타임이 아닌 학습 타임(train time)에 오그먼테이션을 하기 때문에 수량을 산정하기가 어려운 문제가 있었습니다.- 다시 말하면, 학습타임에 확률적으로 오그먼테이션된 이미지를 발생시켜서 메모리에 임시저장했다가 모델에 입력하고 바로 지워버리는 방식으로 반복적으로 진행하기 때문에 정확한 오그먼테이션 이미지 수량을 집계하는 게 어려운 것입니..

제조업 이미지도 CutOut 오그먼테이션이 가능하다고~?

- 학습타임 오그먼테이션으로 유명한 Albumentation 패키지로 CutOut 한 이미지결과를 실시간에 애니메이션으로 표시하고 분석하는 코드입니다.- 컷아웃(잘라내기) 오그먼테이션은 모델의 일반화 성능 향상에 매우 효과적이어서 서비스업 데이터에 대한 이미지분류망이나 ObejctDetction 딥신경망에도 많이 쓰입니다. 클래스 범주가 무너지기 직전까지 이미지속 물체의 일부를 잘라내어 딥신경망을 강하게 키우려는 단련법인 셈이죠. - 인고지능 분야에사 데이타 오그먼테이션의 철학은 "나를 죽이지 못할수록, 나는 더 강해질 뿐이다." 이란 유명한 말로 정리가 되죠.- 하지만 제조업 결함검출 이미지 에서는 사용이 위험하죠. 왜냐하면 저 그림처럼 레나얼굴은 부분이 가려져도 여전히 레나이지만, 작은 결함들은 가려..

통신비 지원? 채팅비 지원!

- 요즘 회사들 중에 통신비를 지원해 주는 회사들 많죠? 다들 책상 위에 전화를 없애버려서 개인 스마트폰으로 통신업무를 하는 바람에 그리된거로 알고있습니다.- 저희 회사도 매달 통신비를 10만원 안쪽 정도 지원해주는데요 ..- 최근에는 통신비 외에도 끌로드(또는 chatGPT)나 퍼플렉시티 같은 LLM 사용 비용을 회사에서 내주는 회사도 있다고 합니다.- 똘똘한 인공지능 챗봇들을 잘 활용하면 머리가 팽팽 돌아가는 전문직원이나 개발자를 한명 데리고 일하는 효과가 날수 있기 때문이겠죠~- 아마도 내년쯤이면 LLM 비용을  대주면서 적극 장려하는 회사가 늘어날것 같습니다..

- 우분투 리눅스 의 윈도매니져를 xfce4 로 변경하고 style 로 imdigo magic 스타일을 입혀보았습니다.- 고색창연 하군요 ~- 우분투 리눅스에 xfce4 를 설치하는 명령어는 이렇습니다$ sudo apt update$ sudo apt install xfce4-artwork- 그리고 인디고매직 스타일 리소스는 여기서 다운로드 가능합니다.https://www.xfce-look.org/p/1371886 IndigoMagicAn SGI workstation theme for Xfce, Gnome, MATE, Cinnamon, LXDE, etc. Introducing IndigoMagic GTK+ 2/3 widgets, icons and bootsplash!To install, extract in..

질문: Xeon X5680 6core CPU에서 2초가 걸린 파이썬 연산이 있어. 그럼 같은 연산을 파이썬으로 m1 16GB 맥미니에서 하면 얼마나 걸릴까? 정확하지 않아도 되니 예측해봐.- 퍼플레시티 답변:Xeon X5680과 M1 칩을 탑재한 Mac Mini의 성능을 직접 비교하는 것은 복잡한 문제입니다. 하지만 대략적인 예측을 해보겠습니다.## 성능 비교 분석Xeon X5680은 2010년에 출시된 서버용 프로세서로, 6코어 12스레드, 3.33GHz 기본 클럭 속도를 가지고 있습니다[1]. 반면 M1 칩은 2020년에 출시된 최신 ARM 기반 프로세서입니다.**아키텍처 차이**M1은 ARM 아키텍처를 사용하며, 더 현대적인 설계와 제조 공정을 적용했습니다. 이는 전반적인 효율성 향상으로 이어집니다..

- 어떤 활용이 가능할진 아직 모르겠지만 업계 최초로 ComfyUI에 입력된 이미지의 푸리에 스펙트럼을 만드는 Node 를 만들어 보았습니다.- 파이썬 패키지로 torch  와 scipy, pillow, 그리고 numpy 등을 사용했습니다.- ComfyUI 에 이미지 뒤집기나 이진화, 에지검출 등의 간단한 노드만들기는 쉬우나 주파수도메인에서의 변환이나 필터링 같은걸 만드는 건 꽤나 어렵더군요.. 왜냐하면 이미지데이타를 텐서로 바꾸어서 CUDA 메모리상에서 처리해ㅔ 주어야하기 때문입니다.- 그래도 한번 만들어 봤다는 ~import torchimport numpy as npfrom PIL import Image, ImageOps, ImageFilterfrom scipy.fft import fft2, ffts..

Focal Loss의 장단점은 다음과 같습니다:장점:1. 클래스 불균형 해결:- 불균형한 데이터셋에서 소수 클래스의 학습을 개선합니다.- 객체 탐지와 같이 배경이 대부분인 문제에 특히 효과적입니다.2. 어려운 예제에 집중:- 쉽게 분류되는 예제보다 어려운 예제에 더 높은 가중치를 부여합니다.- 이는 모델이 더 challenging한 케이스를 학습하는 데 도움을 줍니다.3. 과대적합 감소:- 쉬운 예제의 영향을 줄임으로써 과대적합을 어느 정도 방지할 수 있습니다.4. 성능 향상:- 특히 불균형 데이터셋에서 기존 Cross Entropy Loss보다 더 나은 성능을 보일 수 있습니다.단점:1. 하이퍼파라미터 조정:- α와 γ 값을 적절히 설정해야 하며, 이는 추가적인 튜닝 작업을 필요로 합니다.2. 계산 복..

- 이미지 분석 요청은 아래 명령처럼 하면 됩니다. 이미지는 저렇게 로컬의 절대경로를 올려주면 되구요. 아마 URL 링크 이미지도 분석이 가능할겁니다.>>> what's inside in this photo? /Users/m1_16/Desktop/89928895.1.jpg 질문을 던질때 마다 저렇게 실리콘맥의 GPU는 열일을 하게됩니다~    - 답변 내용: The image shows a ceramic vase that appears to be of historical significance or a museum piece. It has a traditional shape with a narrow neck and a wider body, which is typical for ancient Chinese..

- 이런식으로 그래드캠의 히트맵용 Pseudo Color를 투명도를 지정하는 알파채널값으로 대치하면 주목하는 대상물체만을 보여주는 몉보기 효과 같은 동영상이 만들어집니다.- 이것은 미디어 아트나 특수효과 분야에서 쓰임새가 있을거 같습니다. import torchfrom torchvision import models, transformsfrom PIL import Imageimport numpy as npimport cv2from imageio import mimread, mimsaveclass GradCAM: def __init__(self, model, target_layer): self.model = model self.target_layer = target_layer ..

- 그림처럼 노드들을 링크로 연결하여 코딩없이도 StableDiffusion 같은 초거대AI기반 모델로 복잡한 이미지 생성을 가능하도록 한다.- 이러케 특정 기능을 수행하는 하나의 노드 연결구조를 워크플로우 하고 부르며 저장하기와 로딩으로 남이 만들어논 워플로우를 나도 사용할수 있게된다.- 이미지생성의 실행은 우상단의 Queue 버튼을 누르면 시작되며 에러가 없으면 그림처럼 이미지들이 생성된다. - 합성된 데이타는 입력한 레퍼린스 이미지와 "비슷은 하지만 새로운" 데이타가 만들어지며, 인간이 취사선택으로 이상한걸 버리면 딥러닝 학습에 적합한 오그먼테이션용 합성 데이타가 얻어지는 것이다. - 이 기술은 일종의 Oneshot LoRA 파인튜닝으로 볼수 있다.- 한장의 이미지 만으로 초거대AI 모델(SDXL)..