Diffusion Model

Diffusion Model은 데이터에 노이즈를 점진적으로 추가하는 과정과 그 반대의 복원 과정을 모델링해 새로운 샘플을 생성하는 생성 모델 계열이다. Denoising Diffusion Probabilistic Models(DDPM) 연구는 이 계열의 이미지 생성 성능을 체계적으로 보여준 대표적인 연구다.^[1]

학습에서는 노이즈가 섞인 데이터를 원래 데이터 방향으로 복원하는 과정을 학습하고, 생성 시에는 노이즈에서 시작해 반복적인 역과정을 거쳐 샘플을 만든다.^[1]

Diffusion Model은 특정 제품 하나의 이름이 아니다. 이미지 생성뿐 아니라 여러 데이터 영역에서 변형이 연구되어 왔으며, Foundation Model이나 Multimodal AI와 결합되는 경우도 있다.

DDPM 계열의 핵심 아이디어는 원본 데이터에 점차 노이즈를 추가하는 정방향 과정을 정의하고, 학습된 모델이 그 과정을 반대로 따라가며 노이즈를 제거하도록 만드는 것이다.^[1] 생성 시에는 무작위 노이즈에서 시작해 여러 단계를 거쳐 데이터 분포에 가까운 샘플을 얻는다.

확산 모델은 여러 번의 복원 단계를 반복하는 구조이므로, 한 번의 전방 계산으로 출력을 만드는 모델과 추론 특성이 다르다. 실제 생성 속도는 샘플링 단계 수, 모델 크기, 해상도와 하드웨어에 영향을 받는다. 따라서 이미지 품질만 아니라 생성 지연과 비용도 함께 비교해야 한다.

생성 이미지가 시각적으로 자연스러운지와 입력 조건을 정확히 따르는지는 별개의 문제다. 특정 벤치마크나 데모만으로 전체 생성 품질을 판단하기보다 데이터 영역, 조건 일치, 다양성, 반복 생성 안정성을 함께 확인하는 것이 좋다.

DDPM 원 연구 ↗는 정방향 노이즈 과정과 학습된 역과정을 연결했다.^[1] 한 시점의 혼합은 x_t = √ᾱ_t × x_0 + √(1 - ᾱ_t) × ε로 설명할 수 있다. ᾱ_t는 그 시점까지 누적된 신호 비율을 정하는 계수이며 단계 번호나 단순한 이미지 불투명도와 같지 않다.

가상 한 좌표에서 ᾱ_t = 0.64, x_0 = 1, 한 번 뽑은 노이즈 ε = -0.5라고 하면 x_t = 0.8×1 + 0.6×(-0.5) = 0.5다. 이는 학습용 스칼라 예제이며 실제 이미지 품질이나 특정 제품의 스케줄을 뜻하지 않는다. 원본의 계수 0.8과 노이즈의 계수 0.6이 합쳐서 1이 될 필요도 없다. 이미지나 잠재 텐서에서는 이런 혼합이 여러 좌표에 적용된다.

원 DDPM의 대표적 설정은 자료에 여러 시점의 노이즈를 섞고 모델이 추가한 노이즈를 예측하도록 학습한다. '항상 완전한 원본 이미지를 바로 내놓도록 학습한다'는 설명과 구분한다. 역과정에서 사용할 양은 모델의 매개변수화와 샘플러에 따라 다를 수 있으므로 다른 확산 변형까지 같은 목표로 단정하지 않는다.

생성은 보통 새 무작위 초기값과 조건에서 시작한다. 가상 예제에서 알았던 x_0가 새 생성 작업의 정답으로 주어지는 것은 아니다. 텍스트·이미지 조건을 만족하는지와 시각적으로 자연스러운지를 따로 확인한다. 그럴듯한 이미지가 실제 사건이나 대상의 존재를 증명하지 않으며 자료의 출처도 별도로 필요하다.

가상 동일 조건에서 노이즈 제거 모델 호출이 단계당 40ms, 전처리·최종 변환의 고정 시간이 100ms라면 20단계는 20×40 + 100 = 900ms, 50단계는 50×40 + 100 = 2,100ms다. 단계 수는 2.5배지만 이 가정의 총시간 비율은 2,100 / 900 = 약 2.33배다. 실제 실행에서는 단계마다 시간이 같다는 가정도 확인해야 한다.

DDIM 연구 ↗는 학습된 확산 모델의 샘플링 과정을 달리 구성해 속도와 품질을 비교했다.^[2] 기존 단계의 일부를 아무 조정 없이 삭제하는 것과 같지 않다. 샘플러·스케줄·시드·해상도·장비·배치·조건을 고정해 시간과 조건 일치·다양성·남은 오류를 함께 비교한다. 위 시간은 제품 벤치마크가 아니다.

Latent Diffusion 연구 ↗는 사전학습된 오토인코더의 잠재 공간에서 확산을 수행하는 접근을 제시했다.^[3] 설명용 픽셀 텐서 512×512×3은 786,432개 값이고 가상 잠재 텐서 64×64×4는 16,384개 값이다. 원소 수 비율은 48이지만 이것이 계산·메모리·실제 속도가 모두 48배 개선된다는 뜻은 아니다. 채널·층·자료형과 인코더·디코더 비용도 영향을 준다.

잠재 크기와 압축에서 잃는 세부 정보, 출력의 글자·개수·공간 관계를 함께 평가한다. 같은 시드도 모델·샘플러·실행 환경이 바뀌면 동일 출력을 보장하지 않는다. 모델 계열 이름과 실제 버전을 구분하고 모델 카드에 재현 조건과 확인하지 못한 범위를 남긴다.