Glossary
Diffusion Models

확산 모델이란 무엇인가요? 포괄적인 정의

확산 모델이란 무엇인가요? 포괄적인 정의

확산 모델이란 무엇인가요?

확산 모델은 확률론적 생성 모델의 한 종류입니다. 이미지 합성뿐만 아니라 머신 러닝에서 노이즈를 줄이는 데 강력한 성능을 발휘합니다. 확산 모델은 가우스 노이즈를 추가하여 데이터를 점진적으로 파괴하고 샘플 생성을 위해 이 과정을 역으로 학습합니다.

예를 들어 이미지 생성에서 확산 모델은 이미지가 순수한 노이즈 이미지가 될 때까지 이미지에 노이즈를 수백, 수천 번 추가합니다. 그런 다음 일관된 이미지가 될 때까지 이미지에서 노이즈를 점차적으로 제거합니다. 마지막으로 이 모델은 원본 이미지와 거의 일치하는 새롭고 다양한 이미지를 생성할 수 있습니다.

확산 모델의 구성 요소

확산 모델은 세 가지 기본 수학적 프레임워크를 기반으로 합니다:

디노이즈 제거 확산 확률 모델(DDPM): DDPM은 두 개의 마르코프 체인(포워드 체인 및 리버스 체인)을 사용해 데이터에서 노이즈를 추가하거나 제거합니다. 심층 신경망을 활용하여 포워드 체인에 도입된 노이즈를 역전시키는 방법을 학습함으로써 궁극적으로 원본 데이터 분포와 매우 유사한 데이터 샘플을 생성할 수 있습니다.
점수 기반 생성 모델(SGM): SGM은 데이터에 가우스 노이즈를 추가하고 노이즈 훈련된 심층 신경망을 사용해 점수 함수를 추정하는 방식으로 작동합니다. 이러한 점수 함수는 원래 분포와 매우 유사한 새로운 데이터 샘플을 생성하도록 안내합니다.
확률 미분 방정식(점수 SDE): 점수 SDE는 무한한 시간 단계 또는 노이즈 레벨을 가진 데이터를 모델링하기 위해 DDPM과 SGM을 일반화합니다. SDE를 사용하여 노이즈 섭동 및 샘플 생성 과정을 모델링하고, 생성된 데이터의 노이즈를 제거하기 위해 점수 함수에 의존합니다.

확산 모델은 어떻게 작동하나요?

확산 모델은 데이터, 제어된 가우스 노이즈, 중간 잠재 공간의 세심한 상호 작용을 포함하는 정교한 수준에서 작동합니다. 이 복잡한 프로세스를 통해 궁극적으로 원본 데이터의 향상된 버전을 만들 수 있습니다. 그 메커니즘에 대해 자세히 알아보겠습니다:

1. 가우스 노이즈의 역할:

확산 모델은 연산 전반에 걸쳐 가우스 노이즈를 체계적으로 도입합니다. 각 반복 단계마다 정밀하게 제어된 가우스 노이즈가 데이터에 추가됩니다. 이 노이즈는 가우스 분포에서 샘플링되어 노이즈 레벨을 세밀하게 제어할 수 있습니다.

# 제어된 가우시안 노이즈 추가 noisy\_data = 원본\_data + 노이즈

2. 정규 분포로 전환하기:

확산 과정을 용이하게 하기 위해 입력 데이터는 변환 과정을 거칩니다. 먼저 평균 0과 표준편차 1을 특징으로 하는 정규 분포로 변환됩니다. 이 변환은 노이즈 제어를 단순화할 뿐만 아니라 확산 과정의 기초를 마련합니다.

# 데이터를 정규 분포로 변환 normalized\_data = (original\_data - original\_data.mean()) / original\_data.std()

3. 확산 모델링 프로세스:

특히 이미지나 동영상에 대한 제너레이티브 모델의 맥락에서 확산 모델링 프로세스를 분석해 보겠습니다. 확산 과정은 두 가지 중요한 단계로 구성됩니다:

포워드 확산 프로세스:** 이 단계에서는 모델이 원본 이미지의 픽셀을 변형하는 여정을 시작합니다. 수백 또는 수천 단계의 점진적 단계를 통해 가우시안 노이즈가 점진적으로 도입됩니다. 이 과정은 마르코프 체인으로 전개되며, 각 단계마다 정밀하게 제어된 양의 노이즈가 주입됩니다. 이미지가 순수한 노이즈 상태로 효과적으로 '확산'됩니다.

# 범위 내 단계에 대한 순방향 확산 프로세스(num\_steps): 노이즈\_이미지 = 노이즈\_이미지 + 단계\_노이즈\[단계]

**역확산 프로세스: 반대로 역확산 프로세스는 선명도를 높이는 과정입니다. 이 단계에서는 노이즈 제거, 스케일링, 반복적인 단계를 거쳐 최종적으로 선명한 이미지가 나타납니다. 흐릿한 이미지가 서서히 선명해지는 것을 보는 것과 비슷합니다.

# 단계에 대한 역확산 프로세스 역전(범위(num\_steps)): 노이즈\_이미지 = 노이즈\_이미지 - 단계\_노이즈\[단계]

순방향 확산 과정에서 픽셀 값의 크기를 조정하는 것이 노이즈를 추가하기 전에 중요한 단계라는 점에 유의해야 합니다. 이 단계를 건너뛰면 디테일이 손실되는 이미지 포화 상태가 발생할 수 있습니다.

# 픽셀 값 스케일링 스케일링\_이미지 = 원본\_이미지 \* 스케일링\_인자

4. 컨볼루션 신경망(CNN) 활용하기:

역확산 과정에서는 컨볼루션 신경망(CNN)이 중추적인 역할을 합니다. 순수한 노이즈에 가려진 이미지가 주어지면 이 신경망은 이미지의 노이즈를 제거하는 데 능숙합니다. 노이즈를 능숙하게 제거하여 원본과 거의 흡사한 선명하고 일관된 이미지를 만들어냅니다.

5. 미래 세대를 위한 교육:

훈련 후 확산 모델은 새로운 이미지를 생성할 수 있도록 준비됩니다. 여기에는 입력 데이터에 의도적으로 노이즈를 도입하는 작업이 포함됩니다. 그런 다음 모델이 학습된 노이즈 제거 능력을 사용해 입력 데이터의 새롭고 깨끗한 버전을 생성합니다.

# 노이즈를 도입하여 새로운 이미지 생성 new\_image = 노이즈가 있는\_input\_data + 생성된\_노이즈

최신 확산 모델의 중간 잠복 공간 :

현대 이미지 확산 모델의 영역에서는 흥미로운 반전이 펼쳐집니다. 이러한 모델은 종종 제3의 플레이어, 즉 중간 잠재 공간을 혼합에 도입합니다. 원시 이미지 픽셀에서 직접 작동하는 것이 아니라 이 잠재 공간 내에서 확산 프로세스가 이루어집니다. 이러한 혁신은 디퓨전 모델의 효율성과 효과를 향상시켜 보다 미묘하고 제어된 변환을 가능하게 합니다.

AI/ML에서 확산 모델의 활용 사례

확산 모델은 실제 사용 사례가 많기 때문에 제너레이티브 모델링에서 인기를 얻고 있는 접근 방식입니다. 이미지 생성, 텍스트-이미지 생성, 이미지 초고해상도, 자연어 생성 등에 사용됩니다.

자연어 생성

자연어 처리(NLP)는 오늘날의 AI 세계에서 실생활에 많이 활용되고 있습니다. 확산 모델은 다양한 결과물을 생성할 수 있는 능력으로 인해 자연어 생성(NLG)에 기본적으로 적용됩니다. 확산 모델은 생성형 사전 학습 트랜스포머(GPT)와 같은 대규모 언어 모델(LLM)에서 많은 NLG 작업을 가능하게 합니다. 여기에는 콘텐츠 생성, 텍스트 요약, 텍스트 완성이 포함됩니다.

이미지 및 비디오 생성

확산 모델은 생성된 비디오의 품질을 향상시킵니다. 비디오 프레임의 복잡성과 시공간적 연속성 문제를 해결합니다. 이 기능을 통해 콘텐츠 제작자는 텍스트 프롬프트를 제공하여 짧은 고품질 동영상 스크립트를 생성할 수 있습니다.

텍스트-이미지 생성

오늘날에는 텍스트 프롬프트를 텍스트-이미지 생성기에 입력하여 이미지를 생성할 수 있습니다. Google의 Imagen과 OpenAI의 DALL-E가 그 예입니다. LLM은 확산을 사용하여 시각적 단어를 이미지로 디코딩합니다. 이상적으로 이러한 생성기는 이미지를 벡터 시각적 단어로 인코딩합니다. 그런 다음 이러한 단어를 사용하여 확산 모델을 조절하여 원본 이미지와 유사한 스타일의 새로운 이미지를 생성합니다.

이미지 고해상도

확산 모델의 초기 적용 사례 중 하나는 이미지 초고해상도입니다. 여기에는 이미지의 콘텐츠를 최대한 유지하면서 이미지의 해상도를 저해상도에서 고해상도로 향상시키는 것이 포함됩니다.

확산 모델을 사용한 이미지 해상도는 두 단계로 이루어집니다. 먼저 확산 모델을 사용하여 더 쉽고 빠르게 훈련할 수 있는 저해상도 이미지를 생성합니다. 둘째, 별도의 확산 모델을 학습시키고 저화질 이미지의 해상도를 개선할 수 있는 초고해상도로 모델을 컨디셔닝합니다.

확산 모델의 한계 ## 확산 모델의 한계

확산 모델은 강력하며 AI 업계에 혁명을 일으키고 있습니다. 하지만 아래에서 설명하겠지만, 여기에는 상당한 도전 과제가 있습니다.

확산 모델은 훈련에 시간이 걸립니다.

확산 모델은 노이즈 제거에 의존하여 이미지를 생성합니다. 노이즈 제거 모델을 처음부터 훈련하려면 많은 반복이 필요합니다. 초기 단계에서는 확산 모델을 훈련하는 데 시간이 오래 걸립니다. 모델이 훈련 데이터와 거의 일치하는 샘플을 생성할 수 있는 후반 단계에서는 훈련 시간이 점차 줄어듭니다. 이 과정은 몇 분 또는 몇 시간 또는 계산 시간이 걸릴 수 있습니다. 즉, 확산 모델은 신경망에 대한 수천 번의 호출을 사용하여 샘플을 생성하는 반면, GAN은 한 번의 호출만 사용합니다. 따라서 확산 모델은 샘플 생성 속도가 느립니다.

확산 모델을 미세 조정하는 것은 어려운 일입니다.

개별화된 버전의 모델을 얻으려면 사전 학습된 모델을 가져와서 자체 데이터로 학습시킵니다. 그러나 제한된 데이터로 사전 학습된 무조건적인 확산 모델을 미세 조정하는 것은 쉽지 않습니다. 데이터 제한으로 인해 훈련 초기 단계에서 과적합이 발생할 수 있습니다. 과적합 모델의 결과 이미지는 품질이 낮고 다양성이 제한됩니다.

확산 모델에는 대용량 메모리 필요

대규모 확산 모델에는 많은 메모리가 필요합니다. 확산 모델에는 수십억 개의 매개변수가 포함될 수 있습니다. 따라서 강력한 서버에서 훈련되고 테스트됩니다. 제한된 GPU 메모리 크기를 고려할 때 모바일 디바이스에서 이러한 모델을 구현하는 것은 까다로운 작업입니다. 이러한 제한으로 인해 모바일 디바이스는 하나의 대규모 확산 모델을 실행하는 데 어려움을 겪습니다.

GPU 메모리 사용량이 모바일에서의 확산 모델 배포에 위협이 되고 있는 가운데, 이에 대한 해결책이 제시되고 있습니다. 한 가지 해결책은 더 작은 버전의 확산 모델을 출시하는 것입니다. 이 모델은 모바일에 배포할 수 있을 만큼 충분히 압축되어 있습니다.

FAQ

GAN과 확산 모델의 차이점은 무엇인가요?

생성적 적대 신경망(GAN)은 적대적 훈련 과정을 통해 작동합니다. 생성자 신경망을 사용해 데이터 샘플을 생성하고 판별자 신경망을 사용해 진짜와 가짜 데이터 샘플을 구분합니다. 확산 모델은 데이터에 가우스 노이즈를 반복적으로 추가하여 샘플을 생성하고 학습된 노이즈 제거 함수를 적용하여 데이터를 점진적으로 실제 샘플로 변환하는 확률 기반 모델입니다.

트랜스포머와 확산 모델의 차이점은 무엇인가요?

트랜스포머는 자기 주의 메커니즘을 적용해 순차적 데이터의 요소 간의 맥락적 관계를 학습하며 이미지 분류와 자연어 처리(NLP)에 탁월합니다. 확산 모델은 고품질의 사실적인 이미지를 생성하는 데 탁월합니다.

확산 모델의 도전 과제는 무엇인가요?

확산 모델은 많은 반복을 통해 시간이 오래 걸리는 노이즈 제거 훈련 프로세스를 따릅니다. 또한 수십억 개의 파라미터가 포함된 대규모 확산 모델에는 방대한 메모리 리소스가 필요합니다. 마지막으로, 제한된 데이터로 확산 모델을 미세 조정하면 과적합이 발생하여 품질이 낮고 다양한 이미지가 생성되지 않을 수 있습니다.