Hugging Face's logo

Diffusers documentation

AutoPipeline

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoPipeline

AutoPipeline는 특정 파이프라인 클래스를 알지 못해도 작업을 위한 체크포인트를 쉽게 로드할 수 있도록 설계되었습니다. 작업에 따라 AutoPipeline은 체크포인트의 model_index.json 파일에서 올바른 파이프라인 클래스를 자동으로 가져옵니다.

이 API 사용법을 배우려면 AutoPipeline 튜토리얼을 확인해 보세요!

AutoPipelineForText2Image

class diffusers.AutoPipelineForText2Image

< >

( *args**kwargs )

AutoPipelineForText2Image is a generic pipeline class that instantiates a text-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

  • config_name (str) — 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

매개변수

  • pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) — 다음 중 하나일 수 있습니다:
    • Hub에 호스팅된 사전 학습된 파이프라인의 repo id(예: CompVis/ldm-text2im-large-256) 문자열
    • save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리의 경로(예: ./my_pipeline_directory/)
  • dtype (torch.dtype, 선택 사항) — 기본 torch.dtype를 무시하고 다른 dtype로 모델을 로드합니다.
  • force_download (bool, 선택 사항, 기본값 False) — 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부입니다. 캐시된 버전이 존재하는 경우 이를 무시합니다.
  • cache_dir (str | os.PathLike, 선택 사항) — 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
  • proxies (dict[str, str], 선택) — 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.
  • output_loading_info(bool, optional, 기본값 False) — 누락된 키, 예상치 못한 키 및 오류 메시지를 포함하는 사전도 함께 반환할지 여부.
  • local_files_only (bool, 선택 사항, 기본값 False) — 로컬 모델 가중치 및 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
  • token (str 또는 bool, 선택 사항) — 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.
  • revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
  • custom_revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 revision과 유사하게 브랜치 이름, 태그 이름 또는 커밋 ID일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우 기본값은 "main"입니다.
  • mirror (str, 선택 사항) — 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 정보는 해당 미러 사이트를 참고하세요.
  • device_map (str 또는 dict[str, int | str | torch.device], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름별로 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

    device_map="auto"를 설정하면 🤗 Accelerate가 가장 최적화된 device_map을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 device map 설계를 참고하세요.

  • max_memory (Dict, 선택 사항) — 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — "disk" 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
  • offload_state_dict (bool, 선택 사항) — True인 경우, CPU state dict의 가중치와 체크포인트의 가장 큰 샤드가 함께 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU state dict를 임시로 하드 드라이브로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 True입니다.
  • low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.
  • use_safetensors (bool, 선택 사항, 기본값 None) — None으로 설정하면, safetensors 가중치가 사용 가능하고 그리고 safetensors 라이브러리가 설치된 경우에만 safetensors 가중치가 다운로드됩니다. True로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. False로 설정하면 safetensors 가중치가 로드되지 않습니다.
  • kwargs (나머지 키워드 인자 사전, 선택 사항) — 특정 파이프라인 클래스의 파이프라인 구성 요소인 로드 및 저장 가능 변수를 덮어쓸 수 있습니다. 덮어쓴 구성 요소는 파이프라인의 __init__ 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
  • variant (str, 선택 사항) — "fp16" 또는 "ema"와 같이 지정된 variant 파일 이름에서 가중치를 로드합니다.

pretrained 파이프라인 가중치에서 텍스트-이미지 Pytorch 확산 파이프라인을 초기화합니다.

from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:

  1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 파이프라인 클래스를 감지합니다
  2. 패턴 매칭을 통해 파이프라인 클래스 이름으로 파이프라인 클래스에 연결된 텍스트-이미지(text-to-image) 파이프라인을 찾습니다.

controlnet 인수가 전달되면 StableDiffusionControlNetPipeline 객체가 생성됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> 비공개 또는 게이트된 모델을 사용하려면 hf > auth login으로 로그인하세요.

예:

>>> from diffusers import AutoPipelineForText2Image

>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]

from_pipe

< >

( pipeline**kwargs )

매개변수

  • pipeline (DiffusionPipeline) — 인스턴스화된 DiffusionPipeline 객체

다른 인스턴스화된 diffusion pipeline 클래스에서 텍스트-이미지 Pytorch diffusion pipeline을 인스턴스화합니다.

from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 텍스트-이미지 생성(text-to-image) 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.

pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]

AutoPipelineForImage2Image

클래스 diffusers.AutoPipelineForImage2Image

< >

( *args**kwargs )

AutoPipelineForImage2Image is a generic pipeline class that instantiates an image-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

  • config_name (str) — 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

매개변수

  • pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) — 다음 중 하나일 수 있습니다:
    • Hub에 호스팅된 사전 학습된 파이프라인의 repo id(예: CompVis/ldm-text2im-large-256) 문자열
    • save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리의 경로(예: ./my_pipeline_directory/)
  • dtype (str 또는 torch.dtype, 선택 사항) — 기본 torch.dtype를 재정의하여 다른 dtype로 모델을 로드합니다.
  • force_download (bool, 선택 사항, 기본값 False) — 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부입니다. 캐시된 버전이 존재하는 경우 이를 무시합니다.
  • cache_dir (str | os.PathLike, 선택 사항) — 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
  • proxies (dict[str, str], 선택) — 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.
  • output_loading_info(bool, optional, 기본값 False) — 누락된 키, 예상치 못한 키 및 오류 메시지를 포함하는 사전도 함께 반환할지 여부.
  • local_files_only (bool, 선택 사항, 기본값 False) — 로컬 모델 가중치 및 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
  • token (str 또는 bool, 선택 사항) — 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.
  • revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
  • custom_revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 revision과 유사하게 브랜치 이름, 태그 이름 또는 커밋 ID일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우 기본값은 "main"입니다.
  • mirror (str, 선택 사항) — 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 정보는 해당 미러 사이트를 참고하세요.
  • device_map (str 또는 dict[str, int | str | torch.device], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름별로 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

    device_map="auto"를 설정하면 🤗 Accelerate가 가장 최적화된 device_map을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 device map 설계를 참고하세요.

  • max_memory (Dict, 선택 사항) — 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — "disk" 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
  • offload_state_dict (bool, 선택 사항) — True인 경우, CPU state dict의 가중치와 체크포인트의 가장 큰 샤드가 함께 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU state dict를 임시로 하드 드라이브로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 True입니다.
  • low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.
  • use_safetensors (bool, 선택 사항, 기본값 None) — None으로 설정하면, safetensors 가중치가 사용 가능하고 그리고 safetensors 라이브러리가 설치된 경우에만 safetensors 가중치가 다운로드됩니다. True로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. False로 설정하면 safetensors 가중치가 로드되지 않습니다.
  • kwargs (나머지 키워드 인자 사전, 선택 사항) — 특정 파이프라인 클래스의 파이프라인 구성 요소인 로드 및 저장 가능 변수를 덮어쓸 수 있습니다. 덮어쓴 구성 요소는 파이프라인의 __init__ 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
  • variant (str, 선택 사항) — "fp16" 또는 "ema"와 같이 지정된 variant 파일 이름에서 가중치를 로드합니다.

pretrained 파이프라인 가중치에서 이미지-이미지 Pytorch 확산 파이프라인을 초기화합니다.

from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:

  1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 파이프라인 클래스를 감지합니다
  2. 패턴 매칭을 통해 pipeline 클래스 이름에 연결된 image-to-image 파이프라인을 찾습니다.

controlnet 인수가 전달되면 StableDiffusionControlNetImg2ImgPipeline 객체가 생성됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> 비공개 또는 게이트된 모델을 사용하려면 hf > auth login으로 로그인하세요.

예:

>>> from diffusers import AutoPipelineForImage2Image

>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]

from_pipe

< >

( pipeline**kwargs )

매개변수

  • pipeline (DiffusionPipeline) — 인스턴스화된 DiffusionPipeline 객체

이미지-이미지 Pytorch diffusion 파이프라인을 다른 인스턴스화된 diffusion 파이프라인 클래스에서 인스턴스화합니다.

from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 image-to-image 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.

pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

예:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]

AutoPipelineForInpainting

class diffusers.AutoPipelineForInpainting

< >

( *args**kwargs )

AutoPipelineForInpainting is a generic pipeline class that instantiates an inpainting pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

  • config_name (str) — 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

매개변수

  • pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) — 다음 중 하나일 수 있습니다:
    • Hub에 호스팅된 사전 학습된 파이프라인의 repo id(예: CompVis/ldm-text2im-large-256) 문자열
    • save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리의 경로(예: ./my_pipeline_directory/)
  • dtype (str 또는 torch.dtype, 선택 사항) — 기본 torch.dtype를 재정의하여 다른 dtype로 모델을 로드합니다.
  • force_download (bool, 선택 사항, 기본값 False) — 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부입니다. 캐시된 버전이 존재하는 경우 이를 무시합니다.
  • cache_dir (str | os.PathLike, 선택 사항) — 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
  • proxies (dict[str, str], 선택) — 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.
  • output_loading_info(bool, optional, 기본값 False) — 누락된 키, 예상치 못한 키 및 오류 메시지를 포함하는 사전도 함께 반환할지 여부.
  • local_files_only (bool, 선택 사항, 기본값 False) — 로컬 모델 가중치 및 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
  • token (str 또는 bool, 선택 사항) — 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.
  • revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
  • custom_revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 revision과 유사하게 브랜치 이름, 태그 이름 또는 커밋 ID일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우 기본값은 "main"입니다.
  • mirror (str, 선택 사항) — 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 정보는 해당 미러 사이트를 참고하세요.
  • device_map (str 또는 dict[str, int | str | torch.device], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름별로 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

    device_map="auto"를 설정하면 🤗 Accelerate가 가장 최적화된 device_map을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 device map 설계를 참고하세요.

  • max_memory (Dict, 선택 사항) — 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — "disk" 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
  • offload_state_dict (bool, 선택 사항) — True인 경우, CPU state dict의 가중치와 체크포인트의 가장 큰 샤드가 함께 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU state dict를 임시로 하드 드라이브로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 True입니다.
  • low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.
  • use_safetensors (bool, 선택 사항, 기본값 None) — None으로 설정하면, safetensors 가중치가 사용 가능하고 그리고 safetensors 라이브러리가 설치된 경우에만 safetensors 가중치가 다운로드됩니다. True로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. False로 설정하면 safetensors 가중치가 로드되지 않습니다.
  • kwargs (나머지 키워드 인자 사전, 선택 사항) — 특정 파이프라인 클래스의 파이프라인 구성 요소인 로드 및 저장 가능 변수를 덮어쓸 수 있습니다. 덮어쓴 구성 요소는 파이프라인의 __init__ 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
  • variant (str, 선택 사항) — "fp16" 또는 "ema"와 같이 지정된 variant 파일 이름에서 가중치를 로드합니다.

pretrained 파이프라인 가중치로부터 inpainting Pytorch diffusion 파이프라인을 초기화합니다.

from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:

  1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 파이프라인 클래스를 감지합니다
  2. 패턴 매칭을 통해 파이프라인 클래스 이름으로 파이프라인 클래스에 연결된 inpainting 파이프라인을 찾습니다.

controlnet 인수가 전달되면 StableDiffusionControlNetInpaintPipeline 객체가 생성됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> 비공개 또는 게이트된 모델을 사용하려면 hf > auth login으로 로그인하세요.

예:

>>> from diffusers import AutoPipelineForInpainting

>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]

from_pipe

< >

( pipeline**kwargs )

매개변수

  • pipeline (DiffusionPipeline) — 인스턴스화된 DiffusionPipeline 객체

인스턴스화된 다른 diffusion pipeline 클래스에서 inpainting Pytorch diffusion pipeline을 인스턴스화합니다.

from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 inpainting 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.

pipeline 클래스가 포함하는 모든 모듈은 추가 메모리를 할당하지 않고 새 파이프라인을 초기화하는 데 사용됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

예:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )

>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]

AutoPipelineForText2Audio

class diffusers.AutoPipelineForText2Audio

< >

( *args**kwargs )

AutoPipelineForText2Audio is a generic pipeline class that instantiates a text-to-audio pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

  • config_name (str) — 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

매개변수

  • pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) — 다음 중 하나일 수 있습니다:
    • Hub에 호스팅된 사전 학습된 파이프라인의 repo id(예: stabilityai/stable-audio-open-1.0) 문자열입니다.
    • save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리의 경로(예: ./my_pipeline_directory/)
  • dtype (torch.dtype, 선택 사항) — 기본 torch.dtype를 무시하고 다른 dtype로 모델을 로드합니다.
  • force_download (bool, 선택 사항, 기본값 False) — 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부입니다. 캐시된 버전이 존재하는 경우 이를 무시합니다.
  • cache_dir (str | os.PathLike, 선택 사항) — 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
  • proxies (dict[str, str], 선택) — 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.
  • output_loading_info(bool, optional, 기본값 False) — 누락된 키, 예상치 못한 키 및 오류 메시지를 포함하는 사전도 함께 반환할지 여부.
  • local_files_only (bool, 선택 사항, 기본값 False) — 로컬 모델 가중치 및 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
  • token (str 또는 bool, 선택 사항) — 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.
  • revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
  • custom_revision (str, 선택 사항, 기본값 "main") — 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 revision과 유사하게 브랜치 이름, 태그 이름 또는 커밋 ID일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우 기본값은 "main"입니다.
  • mirror (str, 선택 사항) — 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 정보는 해당 미러 사이트를 참고하세요.
  • device_map (str 또는 dict[str, int | str | torch.device], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름별로 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

    device_map="auto"를 설정하면 🤗 Accelerate가 가장 최적화된 device_map을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 device map 설계를 참고하세요.

  • max_memory (Dict, 선택 사항) — 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — "disk" 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
  • offload_state_dict (bool, 선택 사항) — True인 경우, CPU state dict의 가중치와 체크포인트의 가장 큰 샤드가 함께 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU state dict를 임시로 하드 드라이브로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 True입니다.
  • low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.
  • use_safetensors (bool, 선택 사항, 기본값 None) — None으로 설정하면, safetensors 가중치가 사용 가능하고 그리고 safetensors 라이브러리가 설치된 경우에만 safetensors 가중치가 다운로드됩니다. True로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. False로 설정하면 safetensors 가중치가 로드되지 않습니다.
  • kwargs (나머지 키워드 인자 사전, 선택 사항) — 특정 파이프라인 클래스의 파이프라인 구성 요소인 로드 및 저장 가능 변수를 덮어쓸 수 있습니다. 덮어쓴 구성 요소는 파이프라인의 __init__ 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
  • variant (str, 선택 사항) — "fp16" 또는 "ema"와 같이 지정된 variant 파일 이름에서 가중치를 로드합니다.

pretrained 파이프라인 가중치에서 텍스트-오디오 Pytorch diffusion 파이프라인을 초기화합니다.

from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:

  1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 파이프라인 클래스를 감지합니다
  2. 패턴 매칭을 통해 pipeline 클래스 이름과 연결된 text-to-audio 파이프라인을 찾습니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

> 비공개 또는 게이트된 모델을 사용하려면 hf > auth login으로 로그인하세요.

예:

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio

>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
...     "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")

>>> output = pipeline(
...     "Generate a male voice reading a paragraph",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)

from_pipe

< >

( pipeline**kwargs )

매개변수

  • pipeline (DiffusionPipeline) — 인스턴스화된 DiffusionPipeline 객체

다른 인스턴스화된 diffusion pipeline 클래스에서 텍스트-오디오 Pytorch diffusion pipeline을 인스턴스화합니다.

from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 텍스트-오디오 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.

pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline

>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)

>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
...     "Generate a sound",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)
Update on GitHub

←개요 ACE-Step→