Hugging Face's logo

Diffusers documentation

UNet3DConditionModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

UNet3DConditionModel

O modelo UNet foi originalmente introduzido por Ronneberger et al. para segmentação de imagens biomédicas, mas também é comumente usado no 🤗 Diffusers porque ele gera imagens com o mesmo tamanho da entrada. Ele é um dos componentes mais importantes de um sistema de difusão, pois facilita o processo de difusão em si. Existem várias variantes do modelo UNet no 🤗 Diffusers, dependendo do número de dimensões e de se trata de um modelo condicional ou não. Este é um modelo condicional UNet 3D.

O resumo do artigo é:

Há amplo consenso de que o treinamento bem-sucedido de redes profundas requer milhares de amostras de treinamento anotadas. Neste artigo, apresentamos uma rede e uma estratégia de treinamento que dependem do uso intenso de aumento de dados para utilizar as amostras anotadas disponíveis de forma mais eficiente. A arquitetura consiste em um caminho contrativo para capturar o contexto e um caminho expansivo simétrico que permite a localização precisa. Mostramos que uma rede como essa pode ser treinada de ponta a ponta a partir de muito poucas imagens e supera o melhor método anterior (uma rede convolucional de janela deslizante) no desafio ISBI para segmentação de estruturas neuronais em pilhas de microscopia eletrônica. Usando a mesma rede treinada em imagens de microscopia de luz transmitida (contraste de fase e DIC), vencemos o desafio de rastreamento celular ISBI 2015 nessas categorias por uma grande margem. Além disso, a rede é rápida. A segmentação de uma imagem de 512x512 leva menos de um segundo em uma GPU recente. A implementação completa (baseada em Caffe) e as redes treinadas estão disponíveis em http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

UNet3DConditionModel

classe diffusers.UNet3DConditionModel

< >

( sample_size: int | None = Nonein_channels: int = 4out_channels: int = 4down_block_types: tuple = ('CrossAttnDownBlock3D', 'CrossAttnDownBlock3D', 'CrossAttnDownBlock3D', 'DownBlock3D')up_block_types: tuple = ('UpBlock3D', 'CrossAttnUpBlock3D', 'CrossAttnUpBlock3D', 'CrossAttnUpBlock3D')block_out_channels: tuple = (320, 640, 1280, 1280)layers_per_block: int = 2downsample_padding: int = 1mid_block_scale_factor: float = 1act_fn: str = 'silu'norm_num_groups: int | None = 32norm_eps: float = 1e-05cross_attention_dim: int = 1024attention_head_dim: int | tuple[int] = 64num_attention_heads: int | tuple[int] | None = Nonetime_cond_proj_dim: int | None = None )

Parâmetros

  • sample_size (int ou tuple[int, int], opcional, padrão None) — Altura e largura da amostra de entrada/saída.
  • in_channels (int, opcional, padrão 4) — O número de canais na amostra de entrada.
  • out_channels (int, opcional, padrão 4) — O número de canais na saída.
  • down_block_types (tuple[str], opcional, padrão ("CrossAttnDownBlock3D", "CrossAttnDownBlock3D", "CrossAttnDownBlock3D", "DownBlock3D")) — A tupla de blocos de downsampling a serem usados.
  • up_block_types (tuple[str], opcional, padrão ("UpBlock3D", "CrossAttnUpBlock3D", "CrossAttnUpBlock3D", "CrossAttnUpBlock3D")) — A tupla de blocos de upsample a serem usados.
  • block_out_channels (tuple[int], opcional, padrão (320, 640, 1280, 1280)) — A tupla de canais de saída para cada bloco.
  • layers_per_block (int, opcional, padrão 2) — O número de camadas por bloco.
  • downsample_padding (int, opcional, padrão 1) — O padding a ser usado para a convolução de downsampling.
  • mid_block_scale_factor (float, opcional, padrão 1.0) — O fator de escala a ser usado para o bloco intermediário.
  • act_fn (str, opcional, padrão "silu") — A função de ativação a ser utilizada.
  • norm_num_groups (int, opcional, padrão 32) — O número de grupos a serem usados para a normalização. Se None, as camadas de normalização e ativação são ignoradas no pós-processamento.
  • norm_eps (float, opcional, padrão 1e-5) — O epsilon a ser usado para a normalização.
  • cross_attention_dim (int, opcional, padrão 1024) — A dimensão dos recursos de atenção cruzada.
  • attention_head_dim (int, opcional, padrão 64) — A dimensão dos cabeçalhos de atenção.
  • num_attention_heads (int, opcional) — O número de cabeças de atenção.
  • time_cond_proj_dim (int, opcional, padrão None) — A dimensão da camada cond_proj no embedding de timestep.

Um modelo 3D UNet condicional que recebe uma amostra com ruído, um estado condicional e um passo de tempo e retorna uma saída com a forma da amostra.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

disable_freeu

< >

( )

Desativa o mecanismo FreeU.

enable_forward_chunking

< >

( chunk_size: int | None = Nonedim: int = 0 )

Parâmetros

  • chunk_size (int, opcional) — O tamanho do bloco das camadas feed-forward. Se não for especificado, a camada feed-forward será executada individualmente sobre cada tensor com dim=dim.
  • dim (int, opcional, padrão 0) — A dimensão sobre a qual o cálculo feed-forward deve ser dividido em blocos. Escolha entre dim=0 (lote) ou dim=1 (comprimento da sequência).

Define o processador de atenção para usar chunking de feed forward.

enable_freeu

< >

( s1s2b1b2 )

Parâmetros

  • s1 (float) — Fator de escala para a etapa 1 para atenuar as contribuições dos recursos de skip. Isso é feito para mitigar o “efeito de sobre-suavização” no processo aprimorado de remoção de ruído.
  • s2 (float) — Fator de escala para o estágio 2 para atenuar as contribuições dos recursos de skip. Isso é feito para mitigar o “efeito de sobre-suavização” no processo aprimorado de remoção de ruído.
  • b1 (float) — Fator de escala para o estágio 1 para amplificar as contribuições dos recursos do backbone.
  • b2 (float) — Fator de escala para o estágio 2 para amplificar as contribuições dos recursos do backbone.

Ativa o mecanismo FreeU de https://huggingface.co/papers/2309.11497.

Os sufixos após os fatores de escala representam os blocos de estágio em que eles estão sendo aplicados.

Consulte o repositório oficial para combinações de valores que são conhecidas por funcionar bem em diferentes pipelines, como Stable Diffusion v1, v2 e Stable Diffusion XL.

forward

< >

( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]encoder_hidden_states: Tensorclass_labels: typing.Optional[torch.Tensor] = Nonetimestep_cond: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonecross_attention_kwargs: dict[str, typing.Any] | None = Nonedown_block_additional_residuals: tuple[torch.Tensor] | None = Nonemid_block_additional_residual: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → UNet3DConditionOutput or tuple

Parâmetros

  • sample (torch.Tensor) — O tensor de entrada com ruído, com a seguinte forma (batch, num_channels, num_frames, height, width.
  • timestep (torch.Tensor ou float ou int) — O número de timesteps para desruidar uma entrada.
  • encoder_hidden_states (torch.Tensor) — Os estados ocultos do codificador com forma (batch, sequence_length, feature_dim).
  • class_labels (torch.Tensor, opcional, padrão None) — Rótulos de classe opcionais para condicionamento. Os embeddings deles serão somados aos embeddings de timestep.
  • timestep_cond — (torch.Tensor, opcional, padrão None): Incorporações condicionais para o timestep. Se fornecidas, as incorporações serão somadas às amostras passadas pela camada self.time_embedding para obter as incorporações de timestep.
  • attention_mask (torch.Tensor, opcional, padrão None) — Uma máscara de atenção com forma (batch, key_tokens) é aplicada a encoder_hidden_states. Se 1, a máscara é mantida; caso contrário, se 0, ela é descartada. A máscara será convertida em um viés, que adiciona grandes valores negativos às pontuações de atenção correspondentes aos tokens “descartados”.
  • cross_attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado para o AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.
  • down_block_additional_residuals — (tuple de torch.Tensor, opcional): Uma tupla de tensores que, se especificada, é adicionada aos resíduos dos blocos down do unet.
  • mid_block_additional_residual — (torch.Tensor, opcional): Um tensor que, se especificado, é adicionado ao residual do bloco intermediário do unet.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um UNet3DConditionOutput em vez de uma tupla simples.
  • cross_attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado para o AttnProcessor.

Retorna

UNet3DConditionOutput ou tuple

Se return_dict for True, um UNet3DConditionOutput é retornado, caso contrário, uma tuple é retornada, onde o primeiro elemento é o tensor da amostra.

O método forward do UNet3DConditionModel.

fuse_qkv_projections

< >

( )

Ativa as projeções QKV fundidas. Para os módulos de autoatenção, todas as matrizes de projeção (ou seja, query, key, value) são fundidas. Para os módulos de atenção cruzada, as matrizes de projeção de key e value são fundidas.

> Esta API é 🧪 experimental.

set_attention_slice

< >

( slice_size: str | int | list[int] )

Parâmetros

  • slice_size (str ou int ou list(int), opcional, padrão "auto") — Quando "auto", a entrada para as cabeças de atenção é dividida ao meio, de modo que a atenção é calculada em duas etapas. Se "max", a quantidade máxima de memória é economizada executando apenas uma fatia por vez. Se um número for fornecido, usa tantas fatias quanto attention_head_dim // slice_size. Nesse caso, attention_head_dim deve ser um múltiplo de slice_size.

Ative o cálculo de atenção fatiado.

Quando essa opção está habilitada, o módulo de atenção divide o tensor de entrada em fatias para calcular a atenção em várias etapas. Isso é útil para economizar memória em troca de uma pequena diminuição na velocidade.

set_default_attn_processor

< >

( )

Desativa os processadores de atenção personalizados e define a implementação padrão de atenção.

unfuse_qkv_projections

< >

( )

Desativa a projeção QKV fundida, se estiver habilitada.

> Esta API é 🧪 experimental.

UNet3DConditionOutput

classe diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput

< >

( sample: Tensor )

Parâmetros

  • sample (torch.Tensor de forma (batch_size, num_channels, num_frames, height, width)) — A saída dos estados ocultos condicionada à entrada encoder_hidden_states. Saída da última camada do modelo.

A saída de UNet3DConditionModel.

Update on GitHub

←UNet2DModel UNetMotionModel→