Hugging Face's logo

Diffusers documentation

UNet2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

UNet2DModel

Model UNet awalnya diperkenalkan oleh Ronneberger dkk. untuk segmentasi citra biomedis, tetapi juga umum digunakan di 🤗 Diffusers karena menghasilkan citra dengan ukuran yang sama dengan input. Ini adalah salah satu komponen terpenting dalam sistem difusi karena memfasilitasi proses difusi itu sendiri. Terdapat beberapa varian model UNet di 🤗 Diffusers, tergantung pada jumlah dimensinya dan apakah model tersebut bersifat kondisional atau tidak. Ini adalah model UNet 2D.

Abstrak dari makalah tersebut adalah:

Ada konsensus besar bahwa pelatihan jaringan dalam yang sukses membutuhkan ribuan sampel pelatihan berlabel. Dalam makalah ini, kami menyajikan sebuah jaringan dan strategi pelatihan yang mengandalkan penggunaan kuat augmentasi data untuk menggunakan sampel berlabel yang tersedia secara lebih efisien. Arsitekturnya terdiri dari jalur kontraktif untuk menangkap konteks dan jalur ekspansi simetris yang memungkinkan lokalisasi yang presisi. Kami menunjukkan bahwa jaringan semacam ini dapat dilatih end-to-end dari sangat sedikit gambar dan melampaui metode terbaik sebelumnya (jaringan konvolusional sliding-window) pada tantangan ISBI untuk segmentasi struktur neuron dalam tumpukan mikroskop elektron. Menggunakan jaringan yang sama yang dilatih pada gambar mikroskopi cahaya transmisi (kontras fase dan DIC), kami memenangkan tantangan pelacakan sel ISBI 2015 dalam kategori-kategori tersebut dengan selisih yang besar. Selain itu, jaringan ini cepat. Segmentasi gambar 512x512 membutuhkan waktu kurang dari satu detik pada GPU terbaru. Implementasi lengkap (berbasis Caffe) dan jaringan yang telah dilatih tersedia di http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

UNet2DModel

kelas diffusers.UNet2DModel

< >

( sample_size: int | tuple[int, int] | None = Nonein_channels: int = 3out_channels: int = 3center_input_sample: bool = Falsetime_embedding_type: str = 'positional'time_embedding_dim: int | None = Nonefreq_shift: int = 0flip_sin_to_cos: bool = Truedown_block_types: tuple = ('DownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D')mid_block_type: str | None = 'UNetMidBlock2D'up_block_types: tuple = ('AttnUpBlock2D', 'AttnUpBlock2D', 'AttnUpBlock2D', 'UpBlock2D')block_out_channels: tuple = (224, 448, 672, 896)layers_per_block: int = 2mid_block_scale_factor: float = 1downsample_padding: int = 1downsample_type: str = 'conv'upsample_type: str = 'conv'dropout: float = 0.0act_fn: str = 'silu'attention_head_dim: int | None = 8norm_num_groups: int = 32attn_norm_num_groups: int | None = Nonenorm_eps: float = 1e-05resnet_time_scale_shift: str = 'default'add_attention: bool = Trueclass_embed_type: str | None = Nonenum_class_embeds: int | None = Nonenum_train_timesteps: int | None = None )

Parameter

  • sample_size (int atau tuple[int, int], opsional, default None) — Tinggi dan lebar sampel input/output. Dimensi harus kelipatan dari 2 ** (len(block_out_channels) - 1).
  • in_channels (int, opsional, default 3) — Jumlah channel pada sampel input.
  • out_channels (int, opsional, default 3) — Jumlah channel pada output.
  • center_input_sample (bool, opsional, default False) — Apakah sampel input akan dipusatkan.
  • time_embedding_type (str, opsional, defaultnya "positional") — Jenis time embedding yang akan digunakan.
  • freq_shift (int, opsional, default 0) — Pergeseran frekuensi untuk penanaman waktu Fourier.
  • flip_sin_to_cos (bool, opsional, default True) — Apakah akan membalik sin menjadi cos untuk Fourier time embedding.
  • down_block_types (tuple[str], opsional, defaultnya ("DownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D")) — tuple dari tipe blok downsample.
  • mid_block_type (str, opsional, default "UNetMidBlock2D") — Jenis blok untuk bagian tengah UNet, dapat berupa UNetMidBlock2D atau None.
  • up_block_types (tuple[str], opsional, defaultnya ("AttnUpBlock2D", "AttnUpBlock2D", "AttnUpBlock2D", "UpBlock2D")) — tuple dari tipe blok upsample.
  • block_out_channels (tuple[int], opsional, default (224, 448, 672, 896)) — tuple dari kanal output blok.
  • layers_per_block (int, opsional, defaultnya 2) — Jumlah lapisan per blok.
  • mid_block_scale_factor (float, opsional, defaultnya 1) — Faktor skala untuk blok tengah.
  • downsample_padding (int, opsional, defaultnya 1) — Padding untuk konvolusi downsample.
  • downsample_type (str, opsional, defaultnya conv) — Jenis downsample untuk lapisan downsampling. Pilih antara “conv” dan “resnet”
  • upsample_type (str, opsional, defaultnya conv) — Jenis upsample untuk lapisan upsampling. Pilih antara “conv” dan “resnet”
  • dropout (float, opsional, default 0.0) — Probabilitas dropout yang digunakan.
  • act_fn (str, opsional, defaultnya "silu") — Fungsi aktivasi yang akan digunakan.
  • attention_head_dim (int, opsional, defaultnya 8) — Dimensi kepala perhatian (attention head).
  • norm_num_groups (int, opsional, defaultnya 32) — Jumlah grup untuk normalisasi.
  • attn_norm_num_groups (int, opsional, defaultnya None) — Jika diatur ke bilangan bulat, lapisan group norm akan dibuat di lapisan Attention pada mid block dengan jumlah grup yang diberikan. Jika dibiarkan sebagai None, lapisan group norm hanya akan dibuat jika resnet_time_scale_shift diatur ke default, dan jika dibuat akan memiliki norm_num_groups grup.
  • norm_eps (float, opsional, default 1e-5) — Epsilon untuk normalisasi.
  • resnet_time_scale_shift (str, opsional, default "default") — Konfigurasi pergeseran skala waktu untuk blok ResNet (lihat ResnetBlock2D). Pilih dari default atau scale_shift.
  • class_embed_type (str, opsional, default None) — Jenis class embedding yang digunakan, yang pada akhirnya dijumlahkan dengan time embeddings. Pilih dari None, "timestep", atau "identity".
  • num_class_embeds (int, opsional, default None) — Dimensi input dari matriks embedding yang dapat dipelajari untuk diproyeksikan ke time_embed_dim saat melakukan kondisioning kelas dengan class_embed_type yang sama dengan None.

Model 2D UNet yang menerima sampel berisik dan timestep, lalu mengembalikan output berbentuk sampel.

Model ini mewarisi dari ModelMixin. Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

forward

< >

( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]class_labels: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → UNet2DOutput or tuple

Parameter

  • sample (torch.Tensor) — Tensor input berisik dengan bentuk berikut (batch, channel, height, width).
  • timestep (torch.Tensor atau float atau int) — Jumlah timestep untuk mendenoise input.
  • class_labels (torch.Tensor, opsional, default None) — Label kelas opsional untuk kondisioning. Embedding-nya akan dijumlahkan dengan embedding timestep.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan UNet2DOutput alih-alih tuple biasa.

Mengembalikan

UNet2DOutput atau tuple

Jika return_dict bernilai True, sebuah UNet2DOutput akan dikembalikan, selain itu sebuah tuple akan dikembalikan di mana elemen pertama adalah tensor sampel.

Metode forward dari UNet2DModel.

UNet2DOutput

kelas diffusers.models.unets.unet_2d.UNet2DOutput

< >

( sample: Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width)) — Output hidden states dari lapisan terakhir model.

Output dari UNet2DModel.

Update on GitHub

←UNet2DConditionModel UNet3DConditionModel→