Hugging Face's logo

Diffusers documentation

Kandinsky 5.0 Image

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kandinsky 5.0 Image

Kandinsky 5.0 — это семейство диффузионных моделей для генерации видео и изображений.

Kandinsky 5.0 Image Lite — это легкая модель генерации изображений (6 млрд параметров).

Модель вносит несколько ключевых инноваций:

  • Конвейер латентного диффузионного моделирования с Flow Matching для повышения стабильности обучения
  • Diffusion Transformer (DiT) в качестве основного генеративного каркаса с кросс-вниманием к текстовым эмбеддингам
  • Двойное кодирование текста с использованием Qwen2.5-VL и CLIP для комплексного понимания текста
  • Flux VAE для эффективного кодирования и декодирования изображений

Исходный код можно найти в репозитории kandinskylab/Kandinsky-5.

Ознакомьтесь с организацией Kandinsky Lab на Hub, где размещены официальные контрольные точки моделей для генерации видео по тексту, включая предобученные, SFT, no-CFG и дистиллированные варианты.

Доступные модели

Kandinsky 5.0 Image Lite:

model_idОписаниеСценарии использования
kandinskylab/Kandinsky-5.0-T2I-Lite-sft-Diffusers6B-изображение модель, обученная с помощью контролируемого дообученияНаивысшее качество генерации
kandinskylab/Kandinsky-5.0-I2I-Lite-sft-DiffusersМодель 6B для редактирования изображений, обученная с помощью Supervised Fine-TuningНаивысшее качество генерации
kandinskylab/Kandinsky-5.0-T2I-Lite-pretrain-Diffusers6B image Базовая предобученная модельИсследования и дообучение
kandinskylab/Kandinsky-5.0-I2I-Lite-pretrain-Diffusers6B базовая предобученная модель для редактирования изображенийИсследования и дообучение

Примеры использования

Базовая генерация изображений по тексту

import torch
from diffusers import Kandinsky5T2IPipeline

# Load the pipeline
model_id = "kandinskylab/Kandinsky-5.0-T2I-Lite-sft-Diffusers"
pipe = Kandinsky5T2IPipeline.from_pretrained(model_id)
_ = pipe.to(device='cuda',dtype=torch.bfloat16)  # or "mps", "xpu", "cpu"

# Generate image
prompt = "A fluffy, expressive cat wearing a bright red hat with a soft, slightly textured fabric. The hat should look cozy and well-fitted on the cat’s head. On the front of the hat, add clean, bold white text that reads “SWEET”, clearly visible and neatly centered. Ensure the overall lighting highlights the hat’s color and the cat’s fur details."

output = pipe(
    prompt=prompt,
    negative_prompt="",
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=3.5,
).image[0]

Базовая генерация изображений из изображений

import torch
from diffusers import Kandinsky5I2IPipeline
from diffusers.utils import load_image 
# Load the pipeline
model_id = "kandinskylab/Kandinsky-5.0-I2I-Lite-sft-Diffusers"
pipe = Kandinsky5I2IPipeline.from_pretrained(model_id)

_ = pipe.to(device='cuda',dtype=torch.bfloat16)  # or "mps", "xpu", "cpu"
pipe.enable_model_cpu_offload()                                               # <--- Enable CPU offloading for single GPU inference

# Edit the input image
image = load_image(
    "https://huggingface.co/kandinsky-community/kandinsky-3/resolve/main/assets/title.jpg?download=true"
)

prompt = "Change the background from a winter night scene to a bright summer day. Place the character on a sandy beach with clear blue sky, soft sunlight, and gentle waves in the distance. Replace the winter clothing with a light short-sleeved T-shirt (in soft pastel colors) and casual shorts. Ensure the character’s fur reflects warm daylight instead of cold winter tones. Add small beach details such as seashells, footprints in the sand, and a few scattered beach toys nearby. Keep the oranges in the scene, but place them naturally on the sand."
negative_prompt = ""

output = pipe(
    image=image,
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=3.5,
).image[0]

Kandinsky5T2IPipeline

класс diffusers.Kandinsky5T2IPipeline

< >

( transformer: Kandinsky5Transformer3DModelvae: AutoencoderKLtext_encoder: Qwen2_5_VLForConditionalGenerationtokenizer: Qwen2VLProcessortext_encoder_2: CLIPTextModeltokenizer_2: CLIPTokenizerscheduler: FlowMatchEulerDiscreteScheduler )

Параметры

  • transformer (Kandinsky5Transformer3DModel) — Условный Transformer для удаления шума из закодированных латентов изображения.
  • vae (AutoencoderKL) — модель вариационного автоэнкодера black-forest-labs/FLUX.1-dev (vae) для кодирования и декодирования видео в латентные представления и обратно.
  • text_encoder (Qwen2_5_VLForConditionalGeneration) — Замороженный текстовый энкодер Qwen2.5-VL.
  • tokenizer (AutoProcessor) — Токенизатор для Qwen2.5-VL.
  • text_encoder_2 (CLIPTextModel) — замороженный CLIP, а именно вариант clip-vit-large-patch14.
  • tokenizer_2 (CLIPTokenizer) — Токенизатор для CLIP.
  • scheduler (FlowMatchEulerDiscreteScheduler) — планировщик, используемый в связке с transformer для удаления шума из закодированных латентов изображения.

Пайплайн для генерации изображений по тексту с использованием Kandinsky 5.0.

Эта модель наследуется от DiffusionPipeline. Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса.

__call__

< >

( prompt: str | list[str] = Nonenegative_prompt: str | list[str] | None = Noneheight: int = 1024width: int = 1024num_inference_steps: int = 50guidance_scale: float = 3.5num_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds_qwen: typing.Optional[torch.Tensor] = Noneprompt_embeds_clip: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_qwen: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_clip: typing.Optional[torch.Tensor] = Noneprompt_cu_seqlens: typing.Optional[torch.Tensor] = Nonenegative_prompt_cu_seqlens: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truecallback_on_step_end: typing.Optional[typing.Callable[[int, int, NoneType], diffusers.callbacks.PipelineCallback | diffusers.callbacks.MultiPipelineCallbacks]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 512 ) → ~KandinskyImagePipelineOutput or tuple

Параметры

  • prompt (str или list[str], необязательный) — Промпт или промпты для управления генерацией изображения. Если не задан, передайте вместо него prompt_embeds.
  • negative_prompt (str или list[str], необязательный) — Промпт или промпты, которые следует избегать при генерации изображения. Если не определён, передайте вместо него negative_prompt_embeds. Игнорируется, если не используется guidance (guidance_scale < 1).
  • height (int, по умолчанию 1024) — Высота генерируемого изображения в пикселях.
  • width (int, по умолчанию 1024) — Ширина генерируемого изображения в пикселях.
  • num_inference_steps (int, по умолчанию 50) — Количество шагов денойзинга.
  • guidance_scale (float, по умолчанию 5.0) — Масштаб руководства, как определено в classifier-free guidance.
  • num_images_per_prompt (int, необязательный, по умолчанию 1) — Количество изображений, генерируемых для каждого промпта.
  • generator (torch.Generator или list[torch.Generator], необязательный) — Генератор torch для обеспечения детерминированности генерации.
  • latents (torch.Tensor, необязательный) — Предварительно сгенерированные зашумленные латенты.
  • prompt_embeds_qwen (torch.Tensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги Qwen.
  • prompt_embeds_clip (torch.Tensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги CLIP.
  • negative_prompt_embeds_qwen (torch.Tensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги Qwen.
  • negative_prompt_embeds_clip (torch.Tensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги CLIP.
  • prompt_cu_seqlens (torch.Tensor, необязательный) — Предварительно сгенерированные накопленные длины последовательностей для положительного промпта Qwen.
  • negative_prompt_cu_seqlens (torch.Tensor, необязательный) — Предварительно вычисленные накопленные длины последовательностей для отрицательного промпта Qwen.
  • output_type (str, необязательный, по умолчанию "pil") — Формат вывода сгенерированного изображения.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать объект KandinskyImagePipelineOutput.
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, необязательный) — Функция, вызываемая в конце каждого шага денойзинга.
  • callback_on_step_end_tensor_inputs (List, необязательный) — Список тензорных входных данных для функции callback_on_step_end.
  • max_sequence_length (int, по умолчанию 512) — Максимальная длина последовательности для кодирования текста.

Возвращает

~KandinskyImagePipelineOutput или tuple

Если return_dict равно True, возвращается KandinskyImagePipelineOutput, иначе возвращается tuple, где первый элемент — это список с сгенерированными изображениями.

Функция вызова pipeline для генерации изображений по тексту.

Примеры:

>>> import torch
>>> from diffusers import Kandinsky5T2IPipeline

>>> # Available models:
>>> # kandinskylab/Kandinsky-5.0-T2I-Lite-sft-Diffusers
>>> # kandinskylab/Kandinsky-5.0-T2I-Lite-pretrain-Diffusers

>>> model_id = "kandinskylab/Kandinsky-5.0-T2I-Lite-sft-Diffusers"
>>> pipe = Kandinsky5T2IPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
>>> pipe = pipe.to("cuda")

>>> prompt = "A cat and a dog baking a cake together in a kitchen."

>>> output = pipe(
...     prompt=prompt,
...     negative_prompt="",
...     height=1024,
...     width=1024,
...     num_inference_steps=50,
...     guidance_scale=3.5,
... ).frames[0]

check_inputs

< >

( promptnegative_promptheightwidthprompt_embeds_qwen = Noneprompt_embeds_clip = Nonenegative_prompt_embeds_qwen = Nonenegative_prompt_embeds_clip = Noneprompt_cu_seqlens = Nonenegative_prompt_cu_seqlens = Nonecallback_on_step_end_tensor_inputs = Nonemax_sequence_length = None )

Параметры

  • prompt — Входящий промпт
  • negative_prompt — Отрицательный промпт для управления
  • height — Высота изображения
  • width — ширина изображения
  • prompt_embeds_qwen — Предварительно вычисленные эмбеддинги промпта Qwen
  • prompt_embeds_clip — Предварительно вычисленные эмбеддинги промптов CLIP
  • negative_prompt_embeds_qwen — Предварительно вычисленные эмбеддинги отрицательного промпта Qwen
  • negative_prompt_embeds_clip — Предварительно вычисленные эмбеддинги отрицательного промпта CLIP
  • prompt_cu_seqlens — Предварительно вычисленные накопительные длины последовательностей для положительного промпта Qwen
  • negative_prompt_cu_seqlens — Предварительно вычисленные накопительные длины последовательностей для отрицательного промпта Qwen
  • callback_on_step_end_tensor_inputs — тензорные входные данные для колбэка

Исключения

ValueError

  • ValueError — если входные данные недействительны

Проверка входных параметров конвейера.

encode_prompt

< >

( prompt: str | list[str]num_images_per_prompt: int = 1max_sequence_length: int = 512device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None ) → tuple[torch.Tensor, torch.Tensor, torch.Tensor]

Параметры

  • prompt (str или list[str]) — Промпт для кодирования.
  • num_images_per_prompt (int, необязательный, по умолчанию 1) — Количество изображений, генерируемых для каждого промпта.
  • max_sequence_length (int, необязательный, по умолчанию 512) — Максимальная длина последовательности для кодирования текста. Должна быть меньше 1024
  • device (torch.device, необязательный) — Устройство Torch.
  • dtype (torch.dtype, необязательный) — dtype Torch.

Возвращает

tuple[torch.Tensor, torch.Tensor, torch.Tensor]

  • Qwen текстовые эмбеддинги формы (batch_size * num_images_per_prompt, sequence_length, embedding_dim)
  • Собранные эмбеддинги CLIP формы (batch_size * num_images_per_prompt, clip_embedding_dim)
  • Кумулятивные длины последовательностей (cu_seqlens) для эмбеддингов Qwen формы (batch_size * num_images_per_prompt + 1,)

Кодирует один промпт (положительный или отрицательный) в скрытые состояния текстового энкодера.

Этот метод объединяет эмбеддинги из текстовых энкодеров Qwen2.5-VL и CLIP, чтобы создать комплексные текстовые представления для генерации изображений.

prepare_latents

< >

( batch_size: intnum_channels_latents: int = 16height: int = 1024width: int = 1024dtype: typing.Optional[torch.dtype] = Nonedevice: typing.Optional[torch.device] = Nonegenerator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = None ) → torch.Tensor

Параметры

  • batch_size (int) — Количество изображений для генерации
  • num_channels_latents (int) — Количество каналов в латентном пространстве
  • height (int) — Высота сгенерированного изображения
  • width (int) — Ширина сгенерированного изображения
  • dtype (torch.dtype) — Тип данных для латентов
  • device (torch.device) — Устройство, на котором создаются латенты
  • generator (torch.Generator) — генератор случайных чисел
  • latents (torch.Tensor) — Существующие латенты для использования

Возвращает

torch.Tensor

Подготовленный тензор латентов

Подготовьте начальные латентные переменные для генерации изображений по тексту.

Этот метод создаёт случайные шумовые латенты

Kandinsky5I2IPipeline

класс diffusers.Kandinsky5I2IPipeline

< >

( transformer: Kandinsky5Transformer3DModelvae: AutoencoderKLtext_encoder: Qwen2_5_VLForConditionalGenerationtokenizer: Qwen2VLProcessortext_encoder_2: CLIPTextModeltokenizer_2: CLIPTokenizerscheduler: FlowMatchEulerDiscreteScheduler )

Параметры

  • transformer (Kandinsky5Transformer3DModel) — Условный Transformer для удаления шума из закодированных латентов изображения.
  • vae (AutoencoderKL) — модель вариационного автоэнкодера black-forest-labs/FLUX.1-dev (vae) для кодирования и декодирования видео в латентные представления и обратно.
  • text_encoder (Qwen2_5_VLForConditionalGeneration) — Замороженный текстовый энкодер Qwen2.5-VL.
  • tokenizer (AutoProcessor) — Токенизатор для Qwen2.5-VL.
  • text_encoder_2 (CLIPTextModel) — замороженный CLIP, а именно вариант clip-vit-large-patch14.
  • tokenizer_2 (CLIPTokenizer) — Токенизатор для CLIP.
  • scheduler (FlowMatchEulerDiscreteScheduler) — планировщик, используемый в связке с transformer для удаления шума из закодированных латентов изображения.

Пайплайн для генерации изображений по изображению с использованием Kandinsky 5.0.

Эта модель наследуется от DiffusionPipeline. Общую документацию по методам, реализованным для всех пайплайнов (загрузка, сохранение, запуск на конкретном устройстве и т. д.), см. в документации родительского класса.

__call__

< >

( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]prompt: str | list[str] = Nonenegative_prompt: str | list[str] | None = Noneheight: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 50guidance_scale: float = 3.5num_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds_qwen: typing.Optional[torch.Tensor] = Noneprompt_embeds_clip: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_qwen: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_clip: typing.Optional[torch.Tensor] = Noneprompt_cu_seqlens: typing.Optional[torch.Tensor] = Nonenegative_prompt_cu_seqlens: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truecallback_on_step_end: typing.Optional[typing.Callable[[int, int, NoneType], diffusers.callbacks.PipelineCallback | diffusers.callbacks.MultiPipelineCallbacks]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 1024 ) → ~KandinskyImagePipelineOutput or tuple

Параметры

  • image (PipelineImageInput) — Входное изображение, на основе которого выполняется генерация. Должно быть изображением, списком изображений или torch.Tensor.
  • prompt (str или list[str], необязательный) — Промпт или промпты для управления генерацией изображения. Если не задан, передайте вместо него prompt_embeds.
  • negative_prompt (str или list[str], необязательный) — Промпт или промпты, которые следует избегать при генерации изображения. Если не определён, передайте вместо него negative_prompt_embeds. Игнорируется, если не используется guidance (guidance_scale < 1).
  • height (int) — Высота генерируемого изображения в пикселях.
  • width (int) — Ширина генерируемого изображения в пикселях.
  • num_inference_steps (int, по умолчанию 50) — Количество шагов денойзинга.
  • guidance_scale (float, по умолчанию 5.0) — Масштаб руководства, как определено в classifier-free guidance.
  • num_images_per_prompt (int, необязательный, по умолчанию 1) — Количество изображений, генерируемых для каждого промпта.
  • generator (torch.Generator или list[torch.Generator], необязательный) — Генератор torch для обеспечения детерминированности генерации.
  • latents (torch.Tensor, необязательный) — Предварительно сгенерированные зашумленные латенты.
  • prompt_embeds_qwen (torch.Tensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги Qwen.
  • prompt_embeds_clip (torch.Tensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги CLIP.
  • negative_prompt_embeds_qwen (torch.Tensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги Qwen.
  • negative_prompt_embeds_clip (torch.Tensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги CLIP.
  • prompt_cu_seqlens (torch.Tensor, необязательный) — Предварительно сгенерированные накопленные длины последовательностей для положительного промпта Qwen.
  • negative_prompt_cu_seqlens (torch.Tensor, необязательный) — Предварительно вычисленные накопленные длины последовательностей для отрицательного промпта Qwen.
  • output_type (str, необязательный, по умолчанию "pil") — Формат вывода сгенерированного изображения.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать объект KandinskyImagePipelineOutput.
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, необязательный) — Функция, вызываемая в конце каждого шага денойзинга.
  • callback_on_step_end_tensor_inputs (List, необязательный) — Список тензорных входных данных для функции callback_on_step_end.
  • max_sequence_length (int, по умолчанию 1024) — Максимальная длина последовательности для кодирования текста и изображений qwen. Должна быть меньше 1024

Возвращает

~KandinskyImagePipelineOutput или tuple

Если return_dict равно True, возвращается KandinskyImagePipelineOutput, иначе возвращается tuple, где первый элемент — это список с сгенерированными изображениями.

Функция вызова pipeline для генерации изображений по изображению.

Примеры:

>>> import torch
>>> from diffusers import Kandinsky5I2IPipeline

>>> # Available models:
>>> # kandinskylab/Kandinsky-5.0-I2I-Lite-sft-Diffusers
>>> # kandinskylab/Kandinsky-5.0-I2I-Lite-pretrain-Diffusers

>>> model_id = "kandinskylab/Kandinsky-5.0-I2I-Lite-sft-Diffusers"
>>> pipe = Kandinsky5I2IPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
>>> pipe = pipe.to("cuda")

>>> prompt = "A cat and a dog baking a cake together in a kitchen."

>>> output = pipe(
...     prompt=prompt,
...     negative_prompt="",
...     height=1024,
...     width=1024,
...     num_inference_steps=50,
...     guidance_scale=3.5,
... ).frames[0]

check_inputs

< >

( promptnegative_promptimageheightwidthprompt_embeds_qwen = Noneprompt_embeds_clip = Nonenegative_prompt_embeds_qwen = Nonenegative_prompt_embeds_clip = Noneprompt_cu_seqlens = Nonenegative_prompt_cu_seqlens = Nonecallback_on_step_end_tensor_inputs = Nonemax_sequence_length = None )

Параметры

  • prompt — Входящий промпт
  • negative_prompt — Отрицательный промпт для управления
  • image — Входное изображение для обусловливания
  • height — Высота изображения
  • width — ширина изображения
  • prompt_embeds_qwen — Предварительно вычисленные эмбеддинги промпта Qwen
  • prompt_embeds_clip — Предварительно вычисленные эмбеддинги промптов CLIP
  • negative_prompt_embeds_qwen — Предварительно вычисленные эмбеддинги отрицательного промпта Qwen
  • negative_prompt_embeds_clip — Предварительно вычисленные эмбеддинги отрицательного промпта CLIP
  • prompt_cu_seqlens — Предварительно вычисленные накопительные длины последовательностей для положительного промпта Qwen
  • negative_prompt_cu_seqlens — Предварительно вычисленные накопительные длины последовательностей для отрицательного промпта Qwen
  • callback_on_step_end_tensor_inputs — тензорные входные данные для колбэка

Исключения

ValueError

  • ValueError — если входные данные недействительны

Проверка входных параметров конвейера.

encode_prompt

< >

( prompt: str | list[str]image: Tensornum_images_per_prompt: int = 1max_sequence_length: int = 1024device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = None ) → tuple[torch.Tensor, torch.Tensor, torch.Tensor]

Параметры

  • prompt (str или list[str]) — Промпт для кодирования.
  • num_images_per_prompt (int, необязательный, по умолчанию 1) — Количество изображений, генерируемых для каждого промпта.
  • max_sequence_length (int, необязательный, по умолчанию 1024) — Максимальная длина последовательности для кодирования текста. Должна быть меньше 1024
  • device (torch.device, необязательный) — Устройство Torch.
  • dtype (torch.dtype, необязательный) — dtype Torch.

Возвращает

tuple[torch.Tensor, torch.Tensor, torch.Tensor]

  • Qwen текстовые эмбеддинги формы (batch_size * num_images_per_prompt, sequence_length, embedding_dim)
  • Собранные эмбеддинги CLIP формы (batch_size * num_images_per_prompt, clip_embedding_dim)
  • Кумулятивные длины последовательностей (cu_seqlens) для эмбеддингов Qwen формы (batch_size * num_images_per_prompt + 1,)

Кодирует один промпт (положительный или отрицательный) в скрытые состояния текстового энкодера.

Этот метод объединяет эмбеддинги из текстовых энкодеров Qwen2.5-VL и CLIP, чтобы создать комплексные текстовые представления для генерации изображений.

prepare_latents

< >

( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]batch_size: intnum_channels_latents: int = 16height: int = 1024width: int = 1024dtype: typing.Optional[torch.dtype] = Nonedevice: typing.Optional[torch.device] = Nonegenerator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = None ) → torch.Tensor

Параметры

  • image (PipelineImageInput) — Входное изображение для обусловливания генерации
  • batch_size (int) — Количество изображений для генерации
  • num_channels_latents (int) — Количество каналов в латентном пространстве
  • height (int) — Высота сгенерированного изображения
  • width (int) — Ширина сгенерированного изображения
  • dtype (torch.dtype) — Тип данных для латентов
  • device (torch.device) — Устройство, на котором создаются латенты
  • generator (torch.Generator) — генератор случайных чисел
  • latents (torch.Tensor) — Существующие латенты для использования

Возвращает

torch.Tensor

Подготовленный тензор латентов с закодированным изображением

Подготовьте начальные латентные переменные для генерации изображений по изображению.

Этот метод создаёт случайные шумовые латенты с закодированным изображением,

Цитирование

@misc{kandinsky2025,
    author = {Alexander Belykh and Alexander Varlamov and Alexey Letunovskiy and Anastasia Aliaskina and Anastasia Maltseva and Anastasiia Kargapoltseva and Andrey Shutkin and Anna Averchenkova and Anna Dmitrienko and Bulat Akhmatov and Denis Dimitrov and Denis Koposov and Denis Parkhomenko and Dmitrii and Ilya Vasiliev and Ivan Kirillov and Julia Agafonova and Kirill Chernyshev and Kormilitsyn Semen and Lev Novitskiy and Maria Kovaleva and Mikhail Mamaev and Mikhailov and Nikita Kiselev and Nikita Osterov and Nikolai Gerasimenko and Nikolai Vaulin and Olga Kim and Olga Vdovchenko and Polina Gavrilova and Polina Mikhailova and Tatiana Nikulina and Viacheslav Vasilev and Vladimir Arkhipkin and Vladimir Korviakov and Vladimir Polovnikov and Yury Kolabushin},
    title = {Kandinsky 5.0: A family of diffusion models for Video & Image generation},
    howpublished = {\url{https://github.com/kandinskylab/Kandinsky-5}},
    year = 2025
}
Update on GitHub

←Kandinsky 3 Kolors→