# JoyAI-Image-Edit

[JoyAI-Image](https://github.com/jd-opensource/JoyAI-Image) — это единая мультимодальная базовая модель для понимания изображений, генерации изображений по тексту и редактирования изображений по инструкциям. Она объединяет мультимодальную большую языковую модель (MLLM) на 8 млрд параметров и мультимодальный диффузионный трансформер (MMDiT) на 16 млрд параметров. Ключевой принцип JoyAI-Image — замкнутый цикл взаимодействия между пониманием, генерацией и редактированием.

JoyAI-Image-Edit поддерживает общее редактирование изображений, а также возможности пространственного редактирования, включая перемещение объектов, поворот объектов и управление камерой.

| Модель | Описание | Загрузить |
|:-----:|:-----------:|:--------:|
| JoyAI-Image-Edit | Редактирование изображений по инструкциям с точным и управляемым пространственным манипулированием | [Hugging Face](https://huggingface.co/jdopensource/JoyAI-Image-Edit-Diffusers) |

```python
import torch
from diffusers import JoyImageEditPipeline
from diffusers.utils import load_image

pipeline = JoyImageEditPipeline.from_pretrained(
    "jdopensource/JoyAI-Image-Edit-Diffusers", dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/astronaut.jpg")
prompt = "Add wings to the astronaut."

output = pipeline(
    image=image,
    prompt=prompt,
    num_inference_steps=40,
    guidance_scale=4.0,
    generator=torch.Generator("cuda").manual_seed(0),
).images[0]
output.save("joyimage_edit_output.png")
```

## Пространственное редактирование

JoyAI-Image поддерживает три шаблона промптов для пространственного редактирования: **Object Move**, **Object Rotation** и **Camera Control**. Для достижения наилучших результатов максимально точно следуйте приведённым ниже шаблонам промптов. Подробнее см. в [SpatialEdit](https://github.com/EasonXiao-888/SpatialEdit).

### Перемещение объекта

Переместите целевой объект в указанную область, отмеченную красным прямоугольником на входном изображении.

```text
Move the <object> into the red box and finally remove the red box.
```

### Поворот объекта

Повернуть объект в заданное каноническое положение. Поддерживаемые значения `<view>`: `front`, `right`, `left`, `rear`, `front right`, `front left`, `rear right`, `rear left`.

```text
Rotate the <object> to show the <view> side view.
```

### Управление камерой

Измените точку обзора камеры, сохранив 3D-сцену без изменений.

```text
Move the camera.
- Camera rotation: Yaw {y_rotation}°, Pitch {p_rotation}°.
- Camera zoom: in/out/unchanged.
- Keep the 3D scene static; only change the viewpoint.
```

## JoyImageEditPipeline[[diffusers.JoyImageEditPipeline]]

#### diffusers.JoyImageEditPipeline[[diffusers.JoyImageEditPipeline]]

```python
diffusers.JoyImageEditPipeline(scheduler: FlowMatchEulerDiscreteScheduler, vae: AutoencoderKLWan, text_encoder: Qwen3VLForConditionalGeneration, tokenizer: Qwen2Tokenizer, transformer: JoyImageEditTransformer3DModel, processor: Qwen3VLProcessor, text_token_max_length: int = 2048)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L100)

Diffusion pipeline для редактирования изображений с использованием архитектуры JoyImage.

Пайплайн кодирует текстовые и визуальные условия с помощью текстового энкодера Qwen3-VL, выполняет денойзинг латентов с помощью 3D-трансформера и декодирует результат с помощью WAN VAE.

Порядк offloading моделей: text_encoder -> transformer -> vae.

#### __call__[[diffusers.JoyImageEditPipeline.__call__]]

```python
__call__(image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, prompt: str | list[str] = None, height: int | None = None, width: int | None = None, num_inference_steps: int = 40, timesteps: typing.List[int] = None, sigmas: typing.List[float] = None, guidance_scale: float = 4.0, negative_prompt: typing.Union[str, typing.List[str], NoneType] = None, num_images_per_prompt: typing.Optional[int] = 1, generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds_mask: typing.Optional[torch.Tensor] = None, output_type: typing.Optional[str] = 'pil', return_dict: bool = True, callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'], max_sequence_length: int = 4096, enable_denormalization: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L600)

**Параметры:**

prompt (*str* или *List[str]*) : Промпт или промпты для управления генерацией.

height (*int*) : Высота сгенерированного вывода в пикселях.

width (*int*) : Ширина сгенерированного вывода в пикселях.

image (*PipelineImageInput*, *необязательный*) : Ссылочное изображение, используемое для обусловливания. При его указании конвейер работает в режиме редактирования изображений с `num_items=2`.

num_inference_steps (*int*, *optional*, по умолчанию 40) : Количество шагов денойзинга. Увеличение числа шагов, как правило, повышает качество, но замедляет инференс.

timesteps (*List[int]*, *optional*) : Пользовательские шаги для процесса денойзинга. Если указаны, `num_inference_steps` вычисляется на основе длины списка.

sigmas (*List[float]*, *optional*) : Пользовательские сигмы для процесса денойзинга. Взаимоисключаются с `timesteps`.

guidance_scale (*float*, *optional*, по умолчанию 4.0) : Масштаб classifier-free guidance.

negative_prompt (*str* или *List[str]*, *необязательный*) : Отрицательный промпт(ы), используемый(е) для подавления нежелательного контента.

num_images_per_prompt (*int*, *optional*, по умолчанию 1) : Количество генерируемых образцов на один запрос.

generator (*torch.Generator* или *List[torch.Generator]*, *необязательный*) : генератор(ы) случайных чисел для детерминированной выборки.

latents (*torch.Tensor*, *optional*) : Предварительно сгенерированные шумные латенты для целевого слота. Если не указаны, выборка выполняется из гауссова распределения. Можно использовать для инициализации генерации с конкретного начального тензора шума.

prompt_embeds (*torch.Tensor*, *optional*) : Предварительно вычисленные эмбеддинги промпта. Если они предоставлены, `prompt` можно опустить.

prompt_embeds_mask (*torch.Tensor*, *необязательный*) : Маска внимания для `prompt_embeds`.

negative_prompt_embeds (*torch.Tensor*, *optional*) : Предварительно вычисленные эмбеддинги отрицательного промпта.

negative_prompt_embeds_mask (*torch.Tensor*, *необязательный*) : Маска внимания для `negative_prompt_embeds`.

output_type (*str*, *optional*, по умолчанию `"pil"`) : Формат вывода. Передайте `"latent"`, чтобы вернуть необработанные латенты.

return_dict (*bool*, *optional*, по умолчанию *True*) : Возвращать ли [JoyImageEditPipelineOutput](/docs/diffusers/main/ru/api/pipelines/joyimage_edit#diffusers.JoyImageEditPipelineOutput) или обычный тензор.

callback_on_step_end (*Callable*, *PipelineCallback*, *MultiPipelineCallbacks*, *optional*) : Callback, вызываемый в конце каждого шага денойзинга, с сигнатурой `(self, step: int, timestep: int, callback_kwargs: Dict)`.

callback_on_step_end_tensor_inputs (*List[str]*, *необязательный*, по умолчанию `["latents"]`) : Ключи тензоров, включённые в `callback_kwargs` для `callback_on_step_end`.

max_sequence_length (*int*, *optional*, по умолчанию 4096) : Максимальная длина последовательности для кодирования промпта.

enable_denormalization (*bool*, *optional*, по умолчанию *True*) : Разнормализовать латенты перед декодированием VAE.

**Возвращает:** [*~pipelines.joyimage.JoyImageEditPipelineOutput*] или *torch.Tensor*

Если `return_dict` равно `True`, возвращает объект вывода конвейера, содержащий сгенерированное изображение или изображения. В противном случае возвращает тензор изображения напрямую.

Сгенерируйте отредактированное изображение на основе опорного изображения и текстового запроса.

Примеры:
```python
>>> import torch
>>> from diffusers import JoyImageEditPipeline
>>> from diffusers.utils import load_image

>>> model_id = "jdopensource/JoyAI-Image-Edit-Diffusers"
>>> pipe = JoyImageEditPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> image = load_image("https://huggingface.co/datasets/diffusers/docs-images/resolve/main/astronaut.jpg")
>>> output = pipe(
...     image=image,  # pass an image for editing; omit for text-to-image generation
...     prompt="Add wings to the astronaut.",
...     num_inference_steps=40,
...     guidance_scale=4.0,
...     generator=torch.manual_seed(0),
... )
>>> output.images[0].save("joyimage_edit.png")
```

#### check_inputs[[diffusers.JoyImageEditPipeline.check_inputs]]

```python
check_inputs(prompt, height, width, negative_prompt = None, prompt_embeds = None, negative_prompt_embeds = None, prompt_embeds_mask = None, negative_prompt_embeds_mask = None, callback_on_step_end_tensor_inputs = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L409)

**Исключения:** ``ValueError``

- ``ValueError`` -- при любой некорректной комбинации аргументов.

Проверяйте входные данные конвейера перед прямым проходом.

#### denormalize_latents[[diffusers.JoyImageEditPipeline.denormalize_latents]]

```python
denormalize_latents(latent: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L476)

**Параметры:**

latent : Нормализованный латентный тензор.

**Возвращает:**

Латентный тензор в масштабе, ожидаемом `vae.decode`.

Инвертируйте `normalize_latents`, чтобы восстановить исходный масштаб латентов.

#### encode_prompt[[diffusers.JoyImageEditPipeline.encode_prompt]]

```python
encode_prompt(prompt: typing.Union[str, typing.List[str]], device: typing.Optional[torch.device] = None, num_images_per_prompt: int = 1, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, max_sequence_length: int = 1024, template_type: str = 'image')
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L364)

**Параметры:**

prompt : строка-запрос или список строк-запросов.

device : Целевое устройство.

num_images_per_prompt : Количество генерируемых выходов на один запрос.

prompt_embeds : Предварительно вычисленные эмбеддинги промпта.

prompt_embeds_mask : Маска внимания для предварительно вычисленных эмбеддингов.

max_sequence_length : Максимальная длина выходной последовательности.

template_type : Ключ шаблона запроса (`"image"` или `"multiple_images"`).

**Возвращает:**

Кортеж (prompt_embeds, prompt_embeds_mask).

Кодируйте текстовый промпт в эмбеддинги (только текстовый путь).

Предварительно вычисленные `prompt_embeds` полностью обходят кодирование.

#### encode_prompt_multiple_images[[diffusers.JoyImageEditPipeline.encode_prompt_multiple_images]]

```python
encode_prompt_multiple_images(prompt: typing.Union[str, typing.List[str]], device: typing.Optional[torch.device] = None, num_images_per_prompt: int = 1, images: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, prompt_embeds_mask: typing.Optional[torch.Tensor] = None, template_type: typing.Optional[str] = 'multiple_images', max_sequence_length: typing.Optional[int] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L286)

**Параметры:**

prompt : Строка(и) запроса, при необходимости содержащие токены `&amp;lt;image>\n`.

device : Целевое устройство.

num_images_per_prompt : Количество генерируемых выходов на один запрос.

images : Пиксельные тензоры, соответствующие встроенным токенам изображений.

prompt_embeds : Предварительно вычисленные эмбеддинги промпта.

prompt_embeds_mask : Маска внимания для предварительно вычисленных эмбеддингов.

template_type : Должно быть `"multiple_images"`.

max_sequence_length : Если задано, обрезает вывод до этой длины (сохраняя последние `max_sequence_length` токенов).

**Возвращает:**

Кортеж (prompt_embeds, prompt_embeds_mask).

Кодируйте промпты, содержащие встроенные токены изображений, с помощью процессора Qwen.

`&amp;lt;image>\n` в каждой строке запроса заменяются специальными токенами зрения Qwen перед передачей в мультимодальный кодировщик.

#### normalize_latents[[diffusers.JoyImageEditPipeline.normalize_latents]]

```python
normalize_latents(latent: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L447)

**Параметры:**

latent : Исходное латентное тензорное значение из `vae.encode`.

**Возвращает:**

Нормализованный латентный тензор.

Нормализуйте латенты с использованием статистики по каналам из конфигурации VAE.

Uses (latent - mean) / std, если VAE предоставляет `latents_mean` и `latents_std`; в противном случае используется масштабирование с помощью `scaling_factor`.

#### prepare_latents[[diffusers.JoyImageEditPipeline.prepare_latents]]

```python
prepare_latents(batch_size: int, num_channels_latents: int, height: int, width: int, video_length: int, dtype: dtype, device: device, generator: typing.Union[torch.Generator, typing.List[torch.Generator], NoneType], latents: typing.Optional[torch.Tensor] = None, image: typing.Optional[typing.List[PIL.Image.Image]] = None, enable_denormalization: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_joyimage_edit.py#L502)

**Параметры:**

batch_size : Количество образцов в батче.

num_channels_latents : размерность латентного канала из конфигурации трансформера.

height : Пространственная высота в пикселях.

width : Пространственная ширина в пикселях.

video_length : Количество кадров (1 для вывода на изображении).

dtype : Формат с плавающей точкой для тензора латентов.

device : Целевое устройство.

generator : генератор(ы) случайных чисел для воспроизводимой выборки.

latents : Необязательный начальный шум, предоставляемый пользователем, для целевого слота. Если `None`, случайный шум генерируется.

image : Необязательный список эталонных изображений PIL для кодирования VAE в качестве слотов условий.

enable_denormalization : Нужно ли нормализовать закодированные референсные латенты.

**Возвращает:**

Кортеж `(latents, image_latents)`, где `latents` имеет форму `(B, 1, C, T, H', W')`, а `image_latents` — форму `(B, N_ref, C, T, H', W')` или `None`, если не заданы опорные изображения.

**Исключения:** `ValueError`

- `ValueError` -- если `generator` является списком, длина которого отличается от `batch_size`.

Подготовьте начальный шумовой тензор латентов для цикла денуазинга.

## JoyImageEditPipelineOutput[[diffusers.JoyImageEditPipelineOutput]]

#### diffusers.JoyImageEditPipelineOutput[[diffusers.JoyImageEditPipelineOutput]]

```python
diffusers.JoyImageEditPipelineOutput(images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray])
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/joyimage/pipeline_output.py#L11)

Класс вывода для конвейеров генерации JoyImageEdit.