Hugging Face's logo

Diffusers documentation

CogVideoXTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogVideoXTransformer3DModel

A Diffusion Transformer model for 3D data from CogVideoX was introduced in CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer by Tsinghua University & ZhipuAI.

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

from diffusers import CogVideoXTransformer3DModel

transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-2b", subfolder="transformer", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

CogVideoXTransformer3DModel

클래스 diffusers.CogVideoXTransformer3DModel

< >

( num_attention_heads: int = 30attention_head_dim: int = 64in_channels: int = 16out_channels: int | None = 16flip_sin_to_cos: bool = Truefreq_shift: int = 0time_embed_dim: int = 512ofs_embed_dim: int | None = Nonetext_embed_dim: int = 4096num_layers: int = 30dropout: float = 0.0attention_bias: bool = Truesample_width: int = 90sample_height: int = 60sample_frames: int = 49patch_size: int = 2patch_size_t: int | None = Nonetemporal_compression_ratio: int = 4max_text_seq_length: int = 226activation_fn: str = 'gelu-approximate'timestep_activation_fn: str = 'silu'norm_elementwise_affine: bool = Truenorm_eps: float = 1e-05spatial_interpolation_scale: float = 1.875temporal_interpolation_scale: float = 1.0use_rotary_positional_embeddings: bool = Falseuse_learned_positional_embeddings: bool = Falsepatch_bias: bool = True )

매개변수

  • num_attention_heads (int, 기본값 30) — 멀티헤드 어텐션에 사용할 헤드의 수입니다.
  • attention_head_dim (int, 기본값 64) — 각 헤드당 채널 수입니다.
  • in_channels (int, 기본값 16) — 입력의 채널 수입니다.
  • out_channels (int, 선택 사항, 기본값 16) — 출력의 채널 수입니다.
  • flip_sin_to_cos (bool, 기본값 True) — 시간 임베딩에서 sin을 cos로 전환할지 여부.
  • time_embed_dim (int, 기본값 512) — timestep 임베딩의 출력 차원입니다.
  • ofs_embed_dim (int, 기본값 512) — CogVideoX-5b-I2B 1.5 버전에서 사용되는 “ofs” 임베딩의 출력 차원
  • text_embed_dim (int, 기본값 4096) — 텍스트 인코더에서 생성된 텍스트 임베딩의 입력 차원입니다.
  • num_layers (int, 기본값 30) — 사용할 Transformer 블록의 레이어 수입니다.
  • dropout (float, 기본값 0.0) — 사용할 dropout 확률입니다.
  • attention_bias (bool, 기본값 True) — Attention projection layer에 bias를 사용할지 여부입니다.
  • sample_width (int, 기본값 90) — 입력 latents의 너비입니다.
  • sample_height (int, 기본값 60) — 입력 latents의 높이입니다.
  • sample_frames (int, 기본값 49) — 입력 latents의 프레임 수입니다. CogVideoX의 기본 및 권장 설정에서 13개의 latent 프레임을 한 번에 처리했기 때문에 이 파라미터는 13이 아닌 49로 잘못 초기화되었습니다. 하지만 후방 호환성을 보장하기 위해 올바른 값으로 변경할 수 없습니다. K개의 latent 프레임을 가진 transformer를 생성하려면 여기에 전달해야 할 올바른 값은 ((K - 1) * temporal_compression_ratio + 1)입니다.
  • patch_size (int, 기본값 2) — 패치 임베딩 레이어에서 사용할 패치의 크기입니다.
  • temporal_compression_ratio (int, 기본값 4) — 시간 차원에서의 압축 비율입니다. sample_frames의 문서를 참조하세요.
  • max_text_seq_length (int, 기본값 226) — 입력 텍스트 임베딩의 최대 시퀀스 길이입니다.
  • activation_fn (str, 기본값 "gelu-approximate") — 피드포워드에서 사용할 활성화 함수입니다.
  • timestep_activation_fn (str, 기본값 "silu") — timestep 임베딩을 생성할 때 사용할 활성화 함수입니다.
  • norm_elementwise_affine (bool, 기본값 True) — 정규화 레이어에서 elementwise affine을 사용할지 여부입니다.
  • norm_eps (float, 기본값 1e-5) — 정규화 레이어에서 사용할 epsilon 값입니다.
  • spatial_interpolation_scale (float, 기본값 1.875) — 공간 차원에 걸쳐 3D 위치 임베딩에 적용할 스케일링 계수입니다.
  • temporal_interpolation_scale (float, 기본값 1.0) — 시간 차원에 걸쳐 3D 위치 임베딩에 적용할 스케일링 계수입니다.

CogVideoX의 비디오 유사 데이터용 Transformer 모델입니다.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: typing.Union[int, float, torch.LongTensor]timestep_cond: typing.Optional[torch.Tensor] = Noneofs: typing.Union[int, float, torch.LongTensor, NoneType] = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | None = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

매개변수

  • hidden_states (torch.Tensor, shape (batch_size, num_frames, channels, height, width)) — 입력 hidden_states.
  • encoder_hidden_states (torch.Tensor, shape (batch_size, sequence_len, embed_dims)) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • timestep (torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다.
  • timestep_cond (torch.Tensor, 선택 사항) — timestep에 대한 조건부 임베딩입니다. 제공된 경우, 해당 임베딩은 self.time_embedding 레이어를 통과한 샘플과 합산되어 최종 timestep 임베딩을 생성합니다.
  • ofs (torch.Tensor, 선택 사항) — CogVideoX-5b-I2V에서 사용되는 오프셋 임베딩입니다.
  • image_rotary_emb (tuple of torch.Tensor, 선택 사항) — 사전 계산된 회전 위치 임베딩입니다.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.

CogVideoXTransformer3DModel의 forward 메서드입니다.

fuse_qkv_projections

< >

( )

융합된 QKV 투영을 활성화합니다. 셀프 어텐션 모듈의 경우, 모든 투영 행렬(즉, 쿼리, 키, 값)이 융합됩니다. 크로스 어텐션 모듈의 경우, 키와 값 투영 행렬이 융합됩니다.

> 이 API는 🧪 실험적입니다.

unfuse_qkv_projections

< >

( )

활성화된 경우, 융합된 QKV 투영을 비활성화합니다.

> 이 API는 🧪 실험적입니다.

Transformer2DModelOutput

클래스 diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

매개변수

  • sample (torch.Tensor, shape (batch_size, num_channels, height, width) 또는 Transformer2DModel이 discrete인 경우 (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states 입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.

Transformer2DModel의 출력입니다.

Update on GitHub

←ChronoEditTransformer3DModel CogView3PlusTransformer2DModel→