Parámetros

• sample_size (int) — El ancho de las imágenes latentes. Esto se fija durante el entrenamiento, ya que se utiliza para aprender un número de embeddings de posición.
• patch_size (int, opcional, (int, opcional, predeterminado en 2) — El tamaño de cada parche en la imagen. Este parámetro define la resolución de los parches que se envían al modelo.
• in_channels (int, opcional, valor predeterminado 4) — El número de canales de entrada del modelo. Por lo general, coincide con el número de canales de las imágenes de entrada.
• hidden_size (int, opcional, valor predeterminado 4096) — La dimensionalidad de las capas ocultas en el modelo. Este parámetro determina el ancho de las representaciones ocultas del modelo.
• num_layers (int, opcional, valor predeterminado 32) — El número de capas en el modelo. Esto define la profundidad de la red neuronal.
• num_attention_heads (int, opcional, valor predeterminado 32) — El número de cabezas de atención en cada capa de atención. Este parámetro especifica cuántos mecanismos de atención independientes se utilizan.
• num_kv_heads (int, opcional, valor predeterminado 8) — El número de cabezas de clave-valor en el mecanismo de atención, si es diferente del número de cabezas de atención. Si es None, el valor predeterminado es num_attention_heads.
• multiple_of (int, opcional, valor predeterminado 256) — Un factor del que el tamaño oculto debe ser múltiplo. Esto puede ayudar a optimizar ciertas configuraciones de hardware.
• ffn_dim_multiplier (float, opcional) — Un multiplicador para la dimensionalidad de la red feed-forward. Si es None, utiliza un valor predeterminado basado en la configuración del modelo.
• norm_eps (float, opcional, valor predeterminado 1e-5) — Un valor pequeño que se suma al denominador para la estabilidad numérica en las capas de normalización.
• learn_sigma (bool, opcional, valor predeterminado True) — Si el modelo debe aprender el parámetro sigma, que podría estar relacionado con la incertidumbre o la varianza en las predicciones.
• qk_norm (bool, opcional, valor predeterminado True) — Indica si las consultas y claves en el mecanismo de atención deben normalizarse.
• cross_attention_dim (int, opcional, valor predeterminado 2048) — La dimensionalidad de las incrustaciones de texto. Este parámetro define el tamaño de las representaciones de texto utilizadas en el modelo.
• scaling_factor (float, opcional, valor predeterminado 1.0) — Un factor de escala aplicado a ciertos parámetros o capas del modelo. Esto se puede utilizar para ajustar la escala general de las operaciones del modelo.