Escáner de terceros: JFrog

El escáner de seguridad de JFrog detecta comportamiento malicioso en modelos de aprendizaje automático.

Ejemplo de un informe para danger.dat

Hemos colaborado con JFrog para ofrecer escaneos con el fin de hacer el Hub más seguro. Los archivos de los modelos son escaneados por el escáner de JFrog y exponemos los resultados del escaneo en la interfaz del Hub.

El escáner de JFrog está diseñado con el objetivo de reducir los falsos positivos. De hecho, lo que observamos actualmente es que el código contenido en los pesos de un modelo no siempre es malicioso. Cuando se detecta código en un archivo, el escáner de JFrog lo analiza y lo examina para verificar posibles usos maliciosos.

Aquí tienes un ejemplo de repositorio que puedes consultar para ver la función en acción: mcpotato/42-eicar-street.

Repaso de la seguridad de los modelos

Para compartir modelos, serializamos las estructuras de datos que usamos para interactuar con ellos, con el fin de facilitar su almacenamiento y transporte. Algunos formatos de serialización son vulnerables a exploits peligrosos, como la ejecución de código arbitrario (mirándote a ti, pickle), lo que hace que compartir modelos sea potencialmente riesgoso.

Dado que Hugging Face se ha convertido en una plataforma popular para compartir modelos, queremos proteger a la comunidad de esto, por lo que hemos desarrollado herramientas como picklescan y por qué integramos escáneres de terceros.

Pickle no es el único formato explotable que existe, véase como referencia cómo se pueden explotar las capas Lambda de Keras para lograr la ejecución de código arbitrario.

Update on GitHub