[26/10/2018] Microsoft ha renovado su proyecto de código abierto MMLSpark, para integrar mejor "muchas herramientas de aprendizaje profundo y ciencia de datos al ecosistema Spark", según las notas del repositorio del proyecto.
MMLSpark, publicado originalmente el año pasado, es una colección de proyectos destinados a hacer que Spark sea más útil en muchos contextos, principalmente en el aprendizaje automático, pero también en algunas formas de uso general.
Algunas de las características de MMLSpark integran Spark con las ofertas de aprendizaje de máquinas de Microsoft como Microsoft Cognitive Toolkit (CNTK) y LightGBM, así como con proyectos de terceros como OpenCV. Otras tratan de convertir a Spark en un servicio o cliente, por ejemplo, permitiendo que los cálculos de Spark (incluyendo las predicciones de aprendizaje de la máquina) sean fácilmente servidos a través de la web, o permitiendo a Spark interactuar con otros servicios web a través de HTTP. Una función, LIME on Spark, proporciona resultados anotados para las predicciones servidas por un clasificador de imágenes dado, una forma rápida de determinar si el clasificador está funcionando correctamente.
MMLSpark incluye todas estas funciones en un conjunto de APIs disponibles tanto para Scala como para Python. El repositorio contiene algunos ejemplos de inicio rápido, como el uso de servicios web en Spark, el uso de OpenCV en Spark para la manipulación de imágenes, y el entrenamiento de un clasificador de imágenes profundo utilizando VMs Azure con GPUs.
MMLSpark puede instalarse en los clústeres de Spark existentes como un paquete, utilizado en la nube de Databricks (o un dispositivo de Databricks en Azure), instalado directamente en una instancia de Python o Anaconda, o ejecutarse en un contenedor de Docker. La integración también está disponible para el lenguaje R, pero ahora mismo sólo a través de una envoltura beta autogenerada.
Serdar Yegulalp, InfoWorld