Llegamos a ustedes gracias a:



Noticias

Hortonworks y HP Labs unen fuerzas para impulsar Spark

[03/03/2016] Hortonworks, especialista en Hadoop ha unido fuerzas con HP Labs, la organización central de investigación de HP Enterprise, en un esfuerzo para mejorar drásticamente el desempeño de las cargas de trabajo de Spark.

En una conferencia de prensa en San Francisco el martes, las dos compañías anunciaron una colaboración que ya ha dado algunos frutos:

* Mejoras en la tecnología de cambio de motores. Cómputos más rápidos de clasificación y en memoria, que tiene el potencial de mejorar significativamente el desempeño de Spark.

* Mejor utilización de la memoria.Mejora en el desempeño y en el uso para lograr una mayor escalabilidad, lo cual ayudará a habilitar nuevos casos de uso a gran escala.

"Esperamos habilitar a la comunidad de Spark para que obtenga conocimientos más rápidamente de conjuntos de datos mucho más grandes sin tener que cambiar una sola línea de código, afirmó Martin Fink, vicepresidente ejecutivo y CTO de HP Enterprise y miembro del directorio de Hortonworks. "Estamos muy contentos de poder trabajar con Hortonworks para ampliar la gama de desafíos que puede enfrentar Spark.

Fink explica que HP Labs ha estado realizando investigaciones sobre la eficiencia y la escala de la memoria para la empresa, así como formas para mejorar la utilización de la memoria para la empresa.

"Parte de esa actividad de investigación es que reescribimos el motor de cambio de Java a C++, afirma. "Vimos que nos habíamos reescrito varios algoritmos para hacer un uso más eficiente de la memoria y habilitamos formas para que uno pueda incrementar la memoria incluso más.

De hecho, ciertos clientes que aprovecharon el trabajo de HP Labs encontraron que incrementaba el desempeño de ciertas cargas de trabajo entre cinco a 15 veces.

"He estado por aquí por mucho tiempo, afirmó Fink. "No es usual que uno se aparezca con un incremento de 15 veces en el desempeño en ciertas cargas de trabajo. Sabíamos que necesitábamos que esto fuera parte de algo mayor.

Fink nota que HP Enterprise eligió dejar como código abierto su investigación con la ayuda de Hortonworks debido a la dedicación de Hortonworks con la apertura y la colaboración.

"Esta colaboración es un indicativo de nuestro mutuo apoyo y compromiso con la creciente comunidad de Spark y sus soluciones", añadió Scott Gnau, CTO de Hortonworks. "Continuaremos enfocándonos en la integración de Spark en las grandes arquitecturas de datos soportadas por Apache YARN, así como en las mejoras en el desempeño y las funcionalidades y en mejores puntos de acceso para las aplicaciones como Apache Zeppelin.

Zeppelin es un proyecto Apache en incubación que proporciona una notebook basada en web que permite la analítica de datos interactiva.

Thor Olavsrud, CIO (EE.UU.)