Llegamos a ustedes gracias a:



Noticias

DataTorrent enfrenta la complejidad de la ingestión de datos de Hadoop

[04/08/2015] Si bien el entusiasmo en torno al análisis de big data se encuentra en su nivel más alto, existe menos discusión acerca de cómo hacer ingresar los datos necesarios en los sistemas, algo que puede implicar la engorrosa tarea de crear y mantener varios canales de procesamiento de datos.

Para ayudar a resolver este problema, la startup DataTorrent de Santa Clara, California, ha lanzado lo que llama la primera aplicación de ingestión de grado empresarial para Hadoop, DataTorrent dtIngest.

La aplicación está diseñada para agilizar el proceso de recolección, agregación y traslado de los datos hacia dentro o fuera de un cluster Hadoop.

El software se basa en el proyecto Apex, un paquete de software de código abierto disponible bajo la licencia Apache 2.0.

dtIngest, que funciona como un componente dentro de una plataforma Hadoop, puede trabajar tanto con los datos de streaming, como con los de lote. Puede intercambiar datos con varios sistemas y protocolos de archivo, incluyendo NFS, FTP, el sistema de archivos Hadoop, Simple Storage Service de Amazon Web Service (S3), Kafka, y el servicio de mensajes de Java.

El software es tolerante a fallas, ya que puede reanudar la transferencia de archivos de forma automática después de la interrupción. Viene con una interfaz de 'apuntar y hacer clic', así como con logs de monitoreo.

La compañía ha lanzado dtIngest de forma gratuita, con la esperanza de que los usuarios hagan el upgrade al software empresarial de ingestión de datos de DataTorrent, el DataTorrent RTS 3, que se encuentra basado en dtIngest/Proyecto Apex e incluye capacidades adicionales para la gestión operativa, despliegue fácil y visualización de datos.

DataTorrent fue cofundada por Amol Kekre y Phu Hoang, un par de ingenieros que trabajaban en Yahoo, empresa pionera en Hadoop. La compañía ha formado alianzas con los distribuidores de Hadoop Hortonworks y Pivotal, y ha obtenido casi 24 millones de dólares en financiamiento de fase inicial de los inversionistas.