Llegamos a ustedes gracias a:



Columnas de opinión

Big Data: El cambio impulsado por la nube está en marcha

Por: James Kobielus, analista principal de Wikibon Research

[17/04/2018] El mercado actual de análisis de big data es bastante diferente del que fuera hace unos años, y en la próxima década se verá el cambio, la innovación y la disrupción en todos los segmentos de esta industria global.

En la actualización anual publicada recientemente en su estudio de mercado, Wikibon Research, el grupo de analistas de SiliconAngle Media, descubrió que el mercado mundial de análisis de big data creció un 24,5% en el 2017 con respecto al año anterior. (Yo trabajo para Wikibon). Esto fue más rápido de lo previsto en el informe del año previo, debido en gran parte a la implementación y utilización de la nube pública más fuerte de lo esperado, así como a la aceleración de la convergencia de plataformas, herramientas y otras soluciones. Además, las empresas se están moviendo más rápidamente de las fases de experimentación y prueba de concepto con el análisis de big data, y están logrando niveles más altos de valor comercial a partir de sus implementaciones.

En el futuro, Wikibon pronostica que el mercado global de análisis de big data crecerá a una tasa de crecimiento anual del 11% para el año 2027, llegando a alcanzar los 103 mil millones de dólares en todo el mundo. Gran parte del crecimiento del mercado en los últimos años se mantendrá mediante la adopción de análisis de big data en la Internet de las cosas (IoT, por sus siglas en inglés), movilidad y otros casos de uso de la informática de vanguardia.

Las tendencias clave en la evolución del análisis de big data en la próxima década

Lo que impulsará la evolución de la industria del análisis de big data en la próxima década son las siguientes tendencias clave, tal como lo confirma la investigación de Wikibon:

* Los proveedores de nubes públicas están expandiendo su influencia. La industria del big data converge en torno a tres principales proveedores de nube pública: Amazon Web Services, Microsoft Azure y Google Cloud Platform, y la mayoría de los proveedores de software están creando soluciones que operan en todos ellos. Estos y otros proveedores de big data en la nube pública -incluidos los grandes proveedores de big data como IBM y Oracle- ofrecen lagos de datos IaaS y PaaS administrados, en los que se alienta a clientes y socios a desarrollar nuevas aplicaciones y migrar hacia aplicaciones heredadas. Como consecuencia, la plataforma de proveedores de plataforma/NoSQL parecen ser planos, quedando marginados en un gran espacio de datos dominado cada vez más por proveedores de nubes públicas diversificadas.

* Las ventajas de la nube pública sobre las nubes privadas continúan ensanchándose. Las nubes públicas se están convirtiendo en la plataforma preferida de análisis de big data para cada segmento de clientes. Esto se debe a que las soluciones de nube pública están madurando más rápidamente que las acumulaciones locales, lo que agrega una funcionalidad más completa, con un costo de propiedad cada vez más competitivo. Las nubes públicas están incrementando sus ecosistemas de interfaz de programación de aplicaciones y mejorando sus herramientas administrativas más rápido que lo que está surgiendo del mundo de las soluciones de análisis de big data diseñadas para implementaciones locales.

* Las nubes híbridas se están convirtiendo en una parada intermedia para big data empresarial en el camino hacia una implementación más completa en nubes públicas. Las nubes híbridas están figurando en los planes de big data de la mayoría de las grandes empresas, pero predominantemente como una estrategia de transición. Eso se debe a que el equilibrio se está inclinando hacia las empresas que colocan más de sus activos de big data en nubes públicas. Reconociendo esta tendencia, los proveedores tradicionales de big data están optimizando sus productos para casos de uso híbrido. Por la misma razón, las plataformas de Big Data basadas en premisas se están reubicando para su despliegue en nubes públicas.

* La convergencia de silos de gran tamaño basada en la nube está acelerando el tiempo de creación de valor de la empresa. Los usuarios están comenzando a acelerar el ritmo de consolidación de sus activos de big data en nubes públicas. El creciente predominio de los proveedores de nubes públicas está colapsando los silos de negocios cruzados que hasta ahora han afectado a las arquitecturas privadas de big data de las empresas. Igualmente, las soluciones de big data, tanto basadas en la nube como en las instalaciones, convergen en ofertas integradas diseñadas para reducir la complejidad y acelerar el tiempo de valor. Cada vez más proveedores de soluciones proporcionan APIs estandarizadas para simplificar el acceso, acelerar el desarrollo y permitir una administración más completa a lo largo de sus pilas de soluciones de big data.

* Los emprendimientos innovadores de big data están llevando al mercado aplicaciones cada vez más sofisticadas de IA (Inteligencia artificial). Los innovadores proveedores de aplicaciones están comenzando a alterar el panorama competitivo de big data con soluciones basadas en inteligencia artificial. La amenaza de los nuevos participantes en el mercado se está acelerando en todos los segmentos de big data, y la mayoría de las innovaciones están diseñadas para implementaciones de nubes públicas o híbridas. Muchas nuevas bases de datos, procesamiento de flujo y nuevas empresas de ciencia de datos han ingresado al mercado en los últimos años.

* Los enfoques disruptivos de big data se están convirtiendo en alternativas viables a las plataformas establecidas. En poco tiempo, surgirá una nueva generación de proveedores de plataforma de big data "unicornio" con la fuerza de un enfoque de próxima generación que combina IoT, blockchain y stream computing. Se optimizarán más de estas plataformas de big data de próxima generación para gestionar el pipeline de devops de extremo a extremo del aprendizaje automático, aprendizaje profundo e inteligencia artificial. Además, las plataformas de big data están siendo diseñadas para microservicios de inteligencia artificial de dispositivos periféricos.

* Hadoop se está convirtiendo en una pieza en el rompecabezas de Big Data. Estamos viendo señales de que el mercado considera que Hadoop es más una tecnología heredada de big data, que una plataforma estratégica para aplicaciones comerciales disruptivas. Sin embargo, Hadoop es una tecnología madura que es ampliamente adoptada para casos de uso clave -como la refinería de información no estructurada- en muchas organizaciones de TI de usuarios, y aún tiene una larga vida útil por delante en muchas organizaciones. Con esa perspectiva a largo plazo en mente, los proveedores continúan mejorando sus ofertas al diseñar una interoperabilidad más fluida entre los componentes de hardware y software desarrollados independientemente.

* Los usuarios mezclan y combinan cada vez más implementaciones de big data de múltiples proveedores en ecosistemas abiertos. Menos proveedores de big data están entregando soluciones que incorporan componentes patentados, no estándar o de código abierto. Los clientes aprovechan el mercado altamente competitivo de hoy en día, para extraer mejoras continuas de los proveedores de análisis de big data. Los proveedores, a su vez, están desacoplando sus herramientas en arquitecturas modulares en las cuales los clientes pueden intercambiar componentes en varios niveles funcionales. Este es el mejor enfoque para los proveedores que desean obtener una participación sostenible en un mercado en el que el bloqueo de proveedor de pila completa es una cosa del pasado.

* Las bases de datos están siendo deconstruidas y vueltas a armar en enfoques innovadores. Desde un punto de vista arquitectónico, la base de datos, como solíamos conocerla, está disminuyendo. Nos estamos moviendo hacia un futuro en el que las infraestructuras de análisis de big data de streaming, en memoria y sin servidor reinarán de manera suprema. Los proveedores están explorando nuevas formas de reorganizar las capacidades de la base de datos para abordar los requisitos emergentes, como las tuberías automáticas de aprendizaje automático y el análisis cognitivo de la IoT. En esta evolución, las bases de datos analíticas y de aplicaciones convergen a medida que se integran más capacidades analíticas transaccionales de alto rendimiento en las plataformas de datos de todo tipo. Además, el motor de almacenamiento de base de datos se está convirtiendo en un repositorio principalmente para datos de máquina que es direccionable a través de estructuras alternativas tales como índices de valores clave y esquemas de objetos.

* Las cadenas de herramientas de ciencia de datos automatizan cada vez más la canalización de devops de extremo a extremo. La programación de grandes datos aumentará en sofisticación. Los desarrolladores tienen acceso a una gama cada vez mayor de herramientas devops para automatizar diversas tareas en el desarrollo, la implementación y la administración de aprendizaje automático, aprendizaje profundo y otros activos de inteligencia artificial. Una gama cada vez mayor de estas soluciones incluso aprovecha algoritmos especializados de aprendizaje automático para impulsar tales funciones de desarrollo de aprendizaje automático como ajuste de híper parámetros.

* Las aplicaciones analíticas de big data empaquetadas tienen cada vez más disponibilidad. Durante la próxima década, más usuarios adquirirán soluciones de análisis de big data como servicios en la nube prediseñados, pretrabajados y con plantillas. Muchos de estos servicios se adaptarán y ajustarán automáticamente a sus modelos incorporados de aprendizaje automático, aprendizaje profundo e inteligencia artificial para brindar resultados comerciales óptimos y continuos. Y muchos de estos servicios incorporarán modelos preestablecidos que los clientes pueden ajustar y extender a sus propias necesidades específicas.

Barreras a la evolución e implementación del análisis de big data

Aunque el pronóstico para la adopción de análisis de big data parece optimista, quedan muchos problemas persistentes que frustran los intentos de los usuarios de maximizar el valor de sus inversiones en estas tecnologías. Los principales son:

* Excesiva complejidad. Los entornos y las aplicaciones de análisis de datos grandes aún son demasiado complejos. Los proveedores deberán seguir simplificando las interfaces, arquitecturas, características y herramientas de estos entornos. De este modo, las sofisticadas capacidades de análisis de big data estarán al alcance de los usuarios y desarrolladores principales, muchos de los cuales carecen de personal de TI interno con las habilidades especializadas requeridas.

* Sobrecarga incómoda. La administración del análisis de datos grandes y los procesos de gobierno todavía están muy aislados, son costosos e ineficientes para muchos profesionales de TI. Los proveedores necesitarán crear flujos de trabajo preempaquetados que ayuden a grandes equipos de personal especializado a administrar las definiciones de datos, metadatos, análisis y servicios de manera más eficiente, rápida y precisa.

* Tuberías prolongadas. Las tuberías de desarrollo y puesta en práctica de aplicaciones de análisis de big data aún requieren demasiado tiempo y son manuales. Los proveedores deberán intensificar las funciones de automatización de sus herramientas para garantizar la productividad del personal técnico de los usuarios y al mismo tiempo garantizar un manejo consistente de las tareas complejas incluso por personal poco capacitado.

* Aplicaciones personalizadas. Los servicios profesionales de Big Data Analytics siguen siendo esenciales para desarrollar, implementar y gestionar las numerosas aplicaciones personalizadas. Esto es especialmente cierto para las aplicaciones basadas en datos que abarcan nubes híbridas, involucran plataformas y herramientas dispares, e incorporan procesos de datos insondablemente complejos. Los proveedores deben reforzar el contenido de la aplicación preempaquetada para aplicaciones comunes de análisis de grandes datos, al mismo tiempo que brindan a los usuarios autoservicio, herramientas visuales para especificar lógica empresarial compleja sin asistencia externa.

Para TI empresarial, la recomendación principal de Wikibon es comenzar a migrar más de sus esfuerzos de desarrollo de análisis de big data hacia entornos de nube pública. Esto acelerará su capacidad de aprovechar las ofertas de bajo costo y maduración rápida proporcionadas por Amazon Web Services, Microsoft, Google, IBM y otros proveedores de nubes públicas. Debería considerar construir su nube híbrida empresarial para garantizar una transición sin problemas durante los próximos años.

James Kobielus es el analista principal de Wikibon Research para las áreas de Ciencia de Datos, Aprendizaje Profundo y Desarrollo de Aplicaciones.