Llegamos a ustedes gracias a:



Casos de éxito

Big Data: Capacite a su personal de TI

La experiencia de Persado

[31/10/2013] Es difícil hablar de grandes volúmenes de datos sin discutir también la gran brecha de habilidades en big data en el mismo aliento. Pero, ¿es tan malo como parece?
Según una reciente encuesta de CompTIA hecha a 500 empresas y ejecutivos de TI de los EE.UU., el 50% de las empresas que están a la vanguardia en el aprovechamiento de los datos, y el 71% de las empresas que están en la media o retrasados en el aprovechamiento de los datos, considera que su personal es moderada o significativamente deficiente en la gestión y el análisis de las capacidades de datos.
Estas empresas ven los costos reales asociados a la incapacidad de luchar a brazo partido con sus datos, desde la pérdida de tiempo que podría dedicar a otras áreas de su negocio, a la confusión interna sobre las prioridades, ventas perdidas, falta de agilidad y más.
Los analistas pintan un retrato aparentemente extremo de un déficit de habilidades que solo va a empeorar con el tiempo. El Instituto Global McKinsey estima que para el 2018, habrá un déficit de 1,7 millones de trabajadores con habilidades de big data en los EE.UU. Solamente, 140 mil a 190 mil trabajadores con conocimientos técnicos y analíticos de profundidad y 1,5 millones de gestores y analistas con los conocimientos necesarios para trabajar con big data.
Pero Tim Herbert, vicepresidente de investigación e inteligencia de mercado en CompTIA y autor de su segundo estudio anual Big Data Insights and Opportunities, señala que la situación no es tan drástica como parece.
"Habrá una situación en que, en los niveles más altos, probablemente la lista Fortune 100, habrá una escasez de habilidades", señala Herbert. "Para la mayoría de las empresas medianas y pequeñas, probablemente serán capaces de satisfacer sus necesidades de competencias mediante una combinación de reconversión y nuevas contrataciones de personal profesional. Las herramientas asociadas con los grandes volúmenes de datos van a madurar. Las capacidades y facilidad de uso madurarán con el tiempo, y eso sin duda será de gran ayuda. Como muchas otras tecnologías, habrá personas que a lo mejor no estuvieron capacitadas para enfrentarlas, pero van a tener una aptitud para trabajar con datos".
Hadoop no es incomprensible
Sara Sproehnle, vicepresidente de Servicios Educativos en Cloudera, proveedor de una de las distribuciones más populares de Hadoop, está de acuerdo.
"La capacitación ha sido realmente un componente estratégico de lo que hacemos en Cloudera", señala. "Hadoop es una tecnología nueva y realmente hay una brecha de habilidades. Pero puede capacitar fácilmente a la gente. No es que la tecnología sea incomprensible. Solo tiene que tener a los desarrolladores, analistas y administradores y entrenarlos".
Caso en cuestión: Persado, pionero en la "ingeniería lingüística de marketing"
Persado ayuda a que las marcas optimicen sus mensajes de marketing para su público objetivo en cada interacción digital a través de una metodología sistemática que aprovecha las matemáticas, la lingüística computacional y de grandes de datos.
"Podemos ver los diferentes 'genes' de un mensaje de marketing y descomponerlo y crear una copia de seguridad usando las matemáticas, la lingüística y la tecnología para que sea un mensaje de marketing que un vendedor estaría dispuesto a llevar al mercado y algo más propenso para que el consumidor interactúe y haga clic", afirma Mathew, director financiero de Persado.
Alcanzar esto requiere una recopilación continua de datos y la capacidad de consultar ese volumen masivo de datos. El negocio de Persado depende de su almacén de datos.
El equipo de desarrollo de Persado se centra en garantizar que la infraestructura de la empresa esté alineada con las necesidades de los científicos de datos, incluyendo la generación regular de informes de indicadores clave de rendimiento (KPI), la gestión de datos de fuentes heterogéneas, la preparación de análisis personalizados e implementación de algoritmos estadísticos específicos en Java basados en implementaciones de referencia de R.
Pero en el 2010, poco después del nacimiento de Persado, el sistema de gestión de bases de datos relacionales (RDBMS) que estaba utilizando para alimentar su almacén de datos se estaba volviendo difícil de manejar. El equipo de desarrollo, liderado por Christos Soulios, líder del equipo de software y arquitecto de aplicaciones en Persado, inició el proceso de migración a un entorno de NoSQL. Con una necesidad de análisis e informes cada vez más sofisticados, tenía que desvincular el sistema de procesamiento analítico en línea (OLAP) en una pila de tecnología propia.
Soulios decidió que Apache Hadoop era la solución adecuada para recopilar, agregar y procesar datos de fuentes de datos heterogéneas de Persado, como MongoDB, servidores configurados MySQL y registros de Apache poblados con archivos estructurados y semi estructurados en cubos Amazon Web Services (AWS) S3 que utilizan bibliotecas construidas en Apache Kafka y Apache ZooKeeper.
Pero esas tareas eran más fácil decirlas que hacerlas. Persado no tenía ingenieros de datos dentro de su personal para hacer crecer y ampliar las capacidades de sus sistemas. Por otra parte, mientras que Persado es una compañía global con sede en Londres y Nueva York, su equipo de desarrollo se basa en Atenas, Grecia, por lo que el talento en big data es aún más difícil de conseguir.
"La mayor parte de nuestro equipo de desarrollo y los recursos están aquí, en Atenas, Grecia", señala Huang Xinyu, vicepresidente de Ingeniería de Persado. "A diferencia de los EE.UU., donde big data está por todas partes, en Grecia, todavía está en la etapa inicial".
Persado busca capacitar a sus equipos para utilizar herramientas de big data
Sin la posibilidad de comprar el talento que necesitaba, Persado decidió crear el suyo propio, señala Huang. Soulios trajo a Cloudera, específicamente, Cloudera University. Soulios y el equipo de desarrollo trabajó con el equipo de plan de estudios de la Cloudera University para adaptar un curso de capacitación privado, de una semana, para Persado.
"Empezamos a beneficiarnos de nuestra decisión de trabajar con Cloudera casi de inmediato, ya que ninguna otra empresa ofrece una capacitación en análisis de datos dirigida a los desarrolladores y analistas, la cual era una de nuestras mayores prioridades", señala Soulios, hablando de un curso sobre Apache Hive y Apache Pig. "El taller intensivo incluía la completa formación de desarrollador Cloudera para Apache Hadoop con la opción de las pruebas para la codiciada certificación CCDH después de la clase".
"Tener la capacitación en la empresa fue muy importante", añadió Huang. "Teníamos a nuestro equipo interactuando con la tecnología y comprendiendo lo que se podía hacer con ella. Tenemos los datos, pero el equipo ha estado tratando con los datos sobre una base ad hoc, pedazo a pedazo. Hacer la capacitación realmente nos ayudó a saber cómo pueden ayudar realmente estas herramientas. A largo plazo, lo que fue más beneficioso para el equipo fue hablar con alguien que realmente tuviera experiencia real de trabajo con esta tecnología de big data. Eso realmente abrió la mentalidad de los desarrolladores de aquí, especialmente de los desarrolladores locales que tenemos en Atenas".
Hadoop es una tecnología que cambia el juego
Después de la capacitación, Huang señala que Persado ha construido con éxito sus nuevas capacidades de almacenamiento de datos utilizando Hadoop, Hive y Pig.
"Lo que encontramos es que Hadoop es una especie de tecnología nueva que cambia el juego", señala Sproehnle. "No es que la gente no puede aprenderla, pero necesitan invertir en la capacitación. Ellos realmente tienen que aprender esta nueva tecnología. Encontramos que si la gente la manosea por su cuenta, es muy difícil hacer que Hadoop sea productiva. Pero si invierte en una semana de entrenamiento puede comenzar a maximizar la inversión muy rápido".
Thor Olavsrud, CIO (EE.UU.)