Llegamos a ustedes gracias a:



Reportajes y análisis

¿Qué es DataOps?

Análisis colaborativo y multifuncional

[08/01/2018] ¿Qué es DataOps?

DataOps (operaciones de datos) es una disciplina emergente que reúne a los equipos de DevOps con los ingenieros de datos y científicos de datos para proporcionar las herramientas, procesos y estructuras organizativas destinadas a brindar soporte a las empresas centradas en los datos.

"Uno ya vive la tendencia moderna del desarrollo de las DevOps, pero cada vez más personas inyectan algún tipo de capacidad de ciencia de los datos en el desarrollo y en los sistemas, por lo que se necesita a alguien en el equipo de DevOps que tenga una mentalidad orientada a la estructura de datos, afirma Ted Dunning, arquitecto principal de aplicaciones de MAPR Technologies y coautor de "Logística del Aprendizaje de Máquina: Gestión de los Modelos en el Mundo Real.

Los principios de DataOps

Al igual que DevOps, el enfoque de DataOps se inspira en la metodología ágil. El enfoque valora la entrega continua de insights de analítica con el objetivo principal de satisfacer al cliente.

Los equipos de DataOps valoran la analítica que funciona; ellos miden el desempeño de la analítica de datos según los insights que ofrecen. Los equipos de DataOps adoptan el cambio y buscan comprender constantemente las cambiantes necesidades de los clientes.

Los equipos de DataOps son equipos. Ellos se organizan a sí mismos en torno a objetivos y buscan reducir el "heroísmo en favor de los equipos y procesos sostenibles y que sean capaces de crecer.

Los equipos de DataOps buscan orquestar datos, herramientas, códigos y ambientes de principio a fin. Los resultados reproducibles son esenciales. Los equipos de DataOps tienden a ver los canales de analítica como análogos a las líneas de producción lean.

Dónde encaja DataOps

Las empresas de hoy en día están inyectando cada vez más el aprendizaje de máquina en una amplia gama de productos y servicios, afirma Dunning, y DataOps es un enfoque orientado a soportar las necesidades integrales del aprendizaje de máquina.

"Por ejemplo, este estilo hace que sea más factible para los científicos de datos contar con el soporte de la ingeniería de software para proporcionar lo que se necesita cuando los modelos se trasladan a operaciones durante el despliegue, escribieron Dunning y la coautora Ellen Friedman, tecnóloga principal de MapR.

"El enfoque de DataOps no se limita al aprendizaje de máquina, añaden. "Este estilo de organización es útil para cualquier trabajo orientado a los datos, por lo que es más fácil aprovechar los beneficios que ofrece la creación de un tejido global de datos.

También resaltan que DataOps encaja bien con las arquitecturas de microservicios.

DataOps en la práctica

A medida que las empresas adoptan las nuevas tecnologías de datos como éstas, Dunning y Friedman afirman que es imperativo que las empresas desarrollen su enfoque para mejorar su capacidad para trabajar con datos a escala, y para responder a eventos del mundo real a medida que vayan surgiendo.

"Los roles tradicionalmente aislados pueden resultar demasiado rígidos y lentos para adaptarse bien a las organizaciones de big data que están pasando por la transformación digital, escriben. "Ahí es donde un estilo de trabajo del tipo DataOps puede ayudar.

El enfoque DevOps reúne a especialistas en desarrollo de software y operaciones para alinear más estrechamente el desarrollo con los objetivos de negocio, así como para reducir los ciclos de desarrollo y aumentar la frecuencia de despliegue. Hace hincapié en los equipos interfuncionales que atraviesan "gremios de habilidades como operaciones, ingeniería de software, arquitectura y planificación, así como gestión de productos. Con el objetivo de aumentar la colaboración y la comunicación entre los desarrolladores, profesionales de operaciones y expertos en datos, DataOps agrega a la mezcla funciones de ciencia de datos e ingeniería de datos.

Dunning enfatiza que, para lograr la alineación prometida por DataOps, es necesario integrar científicos de datos en el equipo de DataOps.

"Creo que lo más importante que hay que hacer aquí es no quedarse con la clásica organización incomunicada, donde los científicos de datos viven separados de los equipos de desarrollo, afirma Dunning. "El paso más importante que puede dar es integrar a los científicos de datos en un equipo de DevOps. Cuando viven en la misma habitación, comen las mismas comidas, escuchan las mismas quejas, naturalmente lograrán alinearse.

"No los tenga aparte, agrega. "Necesitan escuchar los comentarios de primera línea, recomendar las mismas soluciones, someterse al mismo establecimiento de prioridades. Esa integración es el paso clave a seguir.

Sin embargo, Dunning también señala que los científicos de datos no están necesariamente integrados de forma permanente en un equipo de DataOps.

"Por lo general, hay un científico de datos integrado en el equipo temporalmente, afirma Dunning. "Sus capacidades y sensibilidades comienzan a contagiarse. Alguien en el equipo asume entonces el papel de ingeniero de datos y de una especie de científico de datos de bajo presupuesto. El verdadero científico de datos que está integrado en el equipo luego va hacia otro lugar. Es una situación fluida".

Cómo construir un equipo de DataOps

Crear un equipo de DataOps no significa necesariamente que deba contratar nuevos especialistas. Friedman señala que muchas empresas ya tienen el núcleo de un equipo de DataOps en los equipos de DevOps existentes. El siguiente paso es identificar los proyectos que requieren un desarrollo intensivo de datos y alguien con entrenamiento en datos. Esa persona puede incluso ser un ingeniero de datos en lugar de únicamente un científico datos.

"Cuando estás cubriendo estas habilidades diferentes y uniéndolas para lograr este objetivo común, eso no significa necesariamente que tengas que contratar a un grupo de personas para completar estos roles, afirma Friedman. "A menudo tienes a estas personas que cuentan con las habilidades clave. Solo se requiere una realineación para comprender cuáles son los roles clave.

La parte importante, afirma, es mejorar la colaboración entre los conjuntos de habilidades para lograr eficiencia y hacer un mejor uso del tiempo y la experiencia de las personas.

"En proyectos de gran escala, una función particular de DataOps puede ser ocupada por más de una persona, pero también es común que algunas personas cubran más de una función, escriben Dunning y Friedman en su libro. "Las habilidades de operaciones y de ingeniería de software pueden superponerse, los miembros del equipo con experiencia en ingeniería de software también pueden ser calificados como ingenieros de datos. A menudo, los científicos de datos tienen habilidades de ingeniería de datos. Sin embargo, es raro ver la superposición entre la ciencia de datos y las operaciones.

Dunning y Friedman afirman que también es clave que los equipos de DataOps compartan un objetivo común: Las necesidades basadas en datos de los servicios que soportan.

"Con los equipos de ingeniería conformados por buenos ingenieros, lo que uno tiene que hacer es establecer bien las metas, afirma Dunning. "Una vez que existe un objetivo común, como resolver un problema, el equipo se organiza con mucha frecuencia para resolver dicho problema. La dificultad surge cuando diferentes personas ven diferentes aspectos del problema. Las personas de operaciones se preocuparán por la confiabilidad, porque usted obtiene una respuesta después de cierto tiempo. La persona que estudia ciencias de datos tiende a enfocarse en la precisión de la respuesta. Ahí uno ya tiene un poco de discrepancia. Pero si están tratando de resolver el mismo problema y están dispuestos a comprometerse a encontrar la manera de resolverlo, creo que es una estructura social bastante fácil de construir.