Ingeniería organizacional, gestión de datos y data analytics, el trípode perfecto

Los bloques de construcción de una solución de gestión de datos

La clave de las soluciones de extremo a extremo

promo2_2.png Esteban Luna

Empecemos por tratar de definir estos 3 conceptos, digo tratar, porque anticipo responsablemente que son conceptos empleados con diferentes contenidos, según el campo de experticia del hablante. Admito que para mí eso no representa un problema. Nunca la humanidad había experimentado una velocidad de cambio e innovación tecnológica tan feroz, y tal intensidad de comunicación.

Desde mi perspectiva como consultor me aproximaría en mi propósito a la prácticas, estándares, enfoques y metodologías; como ingeniero/programador mi enfoque se centraría en las tecnologías y en sus arquitecturas; como analista de datos mis esfuerzos se concentrarían en la visualización y los modelos. Eso es lo que hallamos en internet: objetos y enfoques distintos que dependen de la mirada o del lente de cada experto.

Aquí mi aspiración es articular esas 3 visiones: una perspectiva más completa, porque la experiencia enseña que las herramientas parciales no resuelven problemas complejos, son ineficaces y generan pérdidas. Existe una gran diferencia entre contratar consultores, programadores y analistas y contratar a alguien que resuelve problemas de extremo a extremo.

Aspiro exponer qué es la ingeniería organizacional, la gestión de datos y el data analytics al servicio de mis clientes, y lo haré a través del empleo de metáforas y analogías con las que quiero sacar a la luz la relación existente entre las 3 disciplinas. Sacrificaré el lenguaje técnico para no agobiar.

La ingeniería organizacional es a la organización lo que el departamento de investigación y desarrollo de una escudería es a un vehículo Fórmula 1. El objeto del departamento es hacer que un Fórmula 1 sea más eficiente y rápido. La ingeniería organizacional busca exactamente eso: que la organización cumpla sus objetivos eficientemente y que se adapte más rápido a los cambios. La disciplina está relacionada con los procesos de producción de bienes y servicios, con las tecnologías, la innovación, las metodologías, prácticas y estándares de planificación, seguimiento y control de la gestión.

blog_tripode_formula_1.jpg

Investigación y desarrollo de la escudería le entrega al piloto un vehículo que alcanza una velocidad de 370 Km/h, la ingeniería organizacional se preocupa específicamente por las capacidades y la velocidad de ejecución de la organización.

La gestión de datos, por su parte, es a la organización lo que los acueductos o el tendido eléctrico son para la ciudad: servicios de fluidos básicos. La gestión de datos se ocupa de la extracción, almacenamiento, organización, transporte y disposición de los datos. La materia prima de la dirección organizacional son los datos, y entre los subconjuntos de la disciplina encontramos el data-ops, data engineer, big data engineer, cloud engineer.

Durante los últimos años, la gestión de datos se ha vuelto muy compleja por la variedad, volumen y la multiplicidad de las fuentes, y se ha generado la necesidad de tecnologías muy variadas para su tratamiento y disposición. Destacan nuevos (y no tan nuevos) conceptos como el big data, small data, APIS’s, web scrapping, No SQL, lago de datos, almacenamiento en memoria, nodos de procesamiento, computación paralela, el viejo y útil SQL, y surgen nuevas tecnologías, conceptos y, por supuesto, productos. Los días en lo que todo, o casi todo, se resolvía con una base relacional, Excel o herramientas de BI, quedaron atrás.

Los días de las herramientas todo en uno también están contados. Las mejores tecnologías en la nube requieren código para su funcionamiento; si usted no puede acceder a sus aplicaciones y ver el código con el que están hechas, le auguro un rápido retroceso al siglo XX. Si sus aplicaciones no pueden ser instaladas en instancias de cómputo, desaprovechará todo el poder de las nuevas tecnologías cloud de servidores auto-administrados, las ventajas de las arquitecturas de microservicios y de las integraciones.

block_tuberias_1.jpg

El data analytics, por su parte, es a la organización lo que el agua es la industria de bebidas. Toma el fluido y lo transforma al añadir otros componentes, como el carbonato, ácidos, frutas, azúcares, alcohol, lactosa, saborizantes, emulsificantes, y otros ingredientes, en distinta mezcla o concentración, en la infinita variedad de bebidas disponibles en el mercado. El data analytics toma sus datos y los combina con matemáticas, estadística descriptiva, predictiva y prescriptiva para crear modelos que permiten extraer (conocer) información valiosa para múltiples aplicaciones.

block_bebidas_sm_1.png

Otro concepto relacionado es el Bussiness Intelligence, más que todo para la construcción de dashboards dinámicos con información descriptiva. Los conceptos más recientes en este terreno son los de machine learning, deep learning e inteligencia artificial con técnicas que, a decir verdad, han existido desde hace muchos años, y se popularizaron gracias a la capacidad de cómputo otorgada por el cloud y por la cantidad ingente de datos disponibles. Estas 3 herramientas se enmarcan en el data science para separarlas conceptualmente del data analytics, y en algún momento hará falta separar conceptualmente la inteligencia artificial relacionada con los datos. (A mediados del 2020 incorporaré a mi stack el poder del data science para aplicaciones de predicción, clasificación y recomendación, advierto que para usar estas tecnologías debe disponerse de una infraestructura de gestión de datos establecida).

En resumen: podemos definir el data analytics como la disciplina que permite convertir los datos en información para lo que sea necesario en el formato o visualización que sea necesario.

El trípode perfecto (por ahora)

tripode_perfecto_1_1.png

Mientras esperamos las aplicaciones comerciales de la computación cuántica, de la inteligencia artificial y el 5g (que está realmente avanzado y que nos colocará nuevamente en el camino del aprendizaje), el trípode ingeniería organizacional– gestión de datos – data analytics me ofrece el conjunto de paradigmas, conceptos, metodologías y tecnologías para construir las soluciones que abordan 4 retos fundamentales de todo líder o director:

  • Formular y ejecutar estrategias.
  • Conocer y mejorar las capacidades de los procesos.
  • Hacer seguimiento a los proyectos.
  • Tomar decisiones basadas en datos.

Para ello dispongo de las siguientes 4 soluciones que combinan ingeniería organizacional – gestión de datos – data analytics:

  • Monitor de Estrategias.
  • Monitor de Proyectos.
  • Monitor de Procesos.
  • Data Analytics.

Sin la combinación y la comprensión de estas 3 disciplinas desde el inicio del proyecto, no es posible sencillamente obtener una solución completa, eficaz. Comparto por qué:

En la fase de comprensión o exploración de la organización, entender y documentar el contexto y la situación base, es crucial para el proceso de construcción de las soluciones. Levantar correctamente los procesos (estratégicos, de producción de bienes y servicios o de proyectos); calcular las métricas actuales, establecer el flujo de datos, entender el sistema de autoridad y delegación de la organización, las limitaciones y las capacidades actuales y potenciales y los requerimientos de formación y transferencia tecnológica para su puesta en marcha, exige disponer del conocimiento de la ingeniería organizacional – gestión de datos – data analytics.

Resultado: comprensión e información necesaria para la construcción de la especificación de la solución.

La no comprensión del contexto es la principal causa de los fracasos en los proyectos de tecnología.

En la fase de especificación de requerimientos se describen, en términos de experiencia de usuario e ingeniería, las características, funcionalidades y servicios de información que tendrá la solución, sea un monitor de estrategias, procesos, proyectos, una combinación o una solución de data analytics específica. Asimismo, en esta fase, se formula la estrategia y el proyecto de implementación, los productos intermedios y finales, así como los alcances, tiempos de entrega y la inversión necesaria.

Resultados: especificaciones funcionales y técnicas de la solución y proyecto de gestión de datos.

Las especificaciones funcionales "genéricas” y su incorrecta conversión al lenguaje técnico son causas seguras del retardo en el desarrollo de software.

En la fase de desarrollo de software me dedico exclusivamente a construir y desarrollar los componentes de software que extraen, procesan, transforman, validan, depuran, integran, calculan, visualizan y distribuyen los datos, así como los documentos pertinentes. El secreto de un desarrollo fluido, sin contratiempos y sin decepciones, es que en las fases previas se formularon especificaciones funcionales y técnicas precisas, se dispone de una estrategia de implementación clara y se entiende exactamente la necesidad o el problema del cliente.

Resultados: software desarrollado y listo para su implementación, primera versión de la documentación.

Manejar todos estos aspectos antes de iniciar el desarrollo, marca la diferencia entre una solución a un problema o un producto desastroso o mediocre.

En la fase de implementación, con los componentes de software desarrollados, paso a implementar, lo que conlleva el despliegue de aplicaciones, conexión a fuentes de datos, pruebas, entrenamiento a usuarios y administradores, y en algunos casos se añade un acompañamiento para ayudarle a sacar el máximo provecho a la inversión, por último, y muy importante, ajustar la documentación para emitir la versión final.

Resultados: solución en producción y cliente feliz que recibe exactamente lo acordado.

Durante las fases de comprensión o exploración, formulación de proyecto y desarrollo de software e implementación, es absolutamente necesario apoyarse en el trípode ingeniería organizacional – gestión de datos – data analytics.

Si no es así, a la solución le falta una pata, se viene a tierra y los fracasos se pagan.

Lo invito a continuar explorando. Contácteme, será un gusto conocerlo y responder cualquier duda.

Tags:
Gestión de Datos Data Analytics Ingeniería Institucional