¿Están sus datos orquestados para poder combinarlos y formar una “bonita melodía”?

Técnicamente, nos referimos al esfuerzo por combinar datos, procedentes de diferentes fuentes, para permitir una visión consistente del conjunto de informaciones y, así, proporcionar a los usuarios una herramienta de análisis más comprensible.

Empecemos por definir el concepto “combinar”. El concepto es sencillo pero su ejecución no lo es tanto, depende mucho de la estructuración de los datos. Se consideran estructurados cuando existe una relación bien definida entre los mismos, semiestructurados cuando las relaciones se realizan con campos de metadatos o de notas y además se combinan con algún dato no estructurado, mientras que los completamente desestructurados son los datos procedentes de textos, archivos de audio, vídeo, etc. Por lo tanto, si una fuente está desestructurada y otra no, se ha de saber contestar a la típica pregunta: ¿cómo se combinan?

Por otro lado, los datos pueden estar almacenados en diferentes formatos: archivos planos o Excel con macros, bases de datos orientadas a columnas, sistemas de bases de datos relacionales tradicionales, nuevas bases de datos orientadas a objetos o bases de datos NoSQL modernas.

Siempre se ha de tener en mente que cada base de datos puede almacenarse con un conjunto de caracteres diferentes (ANSI, ISO, Unicode, etc.) y utilizar diferentes formatos para sus números enteros y reales (incluso puede haber diferentes números de bits y diferentes usos para el bit inicial o final, por ejemplo el que representa el signo de un número).

Si puede discriminar entre los datos estructurados, semiestructurados y no estructurados y transformarlos a filas, columnas, en definitiva, relacionarlos, y ponerlos en un almacén de datos masivo (virtual), relacionándolos, entonces tan solo estará en la fase inicial de armonización de datos.

El hecho de que pueda unificar los datos no significa que pueda hacer algo útil con ellos. ¿Por qué? cuando tiene datos en diferentes sistemas, tiende a tener datos duplicados y hasta que no se depure la información para eliminar dichos duplicados, cualquier informe que ejecute será incorrecto e inútil.

¿Por qué se llega a tener tantas “copias”? Ello sucede cuando se manejan datos de proveedor para tareas de planificación de necesidades (un sistema MRP), pero también se recogen datos de detalle de productos o de ubicaciones en stock (un sistema ERP), o los datos relativos a pagos (en sistemas de Cuentas a Pagar), o las informaciones específicas de productos terminados (en Catálogos), o relativas a negociaciones con proveedores (aplicación eSourcing), o concernientes a los rendimientos de las relaciones con nuestros proveedores (un SRM), o las incidencias acontecidas con productos comprados, o el repositorio de contratos de compras, o la gestión de riesgos de proveedores (donde se recopilan métricas internas y datos de terceros ) o sus facturas, etc, en definitiva, un caos, ¿verdad?

¿No sería más sencillo tener identificados a los proveedores básicos, con su identificador, su denominación, contacto, etc? Estamos hablando de cambiar el trabajar con muchas copias de una misma información en función del área de aplicación, a trabajar con un único registro, unificado y sin duplicidades. ¿Por qué no se ha planteado la unificación? Quizás por la laboriosidad que supone el unificar dichas informaciones. Necesitará identificar las informaciones duplicadas, verificar cuáles son correctas o incorrectas, y reemplazarlas por una única información actualizada, y todo ello para cada registro, encontrándonos normalmente con miles de registros (proveedores, producto…). ¡No es tarea fácil!

Pero incluso si logra hacer esto, encontrará que todavía existen vacíos de información que requerirá de un enriquecimiento de la misma a partir de fuentes externas de información. Posteriormente, habrá que considerar todos los problemas derivados de la sintonización de los datos unificados frente a los capturados desde fuentes adicionales (vía EDI…). Es decir, se asumirá siempre que faltarán datos. Por lo tanto, el enriquecimiento y la actualización también llegan a considerarse un desafío.

Sin embargo, incluso cuando consigue:

• Centralizar la información
• Depurar las duplicidades
• Enriquecer la información centralizada

… no se tienen completamente armonizados los datos porque para ello, deben estar estructurados adecuadamente para poderse usar. La creación de análisis efectivos pasa por la definición de estructuras/cubos de análisis convenientemente estructurados, de lo contrario, tanto esfuerzo no servirá de gran cosa.

Las soluciones de análisis no son las únicas que necesitan de una estructura correcta de la información. El catálogo interno también necesita datos estructurados adecuadamente para permitir una búsqueda y recuperación rápida de lo que se pretende buscar. El sistema de análisis de impuestos por país, por proveedor, etc, es otro sistema que se nutre de información que ha de estar adecuadamente almacenada. De manera que todas las herramientas que tengamos en la compañía se beneficiarán del hecho de tener una información centralizada, depurada y completa.

En otras palabras, la armonización de datos requiere de un esfuerzo complejo y de un equipo capaz de hacerlo posible, estamos hablando del cuarteto que le puede permitir crear “melodías”: normalizar los esquemas y formatos de datos para la centralización, la eliminación de duplicados, limpieza de datos obsoletos, estructuración. Estamos hablando de tener una Gestión de Suministros que “suene bien”.

Por todo lo visto, no sólo es importante entender por qué se necesita la armonización, sino también todo lo que ello implica. Esto nos lleva a requerir de los servicios de un proveedor que entienda estas complejidades.

En este artículo, hemos tratado de transmitirle preguntas que deban hacer a sus proveedores de servicios de gestión de datos, y de esta manera identificar cuáles son los más adecuados. La realidad es que todos los proveedores comprenden la importancia de la armonización de datos, pero no todos son capaces de llevarla a cabo eficientemente. ¡Esfuércese en buscar proveedores que sean instrumentos que le permitan crear “sinfonías” o procesos más eficientes a partir de la correcta “orquestación” de sus datos!