En la última década, los data warehouse han sido el pilar del análisis de los datos empresariales: los departamentos administrativos, de marketing y de ventas han basado sus presupuestos, su planificación y sus informes en estas plataformas de datos centralizadas alimentadas por todos los sistemas de información.

Con la llegada de las soluciones de análisis de datos nativas de la nube que ofrecen Google, Microsoft y AWS, cada vez son más las empresas que emprenden el camino de la modernización de sus data warehouses. Un camino hacia lo que todos los analistas llaman Augmented Business Intelligence.

Hablamos de este fenómeno con tres expertos de nuestro centro de excelencia xTech sobre tecnologías en la nube y gestión de datos.

Marco Pesarini, Partner en xTech, explica qué significa modernizar un data ware house y por qué nuestros clientes están considerando estas soluciones con interés.

Modernizar un data warehouse significa llevar la plataforma de análisis de datos a funciones nativas de la nube, totalmente gestionadas y ofrecidas en modo de pago por uso. Una analogía doméstica sería lo que hicimos con los servidores de correo electrónico, que fueron sustituidos por servicios en la nube como Office 365 o Gmail. Se acabó el hardware y las licencias, que suelen lastrar el presupuesto de TI; se acabaron los costes operativos y las interrupciones derivadas de su centro de datos; los datos, los informes y los análisis están siempre disponibles a través de la red y con un modelo de costes basado exclusivamente en el consumo.

Google BigQuery, Azure Synapse y AWS RedShift son las soluciones en la nube llave en mano para construir una plataforma de datos, sin preocuparse por la necesidad de una complicada arquitectura de TI para soportarla.

Muchos de nuestros clientes proceden a la modernización de sus data warehouses por razones de coste: nuestras referencias informan de un ahorro de hasta el 50% en el coste total de propiedad en comparación con las soluciones tradicionales. La mayor parte de esta reducción se atribuye al ahorro en términos de licencias de software, que se sustituyen por modelos más sencillos de pago por uso que pueden mejorar el tiempo de amortización del proyecto de migración por debajo de los 18 meses.

Pero las ventajas de la modernización van mucho más allá del ahorro: los clientes que empiezan a explorar el tema se dan cuenta de cómo una solución de almacén de datos modernizada permite realizar análisis que no son posibles con los almacenes de datos tradicionales.

Las soluciones en la nube permiten una gestión en tiempo real mucho mayor de los informes, superando así el modelo de almacén de datos “retrasado”, en el que los datos suelen tener 24 horas de antigüedad y muchos informes se actualizan semanal o mensualmente. Las soluciones nativas en la nube adoptan herramientas de carga de big data que ofrecen un suministro casi en tiempo real desde los sistemas operativos al data warehouse, proporcionando -por poner un ejemplo- datos contables frescos para el día.

Los almacenes de datos nativos de la nube también están más abiertos a la gestión de datos no estructurados procedentes de fuera de la empresa. Por ejemplo, pensemos en los datos procedentes de fuentes del IoT y de las redes sociales, para una empresa que quiera enriquecer sus análisis de marketing con los sentimientos de la red o con los datos recogidos de los objetos conectados sobre el terreno. Estos datos a menudo se originan en la nube y vienen en volúmenes y variedad muy significativos, por lo que gestionarlos directamente en la nube ayuda a reducir drásticamente los costes de transferencia y permite una gestión flexible de los recursos: Creo espacio para la gestión de datos sólo cuando lo necesito, sin tener que hacer inversiones inútiles en horas extras.

Por último, pero no menos importante, las soluciones de almacén de datos en la nube integran de forma nativa las funciones de aprendizaje automático e inteligencia artificial más avanzadas del mercado de Google, Microsoft y Amazon. Estas funciones pueden insertarse directamente en los informes de la empresa para transformar los antiguos informes del almacén de datos en herramientas avanzadas de análisis, deducción y previsión. Son las herramientas más adecuadas para afrontar el periodo de incertidumbre al que nos enfrentamos; un periodo en el que nuestra experiencia y muchas de nuestras prácticas pueden dejar de ser adecuadas: un periodo que se aborda con la Inteligencia Empresarial Aumentada.

Todo esto nos lo ofrece la nube, accesible con unos pocos clics desde nuestros ordenadores, tabletas o smartphones, desde donde quiera que estemos. Por eso hablamos de una transformación de época”.

Eros Frigerio, Manager and Solution Architect en xTech, explica los principales retos a los que se enfrentan nuestros clientes a la hora de modernizar sus almacenes de datos y el mejor enfoque a seguir.

Como explicó mi compañero Marco, optar por modernizar el almacén de datos en la nube conlleva numerosos beneficios, pero al mismo tiempo supone una serie de retos que hay que afrontar a la hora de diseñar e implementar la solución. Los principales retos son:

1. Cumplir los requisitos de seguridad: en el mundo de la nube pública, hay que prestar mucha atención a los mismos (por ejemplo, el GDPR). No podemos recurrir a enfoques exagerados y globales -anonimizar todo-, sino que debemos trabajar en los distintos casos de uso, para encontrar soluciones que ofrezcan el mejor compromiso entre agilidad operativa y cumplimiento.
2. La necesidad de adoptar un enfoque nativo de la nube: los modelos de datos y los pipelines de ingestión y transformación de datos deben optimizarse para la nube. Se necesitan conocimientos especializados para adoptar los componentes más adecuados y obtener el máximo beneficio de los servicios y funciones nativos de la nube (sin servidor, autoescalado, etc.). Acercarse a la nube con soluciones demasiado tradicionales no solo no es útil, sino que podría ser contraproducente. Por ejemplo, tomemos el tema de la modelización de datos, donde un enfoque clásico guiado por la estandarización para reducir el espacio de almacenamiento debe dar paso a nuevos enfoques más orientados a la desnormalización -menos SQL y más Excel, si me permiten la metáfora- que pueden permitir mejor la gestión de datos no estructurados.
3. La necesidad de adoptar soluciones de gobernanza: la configuración e implementación de servicios en la nube dentro del diseño de datos corporativos requiere un marco de gobernanza de datos que le permita controlar los datos a lo largo de su trayectoria de transformación articulada, para garantizar los niveles de calidad técnica y empresarial esperados. La gobernanza de los datos se ha convertido en un componente fundamental de la modernización.

Por lo tanto, para evitar cualquier problema, es esencial que el equipo del proyecto cuente con la combinación correcta de conocimientos especializados en funciones nativas de la nube, gobernanza de datos y seguridad en la nube, y que sepa comprender, evaluar y dirigir un enfoque estructurado y maduro del programa de modernización.

Para garantizar y apoyar la evolución de las piedras angulares del nuevo almacén de datos, nuestro enfoque consta de tres fases clave que examinan cuatro áreas de intervención: la elección de la estrategia de acceso a la nube, el diseño de la arquitectura de referencia, el modelado de los datos y el despliegue de las soluciones analíticas.

La primera fase es la evaluación, en la que se analiza la situación actual para valorar la viabilidad técnica y económica, la madurez organizativa y la disponibilidad de datos para identificar la mejor dirección estratégica. Un paso fundamental de la evaluación, que suele ayudar a los clientes a comprender las ventajas y los retos asociados al almacén de datos modernizado, es la prueba de concepto. Este ejercicio experimental tiene como objetivo migrar un rango específico de datos, un informe concreto, a la nube para ver de primera mano lo que significa la modernización. Una prueba de concepto puede realizarse en pocas semanas y suele ser de gran ayuda para concienciar a todas las partes interesadas en el proyecto.

A continuación, viene la fase de conceptualización de los cimientos, destinada a crear los principales pilares del nuevo data warehouse, especialmente en lo que respecta a la arquitectura, el modelo de datos y las directrices de implementación de los flujos de datos y la analítica.

La tercera y última fase es la de implementación: ejecutar, medir y mejorar. Esto implica la activación y configuración efectiva de los componentes de la arquitectura en la nube, el desarrollo del nuevo modelo de datos, los conductos de ingestión y transformación, y la implementación de los casos de uso analítico y de informes. Todo ello tiene lugar dentro de un progreso ágil que prevé fases de mejora continua.

Luca Natali, Associate Data Engineer en xTech, explica cuáles son las principales tecnologías que permiten desarrollar una plataforma de data warehouse modernizada.

Las principales tecnologías para el desarrollo de los llamados almacenes de datos modernizados son los servicios nativos en la nube desarrollados por los proveedores para producir una plataforma, que ofrece una gestión completa desde los datos en bruto hasta los cuadros de mando de visualización. Estos servicios pueden agruparse en cinco categorías básicas:

• Capa de datos brutos: servicios de almacenamiento de objetos, capaces de albergar datos estructurados, semiestructurados y no estructurados. Suelen utilizarse como zonas de aterrizaje de archivos procedentes de otros entornos de nube o de sistemas del centro de datos del cliente. Algunos ejemplos son: Amazon S3, Google Cloud Storage, Azure Blob Storage.
• Integración de datos: herramientas de procesamiento gestionadas y escalables que pueden realizar un procesamiento de datos distribuido adaptando dinámicamente los recursos necesarios para el cálculo. Además de estas herramientas, a menudo es útil incluir servicios adicionales para programar actividades, procesamiento basado en eventos (como funciones basadas en eventos sin servidor), anonimización de datos, catalogación de datos, etc. Algunos ejemplos de estas herramientas son: Amazon Glue, Azure Data Factory, Google Dataflow.
• Data Warehousing: es el componente principal de la cadena, donde los datos se guardan en el modelo de datos en formato de tabla, después del proceso de transformación y evaluación de la calidad. Algunos ejemplos son: Amazon Redshift, Google BigQuery, Azure Synapse Analytics
• Visualización/Informes: estos servicios sirven para desarrollar informes y crear cuadros de mando de visualización de datos. Estas herramientas se integran muy a menudo con otras fuentes para combinar datos de múltiples fuentes diferentes, permitiendo así nuevos tipos de análisis.

Los ejemplos incluyen: Amazon QuickSight, Microsoft Power BI, Google Data Studio.

Un aspecto que hace que estas herramientas nativas de la nube sean muy atractivas para crear nuevos data warehouses es su facilidad de integración con las fuentes de datos de la empresa. Con solo unos pocos pasos de configuración, tenemos la posibilidad no solo de integrar sistemas empresariales tradicionales (como el ERP histórico o el CRM), sino también de conectar sistemas de información empresarial más modernos y basados en la nube, como Salesforce o ServiceNow.

Por último, cabe destacar cómo incluso para los clientes que ya han llevado su adata warehouse a la nube, pero sin cambiar la tecnología (es decir, adoptando un enfoque lift & shift), la modernización puede ofrecer más beneficios además de los ya obtenidos con la primera migración del data warehouse. Entre ellas, una mayor flexibilidad y agilidad, una mayor fiabilidad de la plataforma y una reducción de las tareas operativas diarias, gracias al servicio totalmente gestionado (gestión de copias de seguridad, actualizaciones de software, etc.). Estas ventajas no sólo afectan al almacén de datos en sí, sino también a todas las herramientas relacionadas con el procesamiento de datos, la ejecución de tuberías ETL y la programación. Por esta razón, como han dicho mis compañeros, para obtener el máximo beneficio de la solución modernizada, toda la cadena de gestión de datos -desde la fase de ingestión hasta la elaboración de informes- debe diseñarse e implementarse con un amplio uso de herramientas nativas de la nube.”

---

Si está interesado en obtener más información sobre nuestra oferta o desea mantener una conversación con uno de nuestros expertos, envíe un correo electrónico a [email protected] con el asunto “Data Warehouse” y nos pondremos en contacto con usted lo antes posible.