Data Platform: Qué es y cuáles son sus retos

Adevinta Eng. - Jan 28 '22 - - Dev Community

¿Qué es un data Platform?

Data Platform es un producto clave en nuestra cultura data driven, como acelerador tecnológico para poder gestionar el dato como activo, y yendo más allá incluso como producto. Una Cloud Big Data Platform que debe dotar a nuestros usuarios de una infraestructura como servicio y herramientas de autoconsumo de la información en todo su pipeline de datos. Y todo ello acompañado de una cultura del dato como producto y una gobernanza computacional federada. Sí, hablamos de Data Mesh, y ahí tenéis bastante literatura de la mano de su creadora, Zhamak Dehghani.

Liderando un equipo Data Platform en Adevinta Spain
Adevinta Spain es un grupo de marketplaces líder en España formado por 6 marketplaces, que reciben a 1 de cada 2 internautas españoles cada día.

Como PO del equipo producto Data Platform en Adevinta Spain, mi misión es liderar la visión y estrategia del producto, con un equipo de desarrollo compuesto por Big Data Engineers, DataOps y Machine Learning Engineers.

Hace un año que me incorporé a Adevinta Spain y me enfrenté al gran reto como equipo de ser impulsores de la evolución de la compañía a nivel Data. En este tiempo nos hemos acercado más al negocio y los usuarios, porque las soluciones tecnológicas no son más que una respuesta a la estrategia y como tales deben ir acompañadas de personas y procesos.

Image description

Y ¿cómo acercar un mundo tan técnico a los usuarios? Pues ese es mi gran reto, hacer entendible lo complejo, entender la tecnología y entender al usuario, hablar ambos idiomas y trabajar como one team para construir un producto enfocado en valor.

El reto es grande porque nuestra Data Platform da servicio a todos los marketplaces con los que cuenta Adevinta en España (Fotocasa, Habitaclia, InfoJobs, coches.net, motos.net y Milanuncios). Y debemos equilibrar el dar un servicio global centralizado, y a su vez dar autonomía a los equipos/dominios de datos. Para no ser un cuello de botella y poder acelerar nuestra cultura data driven. Donde el usuario se preocupe por los datos, y los pueda incorporar en los procesos de decisión y construcción de productos en todos nuestros marketplaces.

El camino está iniciado y ya caminamos juntos tecnología, personas y procesos. Dónde desde Data Platform aportamos las últimas tecnologías Big Data y productos innovadores que puedan acelerar nuestra estrategia de compañía y data.

Nuestra Visión de Data Platform: ¿Dónde estamos hoy?

Pues estamos dando un servicio centralizado a nivel infraestructura a cada uno de nuestros marketplaces y/o dominios de datos, con una ingesta de datos masiva y con un catálogo central de discovery y gobernanza de la información.

Image description

Dedicando esfuerzos a automatizar procesos y dar herramientas a nuestros usuarios para que sean independientes, y sean los mínimos procesos los que dependan de nosotros. Porque tenemos la suerte de que cada marketplace cuenta con un equipo potente de Data Engineers, Data Analyst y Data Scientist para la construcción de productos data.

Cada uno de los dominios recolecta las fuentes de datos de interés, utiliza los productos para su ingesta, transforma los datos en las diferentes zonas lógicas de Data Lake y Datawarehouse. Y a partir de ahí, analyst y data scientist hacen su magia convirtiendo el dato en insight, dashboard de seguimiento o modelo de machine learning, que en última instancia convierte el dato en acción para la toma de decisiones y evolución de producto en todos nuestros marketplaces, mejorando el conocimiento del cliente y la experiencia de usuario.

El dominio es por tanto, dueño de su dato y de todos los procesos de transformación del mismo. A través de los cuales genera productos de datos que posteriormente comparte con el resto de marketplaces.

Image description

Y desde Data Platform ofrecemos la infraestructura y las herramientas para que los dominios puedan trabajar con los datos.

La infraestructura engloba engine, cómputo, scheduler, endpoints (sqlaas, notebooks, programmatic), networking, deploy y etc. En definitiva lo que el usuario no ve y dota de capacidades para realizar “la magia”.

Las herramientas de autoconsumo, que engloba las capacidades anteriores y aporta esa capa “user friendly” que el usuario requiere para realizar su día a día, preocupándose por el dato y nada más. Aquí vivimos en plena evolución porque la tendencia de democratizar la analítica hace que los perfiles sean dispares y debamos adaptar capas a skills requeridos. Así que, en este punto, hay un mundo por evolucionar.

Visión de Data Platform: ¿Hacia dónde vamos?

Hacia un data ownership asumido 100% por los dominios, donde el productor/dominio es el que gobierna el dato porque es el que lo conoce y sabe evolucionarlo para que su valor sea máximo. Donde nosotros como Data Platform facilitamos la infraestructura, las herramientas y los productos como servicio para que puedan ser independientes y llevarlo a cabo, garantizando la escalabilidad, y acelerando así la construcción de modelos de machine learning y la toma de decisiones basadas en datos. Y donde cada dominio construye y comparte sus productos de datos con el resto.

En esta transición es muy importante equilibrar las tres patas: personas, procesos y tecnología. Es por ello, que avanzamos en paralelo en:

  • La cultura de la compañía con el dato

  • La definición de políticas y procesos de data governance

  • Y en dotar de la tecnología (data platform) necesaria para acelerar la estrategia y acompañar a las personas y los procesos.

Porque solo se puede avanzar y acelerar juntos, no hay otro camino.

Escrito por Marta Díaz

Master en Business Intelligence y Big Data, Diplomada en estadística y Licenciada en Investigación y Técnicas de Mercado. Muy ligada al Gobierno del Dato, es miembro activo de Dama Spain en los Comités “Data Governance & Metadata” y “Data Quality & Content Management”. Actualmente desarrolla su actividad profesional en Adevinta Spain.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Terabox Video Player