Blog: Het moderne dataplatform

Het Moderne Data Platform

Wat veel mensen zich niet realiseren is dat een dashboard slechts het puntje van de ijsberg is die boven het water uit steekt. Onder het oppervlak bevindt zich een heel mechanisme om de data uit de verschillende bronnen van de onderneming te halen en dit zo vorm te geven dat alle dashboards een correcte en consistente weergave van de werkelijkheid geven. Vroeger noemden we dit een Enterprise Data Warehouse. Tegenwoordig spreken we vaker over een Modern Data Platform.

Wat is het

Verschillende applicaties binnen een bedrijf bevatten vaak allemaal een stukje van een puzzel. Het ERP systeem bevat de productinformatie en de orders die zijn verstuurd. De boekhoudapplicatie houdt bij welke facturen zijn betaald en het CRM-systeem bevat alle klantgegevens. Samen kunnen deze systemen een overzicht geven van welke orders aan wie zijn verstuurd en wie er nog niet heeft betaald. In een traditioneel data warehouse werden deze gegevens elke nacht allemaal samengebracht in dure SQL-databases. Hier waren kostbare investeringen voor nodig die dat soort oplossingen buiten het bereik van kleinere ondernemingen plaatsten. Met de komst van cloud internetdiensten is het mogelijk om voor een fractie van deze kosten een dataoplossing te bouwen in bijvoorbeeld Microsoft Azure.

Investeringen in hardware zijn niet meer nodig en diensten worden vaak geprijsd op daadwerkelijk verbruik. Daarnaast zijn er inmiddels veel meer mogelijkheden om data op te slaan, niet alleen in traditionele databases maar ook in bijvoorbeeld een data lake, in noSQL databases zoals CosmosDB of in een massive parallel processing oplossing zoals Synapse Analytics of Snowflake. Zelfs real-time verwerking van data is mogelijk. We noemen dit geheel data ontsluiting, dataopslag en data visualisatie een data platform, waar een data warehouse vaak nog steeds een onderdeel van is.

Waarom

Maar waarom zou je in een data platform investeren als Power BI ook direct de gegevens uit een applicatie kan halen en je hier direct een dashboard op kan bouwen? De meeste argumenten die voor een traditioneel data warehouse golden, zijn vandaag de dag nog net zo geldig voor een data platform:

• Integratie van gegevens: Verreweg de belangrijkste reden is het integreren van gegevens uit meerdere bronnen. Rapportages die met operationele systemen worden meegeleverd kunnen alleen op de gegevens rapporteren uit die systemen. Een data platform kan over systemen heen rapporteren om zo een volledig overzicht te creëren van alles wat er in een bedrijf gebeurt.

• Consistentie: In het data platform worden de definities en business rules van de organisatie eenduidig vastgelegd. Door op 1 centrale plek het samenvoegen van deze gegevens en het berekenen van afgeleide waardes te borgen, kunnen alle dashboards, maar ook andere systemen, hier gebruik van maken. Dit zorgt dat er altijd 1 versie van de waarheid wordt gehanteerd die voor de organisatie herkenbaar is.

• Opslag van historie: Veel bronsystemen houden geen historie bij maar overschrijven oude waardes met nieuwe. Denk aan een klant die verhuisd is en een nieuw adres krijgt. Of een orderstatus die wijzigt. In een data platform kunnen deze wijzigingen gedocumenteerd worden.

• Beschikbaarheid van gegevens: Omdat alle gegevens periodiek (vaak ’s nachts) verwerkt worden zijn deze klaar voor gebruik wanneer de dag weer begint. Er hoeft dus niet gewacht te worden terwijl dashboards de gegevens weer moeten ophalen. Alles is meteen beschikbaar.

Cloud-first

Tegenwoordig worden weinig van dit soort oplossingen nog “on premises” gebouwd. Cloud-first is de nieuwe standaard. Dit heeft met name te maken met de enorme flexibiliteit die cloud oplossingen bieden. Nieuwe componenten van een data platform kunnen met een paar klikken van de muis worden opgestart en getest. Wanneer het niet het gewenste resultaat oplevert, wordt het net zo makkelijk weer uitgezet zonder dat daar permanente kosten aan verbonden zijn. Het stelt bedrijven in staat om de juiste componenten voor hun oplossing te kiezen en deze in de toekomst aan te passen.

Daarnaast zijn de meeste cloud resources zo geprijsd dat je alleen betaalt voor je gebruik (bijvoorbeeld data lake opslag), of dat ze makkelijk op- of afgeschaald kunnen worden al naar gelang de behoefte (bijvoorbeeld een Azure SQL Database of Synapse Analytics). Hoewel dit op de lange termijn niet betekent dat een cloud oplossing goedkoper is, betekent dit wel dat de kosten geleidelijk stijgen al naar gelang het platform meegroeit met de organisatie. Met on-premises oplossingen moet altijd maximaal worden geïnvesteerd om de hoogste pieken op te kunnen vangen, ook als deze slechts sporadisch voorkomen.

Tot slot is een cloud oplossing vaak vele malen veiliger dan een oplossing binnen een eigen netwerk omdat heel veel zaken al uit handen zijn genomen. Er is geen noodzaak meer voor hardware onderhoud of software updates, backups worden standaard gemaakt en op meerdere locaties opgeslagen en automatic failover wordt door de cloud provider geregeld. Allemaal zaken die on premises moeilijk te realiseren zijn en hoge kosten met zich meebrengen. Ook is network security veel beter geregeld dan vaak on premises mogelijk is.

Juist omdat er zo veel mogelijkheden zijn is het belangrijk dat een organisatie zich hierover goed laat informeren en dat ze het belang begrijpt van een gedegen data platform om de dashboards te voeden. Te vaak zien organisaties de mooie visualisaties van Power BI, Qlik of Tableau en worden er hals over kop ontwikkelaars binnen gehaald die alles in deze tools moeten gaan integreren. Dit levert in het begin misschien snel resultaat maar is op de lange termijn een recept voor een spaghetti aan rapporten die allemaal een andere versie van de waarheid laten zien. Een organisatie die echt data gedreven wil gaan werken moet zorgen dat ze ook eerst hun data op orde hebben. Een modern data platform is hierbij onontbeerlijk.