Data warehouse

vrijdag 7 januari 2022

Voor elke organisatie wordt data steeds belangrijker, en is het hebben van inzicht in de juiste data vaak zelfs noodzakelijk om te blijven bestaan. Dit zorgt ervoor dat data niet alleen meer een IT-aangelegenheid is, maar een onderwerp waar de hele organisatie zich mee bezig moet houden. Een data warehouse helpt een organisatie met het beheren van deze data. In dit blog vertel ik je waarom je een data warehouse nodig hebt.

Wat is een data warehouse?

Een datawarehouse is een verzamelplaats van gegevens. Deze gegevens komen uit één of meerdere bronsystemen en zijn gestructureerd en opgeschoond opgeslagen waardoor het eenvoudiger is om inzicht te krijgen in de gegevens of in de relatie tussen deze gegevens.

Een datawarehouse bestaat vaak uit:

Een of meerdere (relationele) databases waarin de data wordt opgeslagen.
Een ETL-oplossing voor het voorbereiden van de data.

Wat is ETL?

Een belangrijk onderdeel van een data warehouse is het ETL-proces. Het verzamelen van de gegevens uit de verschillende bronsystemen gebeurt d.m.v. ETL. De letters ETL staan voor Extract, Transform en Load.

Extract; Ophalen van ruwe, ongestructureerde data uit diverse bronsystemen.
Transform; Structureren, verrijken en converteren van ruwe data naar data die geschikt is voor analyse.
Loading; Het inladen van de getransformeerde data in het data warehouse voor analyse en het gebruik voor business intelligence (BI) tools.

5 redenen waarom je een data warehouse nodig hebt

We zien veel organisaties het gebruik van een data warehouse in eerste instantie uitstellen. Omdat je met rapportage-tooling vaak al snel, en zelfs vrij eenvoudig, enkele rapporten of dashboards kunt opstellen, is de verleiding ook groot.

De problemen ontstaan als de hoeveelheid data en het aantal bronnen groter worden en de rapportages complexer. Het resultaat is dat er helemaal opnieuw begonnen moet worden omdat er geen goed fundament is gelegd. Door meteen een goed data warehouse in te laten richten start je met een gedegen fundament waar de complete informatievoorziening van de organisatie profijt van heeft.

Hieronder 5 redenen waarom je een data warehouse echt nodig hebt.

1. Kwaliteit en consistentie van data voorkomt fouten en bespaart tijd

Door gebruik te maken van een data warehouse standaardiseer je het ophalen en het structureren van de gegevens uit elke bron. Een data warehouse slaat niet alleen je data op, maar structureert het ook op een manier waardoor het al is geoptimaliseerd voor (specifieke) analyses.

Dit optimaliseren kost tijd en vergt gedegen inzicht in de ruwe data. Door dit eenmalig vast te leggen in het data warehouse vormt dit een stabiele basis, bespaart dit een hoop tijd en voorkomt foutieve aannames.

2. Mogelijkheid tot het combineren van meerdere bronnen

Door gebruik te maken van een data warehouse is het mogelijk om de gegevens uit verschillende bronnen te verzamelen. Door deze gegevens met elkaar in relatie te brengen kunnen er interessante inzichten ontstaan.

Daarnaast wordt de data in de verschillende bronnen vaak in verschillende formaten opgeslagen. Dit maakt het erg lastig om deze data in analyses te gebruiken. Een datum kan bijvoorbeeld op veel verschillende manieren worden opslagen. Een data warehouse zorgt ervoor dat deze data allemaal in hetzelfde formaat beschikbaar is.

3. “Single source of truth”: Centrale uniforme plek voor alle data uit de organisatie

We zien in de praktijk bij veel organisaties verschillende bestanden rondzwerven met momentopnames van bepaalde data. Collega’s brengen hierdoor verschillende cijfers mee in een vergadering, wat resulteert in een discussie over welke cijfers juist zijn. Dit kost veel tijd en brengt een hoop frustratie met zich mee. Daarnaast schaadt dit het vertrouwen in de betrouwbaarheid van de data.

Het datawarehouse vormt dé centrale plek voor alle informatievraagstukken. Dit zorgt voor één “single source of truth” en zorgt ervoor dat iedereen ook met dezelfde gegevens werkt. Hierdoor is het eenvoudiger om grip te houden op welke data er binnen de organisatie gebruikt wordt en is er geen discussie over wie zijn cijfers juist zijn.

Wanneer alle data op een uniforme manier gestructureerd wordt in het data warehouse is de afhankelijkheid van de bronsystemen voor de informatievoorziening minder groot. Zo is je informatievoorziening minder kwetsbaar voor wijzigingen in de bronsystemen en hoeft zelfs het compleet vervangen van het bronsysteem geen invloed te hebben op de structuur van de informatievoorziening.

4. Verbeteren van performance maakt data sneller beschikbaar

Door de data geoptimaliseerd op te slaan in een data warehouse wordt het opvragen van de juiste gegevens aanzienlijk versneld. Dit maakt dus ook de rapportages en dashboard die hier gebruik van maken veel sneller. Indien er gebruik wordt gemaakt van gegevens uit verschillende bronnen wordt dit ook versneld omdat deze gegevens al in het data warehouse samen zijn gebracht.

Wanneer het opvragen van gegevens direct op de bronsystemen plaats vindt kan dit een grote impact hebben op de performance van deze bronsystemen. Door gepland de data door het data warehouse op te halen en op te slaan worden is dit geen issue.

5. Betere beveiliging van data

Een data warehouse is ook uitermate geschikt voor het afschermen van de data. Met een data warehouse kun je ervoor zorgen dat gebruikers alleen toegang krijgen tot de data waar ze ook toegang tot mogen hebben. Omdat er één centrale plek is voor alle data hoeft deze toegang ook alleen maar beheerd te worden op één plek.