Business Intelligence: vast versus flexibel òf vast en flexibel!
Geschreven door Ronald Kubbe op 02-12-2016

Tijdens onze werkzaamheden als BI Consultants valt het ons steeds meer op dat er een aantal zaken door elkaar heen lopen. Dit komt naar onze mening mede door het steeds maar weer creëren van “buzz words” en trends, die in sommige gevallen oude wijn in nieuwe zakken zijn. Aan de andere kant heeft het ook te maken met het snel willen meegaan met (technische) innovaties en de verwachting/ hoop dat dit 'alle' problemen op zal lossen.

De wereld van BI en Analytics is in het afgelopen decennium snel veranderd en uitgebreid. Zowel op het gebied van tools als methoden. De snelle groei van beschikbare (Big) data, krachtige Analytics mogelijkheden, Agile en Scrum methodieken zijn hier een aantal voorbeelden van.

In deze blog willen we terug naar de kern van de BI veranderingen en een kapstok aanreiken waarlangs naar dit soort ontwikkelingen gekeken kan worden. Deze kapstok gaat uit van informatie als leidend onderwerp. 

Verschillende eisen
Het gebruiken van informatie om daarmee zinvolle acties te ondernemen is het doel van BI. Als we echter kijken naar het karakter van de informatie die nodig is voor de verschillende soorten gebruikers dan zijn er nogal wat verschillende eisen aan de informatie. Ik wil in deze blog het begrip Bimodal BI gebruiken als kapstok (zie ook onze eerdere blog over Bimodal).

Bimodal is het gebruik van twee stromen, een vaststaande “stabiele” stroom en een flexibele “innovatieve” stroom. In het geval van BI is dit ook een goede verdeling. We kennen immers de KPI’s, die strategisch voor langere tijd vaststaan. Maar ook de ad hoc vragen, via verschillende invalshoeken naar de informatie kijken en het snel willen gebruiken van nieuwe data en deze combineren met oude data. 

Stabiel
Laten we kijken naar de tijd voordat we wisten dat met behulp van Bimodal de verschillende eisen aan de informatievoorziening samen kunnen komen. Er wordt regelmatig gesproken over “de traditionele manier van BI”. Ik vertaal dit in Enterprise rapportages welke gevoed worden via een datawarehouse. De kracht ligt in het berekenen van complexe transformaties (business rules), waardoor er informatie met vaste definities ontstaat ('betrouwbare informatie'). Op den duur is gebleken dat deze vorm van BI niet zo flexibel is. Als er een aanpassing gemaakt moet worden of als er een nieuwe data bron is, dan kan het weken/maanden duren voordat de gehele lijn van data tot informatie aangepast is. Dit heeft te maken met expertise van de beheerders en de “logheid” van de applicaties maar ook met het tot overeenstemming komen in de organisatie van de nieuwe definitie en mogelijk de daarmee samenhangende aanpassingen in processen en applicatie inrichtingen.

Flexibel
In de loop van de tijd is er een verschuiving ontstaan. De vraag naar flexibiliteit en kortere reactietijden werd geboren. Gebruikers van de informatie (expert gebruikers) wilden ook wel eens zelf op zoek gaan naar verbanden. Nu zijn er veel tools die dit kunnen, waarvan sommige gezien worden als “warehouse killers”. Je kunt immers direct uit een bron data inladen, aanpassen en tonen. Flexibiliteit gaat echter vaak gepaard met handwerk, ook in het BI proces. Zelf data koppelen of zelf een filter aanpassen, het is allemaal handwerk. De tools ondersteunen dit, dus het kan allemaal snel gebeuren. 

Tools
Met het aanbod van de nieuwe flexibele tools is volgens mij het misverstand ontstaan dat deze flexibele tools de oplossing zijn voor 'alles'. Dit misverstand ontstaat omdat er in de meeste gevallen één vraag niet gesteld wordt, namelijk wat is de eis aan de informatie, stabiliteit of flexibiliteit? Betreft de informatie bijvoorbeeld een KPI of informatie die periodiek aan de gemeenteraad geleverd wordt? Als we deze leveren via een flexibele tool, dan kan de kracht van het snel analyses maken al snel verzanden in een handmatige nachtmerrie. Dan ga ik nog niet eens uit van de mogelijke gevolgen van de betrouwbaarheid van de uitkomst iedere keer als een handmatige actie gedaan wordt. Natuurlijk is dit redelijk pessimistisch, maar de praktijk leert mij dat het wel degelijk realistisch is. Waar (handmatig) gewerkt wordt, worden fouten gemaakt. 

Zijn er dan geen best of both worlds tools? Behalve dat we hem nog niet zijn tegen gekomen, geloven we ook niet dat dit een doel moet zijn. Beide stromen hebben een eigen noodzaak. Overigens erken ik dat er voorbeelden zijn waar een flexibele tool zelf KPI’s kan beantwoorden. Dit kan als de databronnen niet complex zijn, de rekenregels simpel zijn en rapporten eenvoudig bij de eindgebruikers kunnen komen. 

Ik benoemde eerder de experts. De groep mensen die data kunnen omtoveren in informatie en dit kunnen presenteren als de mooiste voor zich zelf sprekende verhalen. Ook hier zien we verschuivingen. Traditionele vormen van ETL zijn aan het verminderen en automatiseren komt steeds meer om de hoek kijken. Ook hier weer een misverstand. Niet alles is te automatiseren, met name het ontsluiten van complex(e) (ingerichte) applicaties vragen complexe transformaties om er goede informatie van te maken. Als we dit accepteren, kunnen we weer terug grijpen op de noodzaak van de informatie behoefte. Hebben we een complexe databron, willen we historie opbouwen en lastige rekenregels toepassen? Dan moeten we accepteren dat het betekent dat we de mouwen moeten opstropen. Is het het omgedraaide? Dan leent automatiseren zich uitstekend hiervoor. Leg je dit vraagstuk overigens neer bij de meer traditionele BI ontwikkelaars en beheerders, dan zal dit een natuurlijk emotie van afkeer opwekken, 'een systeem kan mijn handelingen niet overnemen en complexe logica automatiseren'. Maar is dat wel noodzakelijk gezien de specifieke informatievraag.  

Bimodale BI vormgeven
Terugkomende op het Bimodale aspect, hoe kunnen we Bimodale BI vorm gaan geven? Naar mijn mening kan het inbouwen van een extra laag (indien niet al aanwezig in het 'traditionele' datawarehouse), waardoor we vaste datastromen en flexibele datastromen uit een zelfde set kunnen faciliteren. Ik gebruik hier een term voor die al reeds een keer in geschiedenis van BI gebruikt is, namelijk een logische tussenlaag. 

Mijn uitleg en doel is dat er tussen de ruwe staging (1 op 1 copie uit de bronsystemen) en het eind product (dimensioneel of relationeel) een tussenlaag komt waarin de meest basale rekenregels en transformaties reeds gedaan zijn. De data in deze laag is 'basis' geprepareerd, gecombineerd en gemodelleerd. Op deze tussenlaag kunnen meer analyses gedaan kunnen worden dat op het eindproductlaag waar de gestandaardiseerde definities voor de indicatoren en rapporten in zitten. Bekende uit het BI werkveld zullen een data vault hier in herkennen. Gebruikers die flexibiliteit en innovatie nodig hebben kunnen toegang krijgen tot de logische tussenlaag, data uit deze laag kan in specifieke tooling gecombineerd worden met 'eigen' data. De kpi's, dashboard en rapporten die stabiliteit nodig hebben kunnen op de eindlaag (dimensioneel of relationeel) uitgevoerd worden.