Datamanagement is geen rocket science

Waarom is datamanagement zo complex en tijdrovend?

Data is pas waardevol op het moment dat het gevalideerd en geprepareerd is. De traditionele aanpak van het beheren van data, vereist dat dataprofessionals veel tijd besteden aan handmatige, repetitieve taken die eenvoudig geautomatiseerd kunnen worden. Het uitvoeren van deze taken is in de traditionele situatie afhankelijk van een complexe verscheidenheid aan tools, een groeiende lijst met databronnen en -systemen en maanden werk aan het handmatig coderen van gegevens “pipelines” tussen drie primaire componenten.

• Data Lake: Waar je al je onbewerkte gegevens opneemt en opslaat. Het data lake kan door Data Scientists worden gebruikt voor geavanceerde analysedoeleinden met behulp van AI en machine learning.
• Datawarehouse: Deze wordt gebruikt om samengestelde, opgeschoonde en getransformeerde gegevens op te slaan voor bedrijfsanalyse- en intelligentiedoeleinden.
• Data Marts/Products: Dit biedt bedrijfsexperts een subset van gegevens op basis van hun specifieke domein of gebruiksscenario (klantanalyse, verkoopanalyse, financiën, enz.), Zonder hen te overweldigen met een enorm datawarehouse dat alle rapporteerbare gegevens bevat.

We noemen deze moderne infrastructuur de “data estate”. Wij zien alleen wel verschillende problemen met deze benadering van het bouwen en beheren van een data estate.

• Handmatige codering en het maken van pipelines: Nieuwe pipelines moeten handmatig worden gebouwd voor elke gegevensbron, gegevensopslag en elk gebruiksscenario (bijvoorbeeld analyserapporten) in de organisatie, wat vaak resulteert in het creëren van een enorm netwerk van kwetsbare en slecht te onderhouden pipelines. Onafhankelijk onderzoek onder data analisten toont aan dat ze tot 50% van hun tijd uitsluitend besteden aan dit soort handmatige, repetitieve taken.
• Stack on stack of tools: Om het nog ingewikkelder te maken, is er vaak een veelvoud aan tools voor het beheren van elke fase van de pipeline.
• Kwetsbare infrastructuur: Het bouwen en onderhouden van deze complexe data-infrastructuren en pipelines is niet alleen kostbaar en tijdrovend, het leidt ook tot beveiligingskwetsbaarheden en governance-problemen en maakt het moeilijk om nieuwe technologieën in de toekomst toe te passen.
• Breekbare pipelines: Erger nog, deze datapipelines zijn moeilijk te bouwen, maar zeer gemakkelijk te breken. Meer complexiteit betekent een grotere kans dat onverwachte bugs en fouten processen verstoren, gegevens beschadigen en de hele pipeline breken.
• Handmatige documentatie en foutopsporing: Elke keer dat er een fout optreedt, moeten data-engineers de tijd nemen om de data pipeline te doorlopen en de fout op te sporen. Dit is buitengewoon moeilijk als de metadata documentatie onvolledig is of ontbreekt, dit is vaak het geval!

Is een Datamanagement Platform de oplossing?

De markt voor gegevensbeheer zit nu vol met “platforms” die beloven de complexiteit te verminderen door al je tools te combineren in één, uniforme end-to-end oplossing. Hoewel dit misschien ideaal klinkt, valt dit in de praktijk echter vaak tegen:

• Stacks in vermomming: De meeste “platforms” zijn in feite slechts een stapel afzonderlijke tools voor het bouwen en beheren van elk onderdeel van het gegevensdomein dat is gebundeld.
• Tools bij elkaar gekocht: Tools worden vaak verkocht door dezelfde leverancier, maar ze zijn vaak verzameld door overnames. Hierdoor wordt het vaak een wirwar van incompatibele code dat is samengevoegd tot een “platform”.
• Low-code: Veel platforms scheppen op over het feit dat ze “low-code” zijn. Wanneer je in de details duikt, zijn er meestal maar 1 of 2 functies die deze functionaliteit daadwerkelijk hebben.
• Welkom in de gevangenis voor gegevensbeheer: Het ergste van alles is dat je uiteindelijk wordt opgesloten in een eigen ecosysteem waarmee je jouw eigen gegevens niet kunt bezitten, opslaan of beheren. Alle tools en processen zijn vooraf gedefinieerd door de platform ontwikkelaar en vervolgens verborgen in een “black box” die je niet kunt openen of wijzigen. Veel van deze platforms dwingen je zelfs om al je gegevens naar de cloud te migreren en bieden geen ondersteuning voor on-premises of hybride benaderingen.
• Ontsnappen kan niet: Niet alleen beperken deze platforms jouw opties voor gegevensbeheer aanzienlijk, als je later besluit om naar een ander gegevensplatform te migreren, moet je jouw gegevensinfrastructuur vanaf de grond opnieuw opbouwen.

Deze oplossingen zijn geen echte “platforms” en ze “verenigen” al helemaal niet iets. Het zijn tool stacks met veel beperkingen.

Een nieuwe benadering om te winnen in de machine-economie

Wij zijn van mening dat je niet gedwongen moet worden om maandenlang fragiele pipelines handmatig te coderen en hierbij afhankelijk bent van een verzameling onsamenhangende tools. Wij geloven ook niet in slecht geïntegreerde “platforms” die strikte controles opleggen en je opsluiten in een eigen ecosysteem. Het is duidelijk dat deze oude benaderingen van gegevensbeheer simpelweg niet voldoen aan de behoeften van moderne datateams. Het hoge tempo van de machine-economie houdt geen rekening met de knelpunten, vertragingen en beperkingen die deze traditionele benaderingen met zich meebrengen. Dataprofessionals hebben behoefte aan een snellere, slimmere en flexibelere manier om hun datadomeinen op te bouwen en te beheren.

De toekomst van datamanagement is low-code, agile en geïntegreerd

Volgens Gartner wordt tegen 2024, 75% van alle applicaties wereldwijd gebouwd met behulp van low-code ontwikkeltools. In feite ontwikkelt 41% van de werknemers buiten de IT al hun eigen data- en technologieoplossingen met behulp van low-code “builders”.
Shopify, Salesforce App Builder en Microsoft Power Apps zijn een aantal van de meest bekende voorbeelden van deze hulpprogramma’s. In een ideale wereld zijn dataprofessionals in staat om data op te nemen en voor te bereiden met hun eigen low-code oplossing, waardoor organisaties onbewerkte data sneller dan ooit tevoren kunnen omzetten in bruikbare inzichten. Om de uitdagingen van de machine-economie aan te gaan, hebben dataprofessionals wel een oplossing nodig die verder gaat dan alleen low-code. Het moet aan alle drie van de volgende criteria voldoen:

• Low-Code: Het moet slim genoeg zijn om alle beschikbare data voor je op te bouwen door automatisch alle onderliggende code en documentatie te genereren, van begin tot eind.
• Agile: Het moet zowel technische- als zakelijke gebruikers voorzien van een eenvoudige gebruikersinterface.
• Geïntegreerd: Het moet je data-infrastructuur naadloos integreren in een gebruiksvriendelijk en metadatagestuurd platform.

Maak kennis met TimeXtender, de Low-Code Data Estate Builder

TimeXtender stelt je in staat om datawarehouses tot 10x sneller op te bouwen met een eenvoudige, drag-and-drop oplossing voor het opnemen en voorbereiden van data. Code en documentatie worden automatisch gegenereerd, wat de bouwkosten met 70% verlaagt, datateams bevrijdt van handmatige, repetitieve taken en BI- en analyse-experts in staat stelt om eenvoudig hun eigen dataproducten te maken. TimeXtender legt naadloos een schil om de bestaande data-infrastructuur, maakt verbinding met meer dan 250 gegevensbronnen en integreert alle krachtige mogelijkheden voor gegevensvoorbereiding die je nodig hebt in een low-code, flexibele, toekomstbestendige oplossing.

De voordelen van TimeXtender voor de verschillende gebruikers op een rijtje:

• Business managers krijgen snel toegang tot betrouwbare gegevens, met 70% lagere bouwkosten en 80% lagere onderhoudskosten.
• Datateams krijgen vrijheid van handmatige, repetitieve taken en hebben meer tijd om zich te concentreren op analyseprojecten met een grotere impact.
• BI- en analytics-experts krijgen een codevrije ervaring voor het maken van hun eigen dataproducten – geen knelpunten meer.

Wil je meer weten over TimeXtender en ontdekken hoe je 10x sneller een modern dataplatform kunt opzetten en onderhouden, en hierdoor meer data-empowered bent en te winnen in de machine-economie?