De beste opties voor opslag en migratie van data in het Power Platform

Oké, stel je voor: je zit lekker met je laptop, genietend van een goede kop koffie, klaar om een geweldige oplossing voor je klant te bouwen in het Microsoft Power Platform. Je hebt alle tools tot je beschikking, maar er is één cruciale vraag die blijft hangen: “Welke wijze van dataopslag en datamigratie past het beste bij mijn oplossing?” Geen stress, wij gaan je helpen bij al jouw vraagstukken rondom data in het Power Platform.

Laten we eerlijk zijn, data is koning. Het maakt niet uit hoe flitsend je app eruitziet, als de data niet klopt, heb je niks. Klanten hebben vaak een ratjetoe aan bestaande databronnen en hebben specifieke wensen. Wil de klant niet betalen voor dataopslag of overstappen op iets nieuws? Dan vallen sommige opties helaas af.

Dus: wat zijn de meest gebruikte opties voor de opslag van data binnen een Power Platform oplossing? En hoe maak je data uit andere bronnen beschikbaar binnen deze opties? Let’s dive in en ontdek de beste manieren om data in te voeren in je Power Platform oplossing.

Waarom wil je datamigratie-technologie integreren in jouw Power Platform solution?

Solutions in het Power Platform zijn een soort pakketjes waar je alle onderdelen van je oplossing in zet. Dit zorgt ervoor dat je je oplossing overzichtelijk is en je deze goed kan onderhouden. Hierdoor door je er bijvoorbeeld dat wanneer je een nieuwe versie van een oplossing installeert binnen de productie-omgeving alle bestaande elementen op de juiste manier worden vervangen. Het zorgt er ook voor dat alle onderdelen altijd in combinatie met elkaar blijven werken en niet meer incompatibel zijn na een update.

Solutions helpen je dus om het Application Lifecycle Management (ALM) goed in te richten. Met steeds meer nieuwe functionaliteiten zoals Pipelines en versiebeheer van je Power Automate stromen kan je door gebruik te maken van solutions steeds beter je oplossingen beheren.

Hierom is het gebruik maken van een solution een best practice binnen het Power Platform bij de ontwikkeling van een oplossing. Deze blog zal zich daarom vooral focussen op technieken voor het migreren van data als onderdeel van een Power Platform solution. Dit is essentieel omdat je anders het risico loopt dat de wijze van datamigratie niet meer overweg kan met de wijzigingen die je bijvoorbeeld hebt gedaan in je datamodel.

Wat zijn jouw belangrijkste opties binnen het Power Platform voor de opslag van data?

Binnen een Power Platform solution draait in de basis alles wat komt kijken bij dataopslag om Dataverse. Microsoft gebruikt Dataverse door het hele Power Platform heen. Het gebruik maken van Dataverse (behalve in een beperkte ‘Dataverse for Teams’-versie) gaat gepaard met een betaalde licentie. Zeker wanneer je een oplossing gaat bouwen die met grotere hoeveelheden data te maken heeft (10Gb of meer), kunnen de kosten oplopen.

Buiten een solution om kun je ook gebruik maken van alternatieve opties voor dataopslag, zoals SharePoint Lists en (Azure) SQL-databases. Deze eerste is gratis, maar biedt je niet de stabiele (betrouwbare) en gemakkelijke relationele database-functionaliteiten die je bij Dataverse en (Azure) SQL-server hebt. SQL-server biedt een zeer betaalbare vorm van opslagcapaciteit, maar kent ten opzichte van Dataverse geen mogelijkheid tot row-level security en maakt onderhoud wat complexer. Die luxe verklaart voor een (klein) deel waarom je voor Dataverse wat meer gaat betalen bij grotere volumes.

Wanneer is datamigratie nodig?

Bij het ontwikkelen van een oplossing is het goed mogelijk dat je data dient te gebruiken die wordt opgebouwd binnen andere systemen of opslaglocaties. Deze databronnen kunnen zich zelfs buiten jouw organisatie bevinden. Het is goed mogelijk dat je deze data wilt verrijken, of juist wil gebruiken om de opgebouwde data in jouw Power Platform oplossing mee te verrijken.

Het verschil zit hier ook of de data continu of periodiek gesynchroniseerd dient te worden, of dat er slechts eenmalig een migratie nodig is. Wil je bestaande data bewerken maar wordt deze data ook gebruikt voor andere oplossingen? Ga dan altijd goed na of het voor deze oplossingen een probleem is als je data bewerkt. Weet je dit niet zeker? Importeer dan deze data naar je eigen oplossing.

Wanneer is een nieuwe databron nodig?

Bedrijven zijn zuinig op hun data en terecht. Het Power Platform heeft krachtige tools om data te bewerken en kent een stevige back-upfaciliteit. Moet je data bewerken? Dan is een nieuwe dataopslag vaak de beste keuze. Dit betekent dat je de bestaande data filtert, eventueel aanpast, en opslaat in een nieuwe opslag.

Als je alleen data wil inzien en niet bewerken, dan is een nieuwe opslag meestal niet nodig. Het is in ieder geval aan te raden om het dupliceren van data zoveel mogelijk beperken. Maak dus nieuwe databronnen aan voor de data binnen jouw oplossing en connecteer zoveel als mogelijk met bestaande data als je deze alleen hoeft in te lezen en het hier niet om al te grote volumes gaat. Op deze manier voorkom je dubbele data en houd je de risico’s die dit met zich meebrengt beperkt.

Opties binnen het Power Platform voor data import

Optie 1: Dataflows (Power Query)

Dataflows (op basis van de Power Query-technologie) zijn je beste vriend als je veel data moet importeren, filteren en aanpassen om tenslotte te importeren binnen Dataverse. Het ondersteunt veel verschillende databronnen en je hebt zeer veel vrijheid om de data te transformeren binnen de Dataflows editor voordat deze wordt geïmporteerd. Met Dataflows kan je gemakkelijk op geplande momenten data inladen en hier vooraf geconfigureerde bewerken op laten uitvoeren.

Voordelen:

• Kan omgaan met allerlei soorten data en deze combineren.
• Ideaal voor grote datasets.
• Maakt het makkelijk om (periodiek) data migraties te plannen
• Kan ook gebruikt worden om huidige data te updaten.
• Synchronisatie en de status daarvan zijn te beheren met Power Automate.

Nadelen:

• Meestal alleen bruikbaar in betaalde oplossingen (vanwege Dataverse).
• Vereist enige kennis.
• Niet geschikt voor aanpassingen aan individuele regels in een tabel.

Optie 2: Power Automate

Power Automate is voor data bewerken het meest divers binnen het platform. Met Power Automate  kan data uit verschillende bronnen lezen en elke record aanpassen zoals jij dat wilt. Ideaal als je veel moet sleutelen aan je data.

Voordelen:

• Veel opties om data te wijzigen.
• Gebruiksvriendelijke interface.
• Onderdeel van een Microsoft 365 abonnement met de optie tot schrijven naar gratis dataopslag.

Nadelen:

• Niet zo snel; het kan lang duren om grote datasets te verwerken. Parallellisatie kan hierbij helpen, maar vereist soms meer creativiteit in gebruik van variabelen.
• Kan met minder databronnen overweg dan Dataflows.

Optie 3: Maak virtuele tabellen aan met Dataverse

Dataverse heeft de optie om data vanuit andere databases in te laden in een eigen tabel zonder dat dit dubbele data oplevert. Dit worden virtuele tabellen genoemd. De data in deze tabellen kan gebruikt worden maar niet worden aangepast. De data wordt automatisch geüpdatet wanneer de data in de externe databron wijzigt.

Voordelen:

• Data van bestaande databases zijn naadloos geïntegreerd in je oplossing.
• Uitstekende manier om geen kopieën van data te hoeven maken.
• Data is altijd up-to-date.

Nadelen:

• Data kan niet worden aangepast.
• Alleen te gebruiken met Dataverse, en hierdoor vaak betaald.
• Niet alle bestaande tabellen zijn geschikt voor virtual tabellen. Zo vereisen ze een GUID en een Key wat nog lang niet altijd de standaard is.

Optie 4: Maak direct gebruik van connectoren naar bijv. SQL-databases

Binnen het Power Platform heb je de optie om direct gebruik te maken van 1000+ API’s middels connectoren. Eén van deze connectoren is die van (Azure) SQL-databases. Hiermee is o.a. in Power Apps de PowerFx-syntax te gebruiken om relationele datasets op te vragen, vergelijkbaar met SQL-queries. Deze methode kun je op zichzelf enkel gebruiken om data uit te lezen en te bewerken direct in de bron, maar leent zich niet om data te migreren naar bijv. Dataverse.

Voordelen:

• Er hoeft geen nieuwe data-entiteit gemaakt te worden.
• Je werkt altijd met de nieuwste data.

Nadelen:

• Betaalde functie.
• Je werkt direct op al bestaande data. Het wegschrijven van verkeerde data is problematisch.

Optie 5: Importeer direct in de dataopslag

Microsoft Lists, SQL-server en Dataverse hebben allen de optie om data te importeren vanuit een Excel of csv bestand. Vooral bij kleine datasets is dit een goed startpunt om je data op een centrale plek te zetten.

Voordelen:

• Gratis bij het gebruik met Microsoft Lists.
• Goed geïntegreerd in het Power Platform.
• Makkelijk Excel en CSV importeren.

Nadelen:

• Weinig mogelijkheid tot het bewerken tijdens de import.
• Data moet goed gestructureerd zijn voordat je het inlaadt (let op datatypen).
• Beperkte hoeveelheid inzichtelijke regels met Microsoft SharePoint Lists.

Dus?

Dus, welke route kies je? Bouw je een kleine proof of concept app; het liefst zonder een licentie? Dan is Microsoft Lists misschien het geschikte startpunt voor jou óf kun je een Power Apps trial starten (mits je die nog niet hebt gebruikt). Ga je all-in met complexe datastructuren en wil je indruk maken op jouw opdrachtgever of leidinggevende? Dan is Power Query, misschien gecombineerd met Power Automate, jouw go-to.

Op de hoogte blijven van meer tips rondom het Power Platform?

Volg dan ons LinkedIn-kanaal!