In deze serie van onze nieuws blog, geven we je een beknopte introductie tot de Talend Meta Data Manager (TMM). Een van onze data management experts heeft onlangs samen met andere experts uit heel Europa een deep dive sessie over TMM in Parijs georganiseerd. Maar laten we beginnen bij het begin.
Wat is Metadata Management?
Metadatamanagement is een end-to-end proces- en governancekader voor het creëren, controleren, verbeteren, definiëren en beheren van een metadatamodel. Het omvat het vaststellen van beleidslijnen en processen die ervoor zorgen dat informatie kan worden geanalyseerd en zo goed mogelijk kan worden onderhouden in de hele organisatie.Algemene voordelen die worden bereikt door de invoering van metadatabeheer zijn onder meer:
- Consistentie van de definities van metadata, zodat variaties in terminologie geen problemen veroorzaken bij het terugvinden van gegevens.
- Minder overbodige inspanningen en meer consistentie bij meerdere instanties van gegevens omdat gegevens op passende wijze kunnen worden hergebruikt
- Gegevens lineage wordt beschikbaar gemaakt over gegevensbronnen en operationele systemen en kan in combinatie met change logs gebruikt worden als audit trail.
- Maakt een uitgebreide impactanalyse mogelijk van wijzigingen in de data-integratieomgeving.
- Onderhoud van informatie in de hele organisatie die niet afhankelijk is van de kennis van een bepaalde deskundige.
- Grotere efficiëntie, wat leidt tot snellere levering van producten en projecten.
Talend Metadata Manager (TMM)
Talend Metadata Manager verbindt gegevens van platforms, databases en analyse-instrumenten om een holistisch beeld van de informatieketen te genereren in een taal die iedereen kan begrijpen.
Talend Metadata Manager biedt een uitgebreide set van mogelijkheden voor alle facetten van metadata management. Het hart van Talend Metadata Manager is een repository die repository-objecten bevat, zoals modellen en mappings die zijn georganiseerd in mappen. Modellen kunnen worden geoogst uit Talend Data Integratie modellen, Data Modeling tools, Data Warehouses, externe metadata repositories voor relationele databases (RDBMS), en Data Integratie en Business Intelligence tools. Een bepaald type repository object, genaamd Configuratie, kan “metadata stitching” modellen en mappings met elkaar verbinden om een Enterprise Architectuur weer te geven, inclusief volledige ondersteuning voor data flow lineage en impact analyse, alsmede semantische lineage definities. Talend metadata Manager bevat views en functionaliteit voor verschillende soorten gebruikers en bedrijfsbrede samenwerking:
Business gebruikers zijn meer geneigd om de data lineage functie te gebruiken
- “Als je een item in een rapport ziet, welke velden van het gegevensinvoersysteem hebben invloed op deze resultaten?
- “Waarom zijn de nummers op dit rapport zoals ze zijn?”
- “Hoe verander ik de systeemgegevens om de resultaten van dit rapport te corrigeren?”
Data stewards en data-analisten maken eerder gebruik van de impactanalysemogelijkheid:
- “Als ik een verandering in dit veld wil, welke rapporten worden dan beïnvloed?”
- “Hoe wordt deze identiteitsinformatie samengevoegd met het informatiesysteem?”
IT-architecten en -ontwikkelaars hebben behoefte aan zowel impactanalyse als datalineage-functies:
- “Hoeveel systemen zijn er nodig om de dimensies te bepalen voor dit deel van het OLAP-model?”
- “Een business report use case vraagt naar de herkomst van bepaalde waarden in een rapport, dus waar komen de gegevens vandaan en hoe worden ze gemanipuleerd?”
- “Als ik deze elementen (gegevenstype, codesets, enz.) in mijn operationele gegevensopslag moet veranderen, wat is dan de downstream-impact?”
- “Dit nieuwe ETL-proces vult mijn staging warehouse op nieuwe manieren; wat voor invloed heeft dit op mijn rapportagesysteem?”
Harvesting & Stitching Metadata
In een TMM-context betekent metadata harvesting het verzamelen van alle metadata uit verschillende gegevensbronnen. De metadata kunnen worden verzameld op bijna elk platform van het informatiesysteem van een bedrijf door gebruik te maken van zogenaamde bridges, dat zijn platform-afhankelijke connectoren die specifieke drivers gebruiken om verbinding te maken met een gegevensbron of systeem. Voorbeelden zijn databases , bestaande datamodelleringsinstrumenten, ETL-tools, Big Data-platforms, business intelligence-software (bijvoorbeeld Tableau, Cognos, Qlik), enz.
Figuur 1 – Data Lineage & Traceerbaarheid
Geoogste metadata worden gecombineerd om een actueel en realistisch overzicht van het informatiesysteemmodel van het bedrijf op te bouwen. Met behulp van geautomatiseerde oogstmechanismen worden ook wijzigingen in de metadata bijgehouden. In de TMM-opslagplaats worden verschillende metadatamodellen gecreëerd, die elk een enkele, geïsoleerde bouwsteen van het conceptuele bedrijfsinformatiemodel vertegenwoordigen.
Figuur 2 – Voorbeeld architectuur in TMM na harvesting & stitching
Business Glossary
Het bedrijfswoordenboek standaardiseert en bevordert een gemeenschappelijk begrip van de terminologie die in een organisatie wordt gebruikt volgens de ISO 11179-norm – een resultaat van twee principes van de semantische theorie, gecombineerd met basisprincipes van gegevensmodellering. Met behulp van het glossarium kan het metadatamodel worden verrijkt tot een gemeenschappelijke bedrijfsstandaard met gebruikmaking van bedrijfsterminologie die meestal niet beschikbaar is in technische bronbeschrijvingen.
Gepubliceerde metadata-architectuurdiagrammen kunnen worden doorzocht met de metadata-verkenner, die een vereenvoudigde gebruikersinterface voor zakelijke gebruikers is. Alle componenten die specifiek zijn voor de configuratie kunnen in de verkenner worden bekeken.
Talend Metadata Manager integratie
De Metadata Manager integreert naadloos met Talend data integratie en data kwaliteit componenten om geconsolideerde operationele data governance processen mogelijk te maken op basis van gedeelde repositories en dictionaries. Impact analyse, data lineage en het koppelen van technische metadata met business definities zijn belangrijke functies om data management, project scoping en samenwerking te ondersteunen.
Als u meer wilt weten over de mogelijkheden van Talend Metadata Manager, aarzel dan niet om contact met ons op te nemen voor meer details en een live demo. We kijken er naar uit om TMM in actie te demonstreren.