MDM and Data Quality : Not an Option but a Requirement

View more videos from DATAVERSITY

I Don’t Trust Your Data

"The true cost of bad data is unknown and unknowable"

Très intéressant article de Thomas Redman, un des experts les plus reconnus dans la qualité des données au niveau mondial.

"The most acrimonious company battles I’ve personally witnessed have involved disagreements over data—their meanings and whether they could be trusted. I’ve seem a few of these and, in the re-telling below merged them into a single story (I’ve done my best to convey the essence of each of these battles).

In the re-telling, two departments need to work out a particular issue in meeting a sales goal. They’ve not had good experiences with one another in the past, but higher-ups have demanded a joint resolution. Battle lines were drawn as each brought their numbers to meeting. But the numbers didn’t agree. As you can imagine, Department A’s numbers reinforced its viewpoint. Likewise Department B’s." Lire la suite

Améliorer la qualité des données lors d'une migration

Je vous invite à lire l'excellent article de Dylan Jones "The Secret to Data Quality Improvement During Data Migration". 

Les projets de migration de données sont trop souvent considérés comme des projets exclusivement techniques. L'une des premières choses à faire est au contraire de définir le système cible en termes de "Business Functions" et ... de données métier. Il est essentiel à ce stade de définir les données qui apportent de la valeur à l'entreprise, et de purement et simplement oublier les autres. Le scope des données à nettoyer/améliorer s'en trouvera d'autant plus réduit.

Il faut aussi dans le même temps s'interroger sur les causes des défauts de qualité de données du système source, pour y remédier de façon durable dans le système cible. Les efforts considérables déployés pour nettoyer les données ne servent à rien si l'on n'identifie pas les véritables raisons de ces défauts. 

Autre article sur ce sujet

What is Data Governance ?

Intéressante vidéo de Steve Sarsfield, Product Manager chez Talend, qui définit précisément ce qu'est la Gouvernance des Données (Data Governance).

Scalable Data Quality

A Seven-Step Plan for Any Size Organization

View more documents from DATAVERSITY

Experian lance QAS Intuitive Search

Les adresses postales incorrectes constituent le premier défaut de qualité des données des systèmes d'information Marketing. Pour répondre à cette problématique, Experian Marketing Services dévoile aujourd’hui sa nouvelle solution QAS Intuitive Search.

QAS Intuitive Search est une solution innovante offrant la possibilité de raccourcir les formulaires Web : l’adresse est complétée et fiabilisée en une seule ligne.

Le nombre de champs et de caractères à saisir via des claviers virtuels améliore ainsi considérablement l’expérience utilisateur, y compris sur tablettes et smartphones.

L’ergonomie offerte par QAS Intuitive Search a pour bénéfice principal d’améliorer le taux de remplissage des formulaires web (inscription, abonnement, contact) et permet corollairement de réduire le taux d’abandon de paniers pour les e-commerçants.

En savoir plus

The Sixth Law of Data Quality

The First Law of Data Quality explained the importance of understanding your Data Usage, which is essential to the proper preparation required before launching your data quality initiative.

The Second Law of Data Quality explained the need for maintaining your Data Quality Inertia, which means a successful data quality initiative requires a program – and not a one-time project.

The Third Law of Data Quality explained a fundamental root case of data defects is assuming data quality is someone else’s responsibility, which is why Data Quality is Everyone’s Responsibility.

The Fourth Law of Data Quality explained that Data Quality Standards must include establishing standards for objective data quality and subjective information quality.

The Fifth Law of Data Quality explained that a solid Data Quality Foundation enables all enterprise information initiatives to deliver data-driven solutions to business problems.

The Sixth Law of Data Quality

“Data quality metrics must be aligned with business insight.”

When the correlation between poor data quality and poor business performance isn’t measured in a tangible way, data quality is misperceived as a technical activity performed for the sake of the data, instead of a business activity performed to provide data-driven solutions for business problems.

Business-relevant metrics align data quality with business objectives and measurable outcomes.

There are many data quality metrics, which are alternatively referred to as data quality dimensions. In her great book Executing Data Quality Projects, Danette McGilvray provides a comprehensive list of data quality metrics, which include the following:

• Timeliness and Availability – A measure of the degree to which data are current and available for use as specified and in the time frame in which they are expected.


• Data Coverage – A measure of the availability and comprehensiveness of data compared to the total data universe or population of interest.


• Duplication – A measure of unwanted duplication existing within or across systems for a particular field, record, or data set.


• Presentation Quality – A measure of how information is presented to and collected from those who utilize it. Format and appearance support appropriate use of the information.


• Perception, Relevance, and Trust – A measure of the perception of and confidence in the quality of data, i.e., the importance, value, and relevance of the data to business needs.

Although there are many additional data quality metrics (as well as alternative definitions for them), perhaps the two most common data quality metrics are Completeness and Accuracy.

Completeness is generally a measure of the presence of an actual data value within a field, excluding NULL values and any non-NULL values indicating missing data (e.g., character spaces). Completeness can also be used as a measure of the absence of some of the sub-values that would make a field complete (e.g., a telephone number in the United States missing the area code). Either way, completeness is not a measure of the validity or accuracy of the values present within a field.

There is a subtle, but important, distinction between the related notions of validity and accuracy.

Validity is the correctness of a data value within a limited context such as verification by an authoritative reference. Accuracy is the correctness of a valid data value within an extensive context including other data as well as business processes.

Validity focuses on measuring the real-world alignment of data in isolation of use. Accuracy focuses on the combination of the real-world alignment of data and its fitness for the purpose of use.

A common mistake made by those advocating that data needs to be viewed as a corporate asset is measuring data quality independent of its business use and business relevance, which is why most data quality metrics do a poor job in relaying the business value of data quality. Without data quality metrics that meaningfully represent tangible business relevance, you should neither expect anyone to feel accountable for providing high quality data, nor expect anyone to view data as a corporate asset.

Therefore, every data quality metric you create must be able to answer two questions :

1. How does this data quality metric relate to a specific business context?


2. How does this data quality metric provide business insight?

Get more info on aligning data quality metrics with business insight by downloading this Jim Harris white paper.

Via Dataroundtable

Qualité de Données : DataFlux et le CXP présentent les résultats de leur étude

DataFlux, leader des solutions de mise en qualité et d’intégration des données, publie aujourd’hui les conclusions d’une étude sur les pratiques des entreprises françaises en matière de qualité des données.

Y a-t-il un pilote dans l’avion ?

L’enquête montre en premier lieu que l’attribution de la responsabilité de la gestion des données reste un sujet nébuleux pour les entreprises françaises (les données sont gérées par le service informatique pour 17% des entreprises interrogées, par les départements métier pour 17% également, le reste des interrogés n’ayant pas de vision précise de qui a la responsabilité de cette tâche). En France, une entreprise sur deux n’a pas encore implémenté de projet global de Data Management et plus alarmant encore, 13% des entreprises interrogées, comprenant des entreprises grands comptes, n’ont pas clairement établi et mis en œuvre une stratégie de gouvernance des données. En outre, 51% des organisations qui n’ont pas développé de réelle stratégie de gouvernance des données, ont révélé que leurs données étaient gérées de manière ad hoc par les utilisateurs finaux, plutôt que par des responsables données ou des data stewards.

Confiance dans la qualité des données et conséquences

Alors que 90% des répondants reconnaissent que la qualité des données est un élément critique (59%) voire très critique (30%) pour la prise de décision, seulement un tiers des entreprises admet avoir confiance dans ses données ! Développer et maintenir un niveau de confiance élevé est cependant nécessaire pour éviter les effets négatifs sur les activités d’une entreprise, tels que retards, erreurs ou manque d’allocation de ressources. Ces obstacles, directement liés à la qualité des données, peuvent également générer une augmentation des coûts (crainte évoquée par 61% des répondants), une baisse de la satisfaction clients (59%), une baisse de la satisfaction des employés (46%) ou encore un impact négatif sur les revenus de la société (42%).

Ces résultats confirment que le niveau de qualité des données d’entreprise a une influence directe sur l’efficacité des organisations.

Initiatives de Gestion de Données

Un tiers des entreprises interrogées a précisé avoir déjà implémenté un projet de qualité de données (20%) ou avoir un projet de gestion des données en cours d’implémentation. Même si ces chiffres révèlent un niveau d’adoption encourageant, il reste néanmoins 25% des entreprises françaises (et là encore incluant des entreprises grands comptes) qui n’ont pas encore mis en place de projet concret de gestion de données. Ce qui est un résultat assez alarmant, dans la mesure où ces grandes entreprises, ayant par définition d’importants volumes de données à gérer, ont besoin d’une stratégie robuste de gestion de qualité de données.

L’enquête met également en lumière la relation entre les projets de qualité de données et la confiance des entreprises dans leurs données : 71% des répondants qui ont déjà implémenté un projet de qualité de données ont en effet confiance dans leurs données alors que 88% des entreprises qui n’ont pas encore franchi ce pas n’ont qu’une confiance limitée dans leurs données.

Les entreprises françaises qui ont participé à cette étude ont d’ailleurs conscience que la mise en œuvre de projets de gestion de données va les aider à améliorer l’efficacité de leur organisation (pour 73% des répondants), à réduire les risques (62%), à se mettre en conformité avec les différentes réglementations (37%) et à gérer leurs données maîtres (37%).

Conclusion

« Cette enquête démontre que les entreprises françaises considèrent leurs données comme un capital stratégique pour leur organisation, et qu’une meilleure qualité de leurs données va réellement améliorer leur efficacité », commente Frédéric Combaneyre, consultant Data Management au sein de DataFlux. « Cependant, le fait qu’elles n’aient pas systématiquement entrepris d’initiatives de gouvernance des données les amènent à avoir une confiance limitée dans leurs données. Ces entreprises doivent ainsi en premier lieu établir la responsabilité de la gestion des données au sein de leur organisation, pour permettre aux employés – qu’ils soient du service informatique ou d’un département métier – de prendre en charge la surveillance des risques liés à la qualité des données ».

Solving Customer Data Problems With MDM–Find Out How At The Customer Data Forum

Via Informatica Perspectives Blog

Have you ever received an offer from a company for a product you already own? How about two identical offers for the same product… or even three offers? It’s not uncommon. With all the great applications for campaign management and customer relationship management (CRM) that companies have implemented, how do these costly mistakes keep happening?

The problem isn’t the applications—it’s the customer data they use. In many organizations, customer data is contradictory and incomplete across multiple systems. One reason is that when you made a purchase, you might have entered the name “John” for shipping information, and “Jonathan” for billing.

Customers change their personal and professional addresses, phone numbers, email addresses and other identifying data that companies use to make cross-sell and up-sell offers. Customer data inconsistency can become a nightmare for the company, and most organizations lack the processes and technology needed to empower customer-facing teams such as marketing, sales and customer service with a complete and trusted customer view, which is an essential ingredient to attracting and retaining customers.

This lack of customer data integration means that marketing doesn’t have an accurate customer list for segmentation. They’re unable to send the right offer to the right person at the right time because they can’t be sure which customers have purchased which products and services. They end up wasting time, budget and opportunities.

There’s another cost that’s much harder to measure. If you receive two identical offers for a product or service you already purchased, you probably think the company doesn’t have its act together. You might be tempted to look at an alternative provider. A company that doesn’t have its customer data in order risks damage to its brand reputation and credibility (especially with the increased use of social media to share bad experiences).

Add in the high costs to sales and customer service, and bad customer data amounts to a huge impediment that hinders a company’s ability to attract and retain customers and puts a drag on the top and bottom line.

Read more

Data Diversity

Comme en témoigne l'article ci-dessous, l'une des difficultés couramment rencontrées dans l'amélioration de la qualité des données est la diversité des formats de données (adresses, notation décimale, date,..).

Selon moi, la langue est le problème numéro 1. Vous allez me dire qu'il suffit de convenir que l'anglais soit la langue commune des données. Mais en pratique, cela s'avère difficile, car les utilisateurs d'applications informatiques sont loin de tous communiquer en anglais, et ce n'est pas qu'un problème Français.

Illustration : Prenons l'exemple d'articles matières premières utilisés par différentes filiales nationales d'un même groupe industriel international. Au sein de la base de données de ce groupe, il est fort probable qu'une même matière première soit l'objet de doublons, ce qui est bien évidemment nuisible aux analyses consolidées, aux négociations, etc...

Pourquoi ? Imaginons qu'un tel article soit d'abord créé en Suède. L'article aura un libellé saisi en Suédois. Imaginons ensuite que dans une entité Japonaise du même groupe, il y ait besoin d'utiliser la même matière première, et donc de la trouver dans la base de données. A coup sûr, ce second besoin fera l'objet d'un deuxième enregistrement avec un libellé Japonais, car l'utilisateur Japonais aura peu de moyens de constater que l'article en question a déjà été créé par un collègue Suédois... Voilà (entre autres) comment naissent les doublons puis les n-uplets au sein de grands groupes multinationaux partageant pourtant une même base de données.

A méditer donc : à moins de disposer d'une équipe centrale bien formée aux problématiques de doublons, la multiplication d'enregistrements pour une même réalité physique reste un véritable problème. Bien sûr, les outils de détection progressent et peuvent aider, mais les différences de langage demeurent un casse-tête.

-----------------------------------------

L'article en question :

"As part of my work I deal with data from different countries. In the below figure I have put in some examples of different presentations of the same data from some of the countries I meet the most being Denmark (DK), Germany (DE), France (FR), United States (US) and United Kingdom (GB):

Click on figure to enlarge.

I have some more information on the issues regarding the different attributes :

• Date formats are discussed in the post 1/1/11
• Address formats are mentioned in the posts Compound Words and Having the right element to the left
• Decimal marks are discussed in the post How long is a Marathon
• Names are mentioned in the post What’s in a Given Name

Via Liliendahl on Data Quality

Uniserv élargit sa solution « On Demand » de gestion de la qualité des données

L'éditeur allemand Uniserv GmbH, fournisseur de solutions de qualité des données, vient d'élargir son offre SaaS (Software as a Service). Grâce aux contrôles de validation individuels, les clients ont maintenant la possibilité de vérifier la validité de leurs données en temps réel.

Eclairage : en plus de pouvoir analyser, nettoyer et enrichir les fichiers d’adresses, il est maintenant possible de procéder à des contrôles de validation individuels en temps réel, lors de la saisie.

En savoir plus

Experian QAS lance QAS Unify

Experian QAS vient de lancer QAS Unify, une solution simple et efficace d’identification et de traitement des doublons ayant pour objectif de supprimer les éléments en double maintenus dans une base de données.

La solution offre également des fonctions de déduplication et permet aux entreprises de mettre en place des paramètres de dédoublonnage adaptés à des processus métiers, apportant ainsi une qualité des données optimale.

QAS Unify identifie, via plusieurs critères pouvant être utilisés de manière simultanée, les doublons exacts ou approchants présents dans une base de données. Deux modes de traitements sont possibles : le dédoublonnage permet de retrouver les données contenues en double dans une base alors que la déduplication intervient lorsque les données proviennent de sources diverses.

En savoir plus

Data Management within the Cloud Computing

La rencontre du Cloud et du MDM !

Dans cette vidéo didactique, Pierre Bonnet, fondateur du MDM Alliance Group, expose l'intérêt du Cloud Computing pour le Master Data Management.

Qualité des données - When is Good Enough, Enough ?

via HPSquared LLC’s Blog

Lors d'une intervention au MIT Data Quality Symposium, Phil Teplitzky, Managing Director chez HPSquared LLC a mis en perspective les objectifs de la qualité des données.

Consulter les slides : Data Quality Absolute

Pragmatique, Teplitzky affirme à juste titre que la recherche de la qualité absolue est vaine et coûteuse. La qualité des données est l'affaire de tous, et pour être efficace elle doit s'inscrire dans la culture de l'entreprise.

Approfondir

55 reasons to improve data quality

Lu sur le blog de Henrik Liliendahl

55 raisons d'améliorer la qualité des données

"In the following I will list the first 55 reasons that comes to my mind for improving data quality related to the single most frequent data quality issue around, which is duplicates (and unresolved hierarchies) in party master data – names and addresses."

Lire la suite

Les services de qualité des données d’Uniserv, également disponibles pour Siebel

La société Uniserv GmbH, éditeur allemand de solutions de qualité des données, vient de développer DQ Connector Real-Time, une solution qui permettra aux utilisateurs du système CRM Siebel d’Oracle (à partir de la version 8.0) de bénéficier des fonctionnalités de validation postale et de recherche de doublons.

Cette intégration permet de procéder à une validation postale tolérante aux erreurs ou à une recherche de doublons au sein des données clients lors de la saisie d’un nouveau contact ou de la modification des informations relatives à une adresse. Ainsi, les utilisateurs du système CRM peuvent être certains que les données clients mises à leur disposition sont correctes, complètes, pertinentes et actuelles : une condition indispensable pour assurer une gestion sûre et efficace de tous les processus de travail, de distribution et de marketing gérés via la plateforme mise en place.

En savoir plus

DataFlux lance sa plateforme unifiée de Data Management

DataFlux, éditeur leader de solutions de gestion de la qualité et d’intégration des données ainsi que de master data management (MDM), a présenté ce jour DataFlux Data Management Platform, un environnement unifié de conception, développement et exécution couvrant les domaines de la gestion de la qualité et de l'intégration des données ainsi que du Master Data Management au sein d'une même interface utilisateur.

DataFlux Data Management Platform permet aux organisations de planifier, mettre en œuvre et piloter leurs projets centré sur les données et de les déployer transversalement dans l'entreprise, permettant de prendre de meilleures décisions, car fondées sur des données plus précises et fiables.

En savoir plus

DataFlux annonce une croissance de 30 % sur son chiffre d’affaires en 2009

DataFlux, leader des solutions de mise en qualité et d’intégration des données et de master data management (MDM), a annoncé aujourd’hui une croissance de 30 pour cent de son chiffre d’affaires en 2009.

« Si nous avons élargi notre portefeuille de solutions au cours de cette dernière décennie, le rôle critique de la qualité des données a toujours constitué le fondement même de notre technologie », déclare Tony Fisher, président-directeur général de DataFlux.

« L’une des tendances encourageantes que nous avons pu constater en 2009 a été le renforcement de la collaboration entre les communautés métier et informatiques. DataFlux a toujours attaché une grande importance à ce type de collaboration, et cela se reflète dans notre technologie. Nous allons continuer, en cette nouvelle année 2010, à proposer un ensemble unifié et intégré de technologies et services de gestion des données, s'appuyant toujours sur notre expertise en matière de qualité des données. L'intégralité de notre offre s'appuie sur un développement interne, et non sur l'intégration de technologies hétérogènes tierces ou acquises par rachat: ceci nous permet de proposer à nos clients une plateforme capable de gérer en toute transparence l’ensemble des opérations d'intégration des données, de gestion de la qualité des données, et de MDM. »

En savoir plus

DataFlux dévoile sa solution dédiée à la réduction des dépenses dans l'entreprise

DataFlux, leader des solutions de mise en qualité et d’intégration des données, a annoncé aujourd’hui la sortie mondiale de l’Accélérateur DataFlux® for Spend Analysis.

Basé sur la plateforme de mise en qualité des données de DataFlux, leader du secteur, cet accélérateur automatise les procédures de standardisation, de classification et d’agrégation des données, aidant ainsi les entreprises à interpréter et exploiter les informations dont elles disposent en matière d'achat.

« Les spécialistes de la gestion des approvisionnements et des achats sont actuellement dans une position unique, dans la mesure où ils ont un rôle majeur à jouer dans la réduction des coûts », explique Mickey North Rizza dans l’édition juillet 2009 du rapport AMR Research (« The Global Enterprise Application Market Sizing Report, 2008–2013 »).

L’Accélérateur for Spend Analysis aide les entreprises à organiser leurs données achat de façon à mieux cerner les tendances en matière d’approvisionnement. Plus spécifiquement, il permet aux utilisateurs de nettoyer, analyser et visualiser les données afférentes aux activités d’approvisionnement de leur entreprise. Il fonctionne de manière intégrée avec la technologie de mise en qualité et d’intégration des données DataFlux, pour constituer une solution robuste qui s’adapte aux environnements les plus complexes en matière d’approvisionnement.

Grâce à l’Accélérateur for Spend Analysis, les professionnels de l’achat parviennent à identifier plus clairement les fournisseurs qui offrent la meilleure valeur ajoutée, sur la base de critères mesurables prédéfinis et appliqués de façon systématique. De leur côté, les fournisseurs peuvent mettre à profit l’Accélérateur pour assurer le suivi de leur performance et ainsi mettre en œuvre des améliorations quantifiables.

L’Accélérateur for Spend Analysis permet par ailleurs à ses utilisateurs de générer des rapports très simples à configurer. Ces rapports soutiennent idéalement les actions de mise en conformité en regard des législations applicables et des politiques internes.

« En adoptant une telle solution pour nettoyer, classer et quantifier vos données et générer des rapports détaillés sur vos dépenses, c’est un peu comme si vous disposiez en permanence des services d’un conseiller financier indépendant, impartial et totalement logique » déclare Tony Fisher, président-directeur général de DataFlux.

85 % des organisations du retail et du e-commerce investissent dans la qualité des données

L’étude commanditée par Experian QAS révèle que 85 % des organisations du Retail et de l’e-commerce ont investi cette année dans des outils de qualité des données.

Aujourd’hui, la qualité des données n’est pas un élément sur lequel les entreprises peuvent s’appuyer en toute confiance. Cependant, il y a une réelle prise de conscience de leur part au sujet de la Data Quality. C’est pourquoi les professionnels de la distribution et du commerce en ligne investissent de plus en plus dans des solutions garantissant la qualité de leurs données dès le point de collecte, quel que soit le canal d’entrée de la donnée.

Cette étude souligne également que 87% des entreprises du Retail et de l’e-commerce ont mis l’accent sur la rétention client en 2009.

En savoir plus