La gestion des données : une corvée ou un investissement rentable ?

La gestion des données ne jouit pas d'une grande popularité, bien que la plupart des entreprises soient conscientes que ce thème d'avenir est indispensable dans le contexte d'un flux croissant de données.

Dans la pratique, on constate que malgré cela, rares sont les entreprises qui utilisent pleinement les possibilités d'une gestion (automatisée) des données. Souvent, les ressources et une solution technique suffisante font défaut.

Au plus tard, lorsque la migration vers Hana s'avère trop coûteuse parce que la base de données est trop volumineuse, un nettoyage des données devient indispensable avant que la migration puisse avoir lieu.

Les raisons de la croissance des données

Différentes raisons ont conduit à une croissance toujours plus importante des données au cours des dernières années, comme l'augmentation des transactions commerciales et les nouveaux processus commerciaux numériques, ainsi que les réglementations juridiques qui imposent un archivage sur de longues périodes.

Il s'agit notamment des règles de la loi Sarbanes-Oxley pour les sociétés cotées en bourse et des dispositions de Bâle III pour les institutions financières. Aux États-Unis, il existe les directives de la Securities and Exchange Commission (SEC) pour le contrôle du commerce des titres et, dans l'UE, la Data Retention Directive.

Parmi les autres mots-clés, citons la FDA dans le secteur pharmaceutique et alimentaire, l'HIPAA dans le domaine de la santé ainsi que la GDPdU (DE), l'ElDI-V (CH), le BAO (AT) et le FRCP.

De la valeur des données...

Plus le volume de données augmente dans un système, plus le pourcentage de données de valeur utilisées activement diminue. Les données anciennes et historiques (froides), en particulier, ne sont souvent conservées que pour d'éventuels contrôles.

Les données froides continuent toutefois d'être gérées de la même manière que les données utilisées activement (chaudes et chaudes). En moyenne, seules 7 à 15 % des données d'une base de données sont des données utilisées de manière productive et prêtes à être rapportées.

Le reste est constitué de données de base, de données temporaires, de données historiques (plus de deux ans). Les systèmes SAP BW, en particulier, accumulent des données qui nécessitent une gestion proactive et sophistiquée des données.

En moyenne, 20 à 30 % des bases de données SAP contiennent des données temporaires. Celles-ci sont créées à chaque transaction et interaction SAP et perdent leur valeur très rapidement après avoir été générées.

On trouve souvent des données temporaires dans les domaines des logs (logs d'application, logs de changement), du staging (PSA & logs de changement), des protocoles de communication (IDOCS, RFC, logs) et des données administratives (requêtes).

...et leurs coûts

Si jusqu'à présent, acheter un nouvel espace de stockage dès que l'on se sentait à l'étroit était la solution la plus simple et la moins onéreuse, car elle était plutôt bon marché, les choses ont changé ces dernières années.

Cela s'explique notamment par le fait qu'un peu d'espace de stockage ne suffit pas : les données peu ou pas utilisées subissent les mêmes processus et génèrent les mêmes coûts que les données productives. Ainsi, chaque Go de données d'un système productif est répliqué 7 fois au sein de l'environnement système.

Chez nos clients, nous constatons une croissance moyenne des données de 32,5 % par an. Il suffit de 25 % de croissance annuelle des données pour quadrupler la taille d'un système en seulement cinq ans, si aucun nettoyage des données n'est effectué.

En contrepartie, dans l'exemple d'un système d'une taille initiale de 774 Go, il est possible d'économiser 3,6 To en cinq ans, à condition d'avoir mis en place les mesures adéquates pour une gestion intelligente des données.

Une base de données trop volumineuse n'entraîne pas seulement des coûts inutiles liés à l'espace de stockage nécessaire. Les coûts de maintenance, de licences, de sauvegarde ou de stockage sont également plus élevés.

Nous constatons aujourd'hui, par exemple, de nettes variations dans les coûts de SAP Hana, entre 50.000 et 150.000 euros, selon le client et l'installation. Cloud, hébergement, intégration de centre de données sur mesure, appliance, HA/DR - tout a une influence sur les coûts, la performance et l'évolutivité.

Les déchets de données affectent les systèmes

Si le système est pollué par des déchets de données, les performances du système se dégradent souvent aussi. Cela peut être particulièrement gênant lors de la navigation à travers les transactions principales et lors de l'établissement de rapports.

Ici aussi, le poids des données coûte du temps et de l'argent. Du temps qui manque pour le nettoyage des données, ce qui conduit à d'autres déchets de données - un cercle vicieux.

Contrairement à ce que l'on pourrait croire, le manque de gestion des données ne joue aucun rôle pour le client final, mais c'est souvent la cohérence des données qui en pâtit, comme le montre l'exemple de notre client.

Le service informatique du fabricant de lits d'hôpitaux et de soins Stiegelmeyer a reçu le feed-back des collaborateurs de vente que le système n'était pas clair en raison de doublons dans les données de base et que le bon client ne pouvait pas être trouvé du premier coup. De plus, les performances du système s'effondraient par moments.

La raison en était un environnement système qui s'était développé avec de nombreux développements propres. Nous avons identifié les points faibles et les possibilités d'optimisation grâce à une analyse du système. Par exemple, 700 développements internes n'étaient pas utilisés et pouvaient être arrêtés. L'archivage des données présentait également un potentiel d'optimisation : 85% des données étaient superflues et pouvaient être archivées.

Comment la base de données reste-t-elle légère ?

Nous voyons cinq points de départ pour garder des bases de données légères et efficaces :

1. éviter la génération de données - ou ne conserver les données brutes que dans un Data Lake central. Moins il y a de données inutilisées stockées dans le système SAP, plus le système est performant et plus l'exploitation peut être réglée de manière optimisée.

2. supprimer et déclasser les données, applications, rapports non utilisés Ce qui n'est pas nécessaire doit être supprimé.

3. housekeeping automatisé : Des systèmes SAP allégés sans frais de personnel ? Basée sur des règles et dotée des meilleures pratiques, une solution de housekeeping automatisée peut effacer jusqu'à 35% du contenu de la base de données sans perdre de connaissances commerciales.

4. déplacer les données chaudes et froides vers un support évolutif et moins cher Différents concepts et approches pour le Big Data peuvent être réunis grâce à des technologies modernes comme Hadoop. Par exemple, en transférant des documents et des fichiers de SAP vers Hadoop. Les données transactionnelles et analytiques peuvent également être externalisées. Grâce à des interfaces certifiées, il est toujours possible d'accéder aux données, même si elles ne sont pas stockées dans la base de données primaire.

5. utiliser la copie sélective Les systèmes de test et de validation n'ont pas besoin de toutes les données d'un système productif.

La copie sélective de données validées par le processus d'un système de production vers un système de test permet d'alléger les systèmes non productifs. Cela accélère les processus de copie, qui sont ainsi répétés plus souvent, ce qui réduit le matériel et les frais de personnel.

Économies dans la gestion des données

En général, une gestion efficace des données permet d'économiser 30 à 50 % de la taille du système et de réduire le taux de croissance des données de 60 %.

La première chose à faire est de classifier les données de manière optimale afin de décider si et comment elles doivent être conservées au mieux : Les données chaudes (hot data) doivent être rapidement disponibles, elles sont conservées dans la mémoire principale et, par exemple lors d'une migration vers SAP Hana, elles sont directement migrées.

Les données chaudes (warm data) peuvent être transférées dans une autre base de données (secondaire), avec des performances adéquates, mais à moindre coût. Les données froides (cold data) sont stockées, archivées ou supprimées de la manière la plus économique possible.

Typiquement, la classification des données est aujourd'hui soutenue par des statistiques d'utilisation et des analyses de valeur qui assistent le Data Steward dans sa tâche de gestionnaire du cycle de vie de l'information.

Outre la création d'un catalogue de données décrivant où sont stockées les données, dans quel format et avec quelle importance, un data steward s'occupe de l'identification et de la mise à disposition des données, de la création et de la maintenance de données de référence ainsi que de la qualité cohérente des données de base.

Grâce à une gestion des données automatisée et efficace, le groupe KION a pu supprimer 30 % des données encombrantes, ce qui a permis d'augmenter les performances du système de 25 % en moyenne.

Avec SAP on Azure et les options de base de données et de stockage les plus diverses, Microsoft Azure propose des solutions adaptées aux entreprises dans le cloud. Même les très grands systèmes peuvent être exploités efficacement grâce à l'évolutivité de SAP Hana, Hadoop et des serveurs SQL. Les scénarios hybrides avec un stockage secondaire dans le cloud et la base de données primaire on premise sont de plus en plus populaires, afin d'accélérer le développement de la stratégie cloud.

Conclusion

Une gestion intelligente des données est indispensable pour endiguer la croissance des données, garantir durablement de bonnes performances du système et réduire les coûts. Il vaut la peine de surmonter les obstacles existants.

Une ILM centralisée est la clé d'une plus grande transparence, d'une réduction des efforts et d'une exécution fiable de toutes les tâches nécessaires. Par ailleurs, les approches organisationnelles telles que l'installation de Data Stewards et de Data Catalogs sont des éléments importants.

Les nouvelles technologies, associées de la meilleure manière possible et dotées d'outils analytiques, constituent la base d'une gestion moderne du cycle de vie des données/informations.

Une gestion efficace des données devient un facteur concurrentiel important pour les entreprises à une époque où les lacs de données s'accroissent plus rapidement, afin qu'elles puissent exploiter au mieux les possibilités et la valeur ajoutée des données disponibles.

Critères pour une gestion efficace des données

Mesurer la valeur des données : Les données doivent être correctement classées à l'aide d'outils d'analyse afin d'en connaître la valeur exacte. C'est là qu'interviennent aujourd'hui des approches modernes telles que le Machine Learning.

• la possibilité de traiter, de stocker, d'archiver et d'effacer les données de manière automatisée et en fonction de leur valeur
• Mettre en adéquation la valeur des données avec les coûts directs et indirects.
• Mise en œuvre régulière tenant compte des nouveaux objets
• Simplification de la gestion des données grâce à l'automatisation
• Transparence grâce à une documentation, des règles, un calendrier et un suivi centralisés et inter-systèmes
• Sécurité grâce à un ordonnancement préservant les ressources et à des alternatives à la conservation ou à la suppression radicale

Effets positifs d'un ILM intelligent

• Réduction des coûts directs et indirects grâce à la réduction de la taille du système et au ralentissement de la croissance des données
• Performance accrue
• Simplification de l'administration du système et accélération des tâches fastidieuses telles que la sauvegarde et la restauration, les copies de système et les mises à niveau.
• Réduction des coûts directs et indirects liés à l'exploitation du Business Warehouse Accelerator Hana