Alternative à Datasphere

SAO expérimente depuis de nombreuses années la mise à disposition optimale des données d'entreprise. La première tentative a été SAP Data Hub, ce concept était bon, mais il consommait trop de ressources et n'était donc pas rentable. Actuellement, SAP tente sa chance avec le concept très complexe de Datasphere, voir aussi page 48. Mais il est possible de faire autrement, comme le racontent Richard Brouwer, Lead Sales Engineering Specialist pour SAP chez Fivetran, et Benedikt Engel, Solutions Architect EMEA chez Snowflake, dans une double interview exclusive E-3.

E-3 : Snowflake et Fivetran, qu'est-ce qui les a conduits l'un vers l'autre et qu'est-ce qui les relie ?

Richard Brouwer, Fivetran : Snowflake et Fivetran sont partenaires depuis une dizaine d'années, et nous sommes également clients l'un de l'autre. -Fivetran est considéré comme l'un des partenaires technologiques d'élite de Snowflake et est le partenaire d'intégration de données de l'année 2022. Les deux entreprises se sont donné pour mission de sortir les données des silos, et ensemble, nous proposons une solution qui permet d'y parvenir. En général, les données ne proviennent pas de Snowflake, mais d'autres systèmes. Fivetran propose des pipelines prêts à l'emploi, entièrement gérés, qui alimentent Snowflake en données. Dans ce contexte, notre capacité unique à répliquer les données SAP fait également de nous le partenaire d'intégration privilégié pour Snowflake. De nombreux clients SAP savent que la mise à disposition de données SAP dans Snowflake est compliquée. Fivetran fournit ces données de manière simple et efficace, quasiment en temps réel. Notre objectif est de faire en sorte que les données soient une réplique parfaite de la source dans Snowflake. Snow-flake sert alors de référentiel unique et fiable pour toutes les données. 

Les anges : Entre-temps, on ne dit plus "les données sont le nouveau pétrole", mais "le temps est le nouveau pétrole". C'est aussi l'objectif de Snowflake et de Fivetran : Snowflake en tant que plateforme de données et Fivetran en tant qu'ELT, qui met à disposition des données provenant d'innombrables sources en temps quasi réel. Avec Snowflake, les données sont harmonisées et analysées, ce qui fournit des informations précieuses et permet d'augmenter considérablement l'efficacité. Nous pouvons ainsi nous consacrer à de nouvelles questions pour lesquelles le rapport coûts/bénéfices n'était pas satisfaisant auparavant. 

E-3 : Et concrètement, en quoi êtes-vous complémentaires ?

Brouwer : Avec plus de 400 connecteurs, Fivetran met à disposition les données d'une multitude de sources - dans un format qui permet aux clients de tirer le maximum de leurs données sur la plateforme Snowflake. Par exemple, dans Salesforce, les données SAP peuvent être connectées à plus de 460 sources tierces. Comme les données sont disponibles dans le bon format et à la fréquence optimale, il est beaucoup plus facile d'exploiter leur valeur avec les possibilités de la plate-forme Snowflake qu'avec d'autres solutions. Même si le volume des données et le nombre de sources augmentent de manière exponentielle, nos clients Snow-flake ont toujours toutes les données à disposition en appuyant sur un bouton. 

Benedict Engel, Flocon de neige : Snowflake met ensuite à disposition la fonctionnalité permettant d'analyser les données et de les enrichir avec d'autres données via la Marketplace de Snowflake, ou les rend utilisables de manière profitable sous une autre forme, afin que les clients puissent prendre les bonnes décisions.

E-3 : Du point de vue d'un client SAP existant avec ECC ou S/4, que pouvez-vous offrir que SAP ne peut pas faire ?

Les anges : Une plateforme de données cloudnative évolutive et rentable avec une architecture facile à utiliser, agnostique en matière de cloud et caractérisée par l'isolation des charges de travail grâce à la séparation du calcul et du stockage et des ressources de calcul. Nos clients peuvent demander des clusters de calcul de manière flexible, qui sont mis à disposition à la sous-seconde et payés selon l'approche Pay-As-You-Go - une véritable solution SaaS donc.

Brouwer : Notre offre complète comprend, pour les clients SAP disposant de systèmes ECC ou S/4, une série de solutions supérieures pour la réplication de leurs données SAP. Grâce à notre réplication efficace des données multi-cloud, nous leur permettons de répliquer de manière transparente sur différentes plateformes cloud et leur offrons la flexibilité de choisir l'environnement le plus approprié. Notre approche entièrement gérée garantit une réplication sans problème, tandis que le traitement local des données améliore les performances et offre une visibilité en temps réel. Grâce à la migration et à la réplication sécurisées des données en temps quasi réel, nous réduisons au minimum l'impact sur les systèmes sources et les clients peuvent charger leurs données SAP dans Snowflake de manière rentable.

E-3 : Quelle est votre relation avec SAP ?

Brouwer : Fivetran est partenaire de SAP et le premier connecteur certifié sera bientôt disponible. 

Les anges : Lorsqu'il s'agit de la plateforme d'analyse, Snowflake a souvent des clients communs avec SAP. Des synergies se développent souvent : SAP ERP est l'une des sources de données, tandis que Snowflake aide les clients à réaliser des cas d'utilisation qui n'étaient guère réalisables dans le passé, ou seulement avec beaucoup d'efforts. Notre plateforme est utilisée pour analyser des données SAP et non SAP, parfois étendues aux données de la Marketplace de Snowflake ou aux données en streaming des appareils IoT. 

E-3 : Au sens large, vous êtes actif dans le domaine de la gestion des données.

Il existe d'excellentes bases de données SQL, où se situe exactement, selon vous, le défi actuel de la gestion des données d'entreprise ?

Les anges : De nombreux clients optent pour Snowflake afin de résoudre les problèmes suivants : Premièrement, leurs données existent en de nombreuses copies, parfois incohérentes. Il en résulte une redondance des données. De ce fait, différentes évaluations des mêmes données donnent souvent des résultats différents, ce qui rend pratiquement impossible la gestion de l'entreprise sur la base des données. Deuxièmement, les données se trouvent dans des bases de données très différentes - donc dans des silos de données - en raison de limitations physiques ou de responsabilités différentes en matière de données. 

Cela signifie que les données ne peuvent pas être combinées. Leur utilité ne peut alors être réalisée que dans une faible mesure. Si elles peuvent être combinées, les processus de validation opaques et les différentes possibilités au sein de chaque système rendent difficile une gouvernance cohérente, ce qui conduit rapidement à des problèmes de sécurité. Et troisièmement, nous constatons que les solutions existantes n'évoluent pas avec l'entreprise - mot-clé Limited Scaling. Souvent, les systèmes doivent être planifiés pour une utilisation maximale, car ils ne sont pas élastiques. Si l'on applique l'amortissement habituel sur cinq ans, il est souvent beaucoup trop risqué de lancer un projet, car il est difficile d'évaluer les coûts et les avantages. 

E-3 : Sur son site web, Fivetran dit de lui-même : "The Automated Data Movement Platform", et Snowflake propose également la distribution de données. Les données doivent-elles être déplacées ? 

Brouwer : Oui - et avec des volumes et des sources de données en constante augmentation, l'automatisation du mouvement des données est la seule voie vers le succès. La création manuelle de ces pipelines entraîne de nombreux défis. Il est de plus en plus difficile de trouver des ingénieurs de données qualifiés pour créer les pipelines. De plus, ceux-ci doivent être entretenus et améliorés en permanence. Le Data Movement est surtout nécessaire lorsqu'il s'agit de relier des données provenant de différentes sources. Si elles se trouvent sur une plateforme, on obtient des réponses beaucoup plus rapidement et efficacement. 

E-3 : Il s'agit donc de mouvements de données et de transformation ?

Brouwer : Lorsque nous comparons Data Movement et Data Distribution, nous parlons de différentes formes de mouvement de données. Fivetran déplace principalement des données brutes ou des données sources. De telles données doivent être déplacées, car elles doivent généralement être combinées avec d'autres sources. Cela implique également la transformation des données. La transformation de ces données et leur enrichissement avec d'autres sources de données se font beaucoup plus efficacement dans Snowflake. Lorsque nous parlons de distribution de données, il s'agit plutôt de produits de données. Ce type de données se prête mieux aux données zéro-copie dans Snowflake. 

Les anges : Snowflake a pour objectif de briser les silos de données en ne stockant les données qu'une seule fois et en permettant à chacun d'y accéder. Nous y parvenons grâce à notre architecture unique, notamment en séparant le calcul et le stockage. Cela nous donne des possibilités illimitées de mise à l'échelle dans le stockage et le calcul. 

E-3 : Quelle est donc l'origine de Snowflake ?

Les anges : Snowflake trouve son origine dans le cloud - un des éléments fondamentaux de l'architecture Snowflake. En rendant Snowflake disponible sur AWS, GCP et Azure, et en reliant les comptes entre eux, nous créons ce que nous appelons notre "snowgrid", qui nous permet de mettre à disposition de nos clients le partage de données Zero Copy, la réplication et le failover. Nos clients peuvent ainsi entrer en contact direct avec d'autres clients et partager directement leurs données, non seulement à l'intérieur des frontières de l'entreprise, mais aussi avec d'autres organisations, partenaires, tiers et autres secteurs. Grâce à cette approche, nous rompons les silos de données - sur le plan géographique et également entre les fournisseurs de cloud. Les données sont toujours disponibles en direct, il n'y a pas de copies inutiles. Mais les données doivent d'abord être amenées à Snowflake et pour cela, Fivetran, avec ses nombreux connecteurs, est la solution de choix.  

E-3 : SAP a développé un concept avec le Data Hub, de sorte que les données peuvent rester là où elles sont stockées, n'est-ce pas ? 

Brouwer : C'est vrai - mais en général, les données n'y sont pas disponibles dans le format dont l'entreprise a besoin, ni à la fréquence nécessaire. Pour mettre en place un Data Hub, il faut en outre un set-up du système SAP. De plus, les données SAP sont très précieuses. Pour pouvoir utiliser cette valeur, elles doivent être combinées avec d'autres sources de données. Pour cela, Snow-flake est une bien meilleure plate-forme. En effet, le Data Hub est basé sur le concept de visualisation des données. Pour combiner des données provenant de différentes sources, il faut toujours déplacer de grandes quantités de données. Le SAP Data Hub est donc bon pour examiner les données, mais il n'est pas idéal pour un environnement de production.

E-3 : Elevator Pitch : Pour quels défis un client SAP existant doit-il absolument vous contacter ? 

Les anges : Lorsqu'il ne peut pas ou difficilement mettre en œuvre les exigences formulées par les services spécialisés, que ce soit en raison du rapport qualité/prix, parce qu'il manque des fonctionnalités dans la plate-forme ou parce que l'évolutivité de l'architecture à cet endroit ne suffit pas pour prendre en charge des charges de travail supplémentaires.

Brouwer : Si les données SAP ne sont pas disponibles à temps ou ne sont pas disponibles dans le bon format ou niveau de détail en temps voulu, c'est le bon moment pour s'adresser à Snowflake et Fivetran. Nous permettons aux clients d'extraire non seulement les données SAP, mais aussi les données importantes ou critiques pour l'entreprise d'autres sources de données externes et de les combiner dans un entrepôt de données central. Nous brisons ainsi les silos de données et permettons de prendre des décisions basées sur les données.

E-3 : Où et comment votre offre complète-t-elle de manière optimale une architecture ECC ou S/4 ?

Brouwer : Pour la réplication efficace, économique et rapide des données de SAP. En outre, nous soutenons les petits et grands cas d'utilisation d'ECC ou S/4 vers Snowflake. Grâce aux capacités CDC uniques de Fivetran, les transformations vers Snowflake sont également efficaces et rapides et fournissent des données en temps quasi réel ou par lots. En associant les données SAP à des données provenant d'autres sources, les clients peuvent tirer beaucoup plus de profit de leurs données SAP.

Les anges : C'est précisément là que Snowflake intervient : Nous générons des insights à partir de toutes les données de toutes les sources reliées. De ce point de vue, nous nous asseyons sur les systèmes de sources ECC. 

E-3 : Merci pour cette conversation.

fivetran.com

snowflake.com