in

Les coûts cachés d’ETL DIY

Nous comprenons qu’il y a quelque chose de bien à se retrousser les manches et à faire un travail soi-même.

Les coûts cachés d’ETL DIY
Les coûts cachés d’ETL DIY

Cela peut vous garantir plus de contrôle, plus d’expérience.

Mais DIY ETL n’est pas comme peindre votre nouvelle clôture de jardin. En effet, il existe de nombreux coûts et inconvénients cachés dont vous n’êtes peut-être pas au courant.

Nous ne dirons pas “ ne le faites jamais vous-même ETL ”, mais il serait irresponsable de ne pas divulguer les coûts cachés impliqués dans la réalisation d’ETL vous-même.

Jetons un coup d’œil à ces coûts cachés.

La croissance devient difficile lorsque d’autres dépendent de votre projet DIY ETL

Créer votre propre ETL peut tout d’abord donner une belle apparence. Mais lorsqu’une autre personne ou un autre processus s’appuie sur la conception de vos données, les choses se compliquent.

Parce que? Parce que maintenant que vous faites partie de votre organisation plus large, vous devrez la gérer différemment. Bien que vous ayez pu arrêter ETL pendant un jour ou deux pendant que vous l’utilisiez, vos nouvelles dépendances veulent probablement qu’il fonctionne sans interruption. Vous ne pouvez pas non plus apporter de modification sans en informer au préalable les autres utilisateurs.

Et pour soutenir votre projet de données, vous devez gérer les autres éléments qui l’accompagnent. Cela inclut la collaboration de support, le contrôle de version, la documentation, l’évolutivité, la stabilité, la surveillance et la gestion des erreurs.

Lorsque vous implémentez toutes ces fonctionnalités de support, vous constaterez rapidement que votre ETL DIY est devenu beaucoup plus compliqué et prend plus de temps que prévu. Vous constaterez également que vous auriez pu acheter toutes ces fonctionnalités dans une solution clé en main telle que CloverDX.

L’automatisation peut être plus difficile qu’il n’y paraît à première vue

Il est logique de moderniser vos systèmes et d’automatiser vos processus ETL afin que vous puissiez profiter de la productivité accrue que cela apporte.

Ainsi, au lieu de prendre des heures ou des jours pour traiter les transactions, cela peut être fait en quelques minutes. En conséquence, vous accélérez bon nombre de vos opérations et ajoutez plus de valeur à vos clients.

Mais construire vous-même l’automatisation et créer votre propre ETL peut entraîner des problèmes.

S’il est facile d’automatiser les données pour aller du point A au point B, tout ce qui va avec est plus difficile. En particulier, vous devez automatiser le mouvement des données de manière à ce que vous puissiez facilement surveiller, dépanner, modifier et ajuster; Cela nécessite beaucoup d’efforts de développement supplémentaires dans lesquels vous n’êtes peut-être pas encore prêt à investir.

Fiabilité et flexibilité réduites (très coûteuses sur le long terme)

Si vous optez pour la voie DIY ETL, les choses peuvent avancer rapidement. Vos équipes peuvent se gratter la démangeaison en proposant les solutions qu’elles souhaitent.

Cependant, cet enthousiasme est souvent de courte durée.

Parce que? Parce que lorsque les organisations créent leurs propres processus ETL, elles ignorent souvent deux des aspects les plus importants: la flexibilité et la fiabilité.

La vérité est que les besoins de votre entreprise et de vos données évolueront au fil du temps. Donc, si vous empruntez la voie du bricolage, vous devrez dépenser de l’argent pour des développeurs coûteux (en interne ou sous-traités) pour constamment mettre à jour et développer votre ETL.

De plus, vous devez gérer et corriger en permanence les erreurs dans votre ETL; Lorsque vous faites des petits boulots, vos équipes n’ont pas nécessairement besoin de construire un système fiable. Ils n’ont peut-être pas d’expérience et ne construiront pas quelque chose qui puisse facilement survivre et s’adapter à l’évolution des besoins.

Mieux vaut abandonner les bricolages et s’appuyer sur une solution créée par des experts expérimentés qui ont été là et l’ont déjà fait. Ensuite, vous avez un ETL conçu dès le départ pour être fiable et flexible (et beaucoup moins cher à long terme).

Vous ne savez pas ce que vous ne savez pas (encore plus de coûts cachés)

D’autres choses surgissent inévitablement lorsque vous empruntez le chemin du bricolage. Cela ne fera qu’ajouter à vos problèmes et à vos coûts. Parmi lesquels:

  • À propos de la dépendance de quelqu’un. Le DIY ETL est souvent dirigé par un talentueux expert informatique en interne. Malheureusement, cela vous connecte avec eux et leur soutien. S’ils quittent votre entreprise, cela peut être très coûteux à découvrir, et l’ajustement ou la mise à jour de vos processus ETL peut être difficile et prendre du temps.
  • Vous serez «coincé» avec des choses. Oui, il peut y avoir des «gains rapides» avec une solution de bricolage. Mais le manque d’expérience laisse souvent peu de marge de manœuvre, ce qui signifie que des problèmes surgiront rapidement. En conséquence, les délais sont longs et les choses ne se font jamais.
  • Une infrastructure de «spaghetti». Une tentative de bricolage est aussi, eh bien, un désastre. Cela est particulièrement vrai lorsqu’un ou plusieurs développeurs créent une solution de tuiles sans regarder la «vue d’ensemble». Cette infrastructure chaotique peut être difficile à voir et très coûteuse à exploiter.

Si nous sommes honnêtes, ces défis sont difficiles à relever et peuvent provenir même des travailleurs informatiques les plus talentueux. Heureusement, il existe une meilleure façon de le faire.

Pourquoi supporter tous ces coûts et risques si vous n’êtes pas obligé?

Comme vous l’avez vu, DIY ETL peut sembler attrayant, mais la réalité peut être extrêmement difficile.

Des problèmes de fiabilité à un système qui n’inclut pas tous les avantages de l’automatisation, de nombreuses tentatives de bricolage ETL sont nettement plus coûteuses (en particulier à long terme).

Donc, pour ceux qui cherchent à réduire les coûts ET à créer une solution qui répond à 100% à leurs besoins, un outil comme CloverDX vaut la peine d’être exploré.

Si vous vous demandez si vous devez jeter votre ETL maison, consultez notre séminaire en ligne où nous discutons comment savoir quand il est temps de passer à une plate-forme plus mature et les avantages et les défis que cela apporte: Il est temps d’abandonner votre maison ETL. Ça ne doit pas faire de mal.

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *

GIPHY App Key not set. Please check settings

Loading…

0
Comment nous construisons des structures d’intégration de données solides avec CloverDX

Comment nous construisons des structures d’intégration de données solides avec CloverDX

17 FinTechs écrasant linnovation basée sur les données imfarmers.com

17 FinTechs écrasant l’innovation basée sur les données