déc 01

Problématique


Les grandes marques sont de plus en plus présentes sur Internet par l’entremise de leurs sites web marchands. Ces marques sont capables de générer des trafics colossaux sur une journée, tout particulièrement pendant des périodes particulières comme les soldes.

De plus, les grands rendez vous sont souvent les mêmes pour les sites de E-commerce ce qui fait que tous consomment beaucoup de ressources en même temps.

Les trois grands types de ressources consommées pendant ces pics de charge sont les suivants : réseau (bande passante), processeur, RAM.

Que faire lors de ces soldes, lors de ces pics et surtout pour ces grandes marques ?

Passer de 100 000 Visiteurs uniques par jour à 500 000 relève du possible pour ces grands compte. En contrepartie, passer de 3 serveurs frontaux à 15, juste pour des pics temporaires, semble couteux et peu pertinent dans le long terme, sans compter le gachis de ressources.

Le Cloud (computing)


Le cloud computing est une solution technique qui permet l’usage de ressources de type CPU / RAM, Bande passante « au compteur ». Vous payez ce que vous consommer. Il y a un coût rémanent pour l’hébergement de fichiers sur le Cloud mais il est très réduit.

Cette solution de payement à la ressource réellement consommée est donc un moyen très adapté de ne mettre en place des ressources que quand cela est nécessaire et de ne facturer que ce qui est consommer.

Plusieurs Cloud existent, Amazon S3, Rackspace etc…

Du simple C.D.N à l’infrastructure


Le C.D.N veut dire Content Distribution Network. En résumé, les données statiques, images, films, css, html simple peuvent vous être fournit depuis un lieu proche de vous plutôt que depuis l’autre coté de l’océan. Ceci améliore la rapidité de chargement mais également déleste les serveurs centraux en les allégeant du travail « idiot » de distribution de fichiers.

La première utilisation des Clouds a été ce CDN, les pionniers du décentralisé étant par exemple Akamaï. Mais de nos jours, les ténors comme Amazon ou Google ont rationalisé des infrastructures beaucoup plus vastes et complexes que ce qui avait été conçu jusque là. Ils ont mis en place des systèmes spécifiques, allant parfois même jusqu’à faire développer leur propre hardware.

Une fois la puissance rationalisée et déployable à loisir, il est devenu simple pour ces ténors de « revendre » leur capacité d’accueil. Nous sommes alors passé du simple CDN à de la capacité d’accueil réelle avec, notamment, l’ajout de systèmes de base de donnée.

E.T.C (*) : Extend to Cloud, le cloud pour Magento


Chez NBS System, on a dû très tôt trouver des solutions à ce problème. Les grands comptes étant de plus en plus nombreux à basculer sous Magento et il était indispensable de proposer une solution rationnelle pour les accueillir.

Les éléments étant réunis, le projet E.T.C : Extend To Cloud était lancé. Une discussion avec Yoav Kutner, pas mal de test et de R&D et voici E.T.C.

Le concept est, dans le principe, simple. Au moment où un site monte en volume de trafic, on instancie des parcelles du cloud pour accueillir une partie du trafic qui « déborde » de la capacité d’accueil physique, réelle. Si l’infrastructure physique permet d’accueillir 100 000 Visiteurs uniques par jour, l’E.T.C permet de multiplier par 4 à 5 cette capacité d’accueil.

Une fois les tests menés et les systèmes de déploiement / rétractation au point, il devient possible d’automatiser également la mise en place d’une extension vers
le Cloud (ETC) quand cela est nécessaire.

Conclusion


Évidemment, présenté comme cela, E.T.C c’est assez simple.

En pratique il existe pas mal de contraintes et de tests à mener. Les outils pour être complètement « élastique » sont assez technique à réaliser. Pour être francs, la R&D est « un peu » coriace mais le résultat est à la hauteur du boulot fournit !

Une capacité unique d’accueil, sans multiplier les serveurs à l’infini, mais qui peut, de manière élastique, s’auto dimensionner pour répondre à des très fortes charges temporaires. Bien évidemment il y a un coût de setup assez minime et ensuite subsiste uniquement un coût d’usage qui est très très nettement plus intéressant que le fait de multiplier les serveurs ;)

L’offre est disponible dès ce mois de décembre  2009.

(*) E.T.C (Extend To Cloud) est une marque et une technologie NBS System.

écrit par Philippe Humeau


3 commentaires sur “E.T.C : Extend To Cloud, Magento pour les TRES gros trafics !”

  1. 1. pag Dit :

    Hello,
    je comprends bien la scalabilité d’infrastructures en cloud.
    J’ai plus de mal à voir dans quelle mesure cela s’intègre avec l’offre des hébergeurs classiques tel que vous le présentez.
    Plus précisément, voir le cloud comme une solution complémentaire aux hébergements « classiques » n’a aucun intérêt : autant aller directement sur des solutions de type cloud non ?

    Ou alors j’ai raté un truc ?
    Merci de vos lumières,

  2. 2. Anthony Dit :

    Voilà donc le fameux extend to cloud dont nous avons eu occasion de parler rapidement lors du bargento 3 !

    J’ai hâte de voir ce que cela va donner !

    Un grand bravo à vous pour tous les efforts que vous menez au quotidien pour améliorer les capacités de notre plate forme favorite !

  3. 3. Philippe Humeau Dit :

    En fait, le déport en pur Cloud est un peu dangereux car l’on perd une partie non négligeable du contrôle de son site. Tout faire reposer sur le cloud est donc un choix qui est un peu trop lourd de sens pour des acteurs de grande envergure.

    Actuellement il existe aussi un intérêt pour les grands comptes à faire un hybride car les transactions sont gérées sur le système physique, ce qui assure une grande résilience aux soucis qui peuvent survenir. En résumé, quand ca touche au portefeuille, je veux que ca passe chez moi et que chez moi. Il faut aussi voir que le full cloud c’est très envisageable pour les sites de taille petite ou moyenne mais les grands sites ont souvent des dépendances externes, des flux entrants, des connecteurs ERP ou CRM avec des tiers et que cela ne se transpose pas simplement au contexte Cloud.

Poster une réponse