Hotmail se dote d'un nouveau système de stockage, le rendant toujours plus rapide!

Hotmail se dote d'un nouveau système de stockage, le rendant toujours plus rapide!
Hotmail se dote d'un nouveau système de stockage, le rendant toujours plus rapide!

Vidéo: Hotmail se dote d'un nouveau système de stockage, le rendant toujours plus rapide!

Vidéo: Hotmail se dote d'un nouveau système de stockage, le rendant toujours plus rapide!
Vidéo: 32 Combinaisons Secrètes de Ton Clavier - YouTube 2024, Avril
Anonim

Hotmail reçoit des milliards de courriels chaque jour. Ceux-ci doivent être stockés en toute sécurité et être facilement et efficacement accessibles. Le système de stockage en nuage de Hotmail prend en charge plus d’un milliard de boîtes aux lettres et des centaines de pétaoctets de données (un pétaoctet représente un million de gigaoctets). Et gérer des centaines de milliers de transactions simultanées efficacement à cette échelle est un défi technique. Le système de stockage repose sur la technologie Microsoft, notamment Windows Server et Microsoft SQL Server.

Microsoft a travaillé sur une mise à niveau majeure de ce système de stockage. Depuis le début de cette année, un nouveau système basé sur les technologies développées chez Hotmail fonctionne sur un cluster pilote utilisant des comptes personnels d'employés de Microsoft. Et après des tests rigoureux, le nouveau système a été certifié, ce qui offre une meilleure fiabilité à un prix nettement inférieur.

Voyons quelques-unes de ces nouvelles technologies utilisées par Hotmail.

Implémentation de JBOD en remplacement de RAID:

«RAID (Redundant Array of Inexpensive Disks)) est une technologie qui permet de connecter plusieurs disques durs à une seule carte contrôleur, ce qui les fait ressembler à un disque dur plus grand et beaucoup plus fiable (parfois appelé« unité logique »). le logiciel exécutant le système de stockage.

Hotmail utilise RAID depuis longtemps. Les e-mails ont été conservés sur plusieurs groupes RAID afin que, même en cas d'échec de l'ensemble du RAID, les messages puissent être restaurés. Hotmail a étudié le point de vue de la fiabilité des disques d’une capacité supérieure à 1 téraoctet et a découvert que sa rentabilité n’était pas rentable. Comme les systèmes RAID traitent facilement les problèmes affectant un seul système, mais pas lorsque la machine entière ou le contrôleur RAID rencontre des problèmes. Hotmail a constaté qu'avoir des copies sur une autre machine ne partageant pas le contrôleur était non seulement plus fiable, mais aussi moins coûteux que la configuration RAID.
Hotmail utilise RAID depuis longtemps. Les e-mails ont été conservés sur plusieurs groupes RAID afin que, même en cas d'échec de l'ensemble du RAID, les messages puissent être restaurés. Hotmail a étudié le point de vue de la fiabilité des disques d’une capacité supérieure à 1 téraoctet et a découvert que sa rentabilité n’était pas rentable. Comme les systèmes RAID traitent facilement les problèmes affectant un seul système, mais pas lorsque la machine entière ou le contrôleur RAID rencontre des problèmes. Hotmail a constaté qu'avoir des copies sur une autre machine ne partageant pas le contrôleur était non seulement plus fiable, mais aussi moins coûteux que la configuration RAID.

Ils ont donc développé JBOD (Just A Bunch Of Disks) où les copies de données résident sur des disques durs, des contrôleurs et des machines indépendants. Ainsi, le contrôleur de disque dur est presque complètement à l'écart et est confié au logiciel à contrôler. Ce logiciel système JBOD a été développé par Hotmail.

Ce logiciel JBOD surveille en permanence les défaillances et déclenche une alerte lorsqu'il est détecté, déclenchant ainsi un processus de réparation. Ce processus de réparation peut consister à redémarrer une machine ou un processus, à réparer des données corrompues ou même à faire intervenir une intervention humaine, le cas échéant. Le principal avantage de l’utilisation de Software réside dans le fait qu’il peut conserver les bonnes copies des mails en donnant la priorité aux actions de réparation s’il trouve moins de copies. En utilisant ce logiciel, la réplication elle-même a été simplifiée
Ce logiciel JBOD surveille en permanence les défaillances et déclenche une alerte lorsqu'il est détecté, déclenchant ainsi un processus de réparation. Ce processus de réparation peut consister à redémarrer une machine ou un processus, à réparer des données corrompues ou même à faire intervenir une intervention humaine, le cas échéant. Le principal avantage de l’utilisation de Software réside dans le fait qu’il peut conserver les bonnes copies des mails en donnant la priorité aux actions de réparation s’il trouve moins de copies. En utilisant ce logiciel, la réplication elle-même a été simplifiée

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Implémentation de disques SSD (Solid State Drives) au lieu de disques durs.

Nous savons que les SSD sont beaucoup plus rapides que les disques durs. Les disques durs, bien que plus gros et moins chers, ralentissent le traitement des demandes.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Bien que cette vitesse a un prix, car ils sont beaucoup plus coûteux / gigaoctet par rapport aux disques durs.

Les disques SSD gèrent efficacement la charge en constante évolution. Cela peut s'expliquer par le fait que Hotmail stocke non seulement les courriers électroniques mais assure également le suivi de diverses métadonnées en constante évolution, telles que la liste des messages dans la boîte de réception, le statut lu / non lu des messages, le fil de conversation, etc. Ces métadonnées occupent cependant une petite fraction de l'espace de stockage. met la charge maximale sur les disques durs en raison de la nature en constante évolution. Utiliser des disques SSD pour stocker les métadonnées et les disques durs pour les messages constitue donc une combinaison plus efficace et plus efficace.

En dehors de ces améliorations, Hotmail en révélera de nombreuses autres dans les prochains articles. Le déploiement du nouveau système de stockage a déjà commencé et les nouveaux clusters seront basés sur JBOD. Déjà 30 millions d’utilisateurs utilisent JBOD, alors que 100 autres millions évolueront avec le temps.
En dehors de ces améliorations, Hotmail en révélera de nombreuses autres dans les prochains articles. Le déploiement du nouveau système de stockage a déjà commencé et les nouveaux clusters seront basés sur JBOD. Déjà 30 millions d’utilisateurs utilisent JBOD, alors que 100 autres millions évolueront avec le temps.

Si vous avez remarqué, Hotmail est devenu très rapide. Si ce n’est pas le cas, essayez-le maintenant.

Conseillé: