Le B.A-BA de la baie

Comment organiser une baie (rack) de serveurs (et switchs et autres) ?

Voici quelques pistes pour faire son choix parmi les multiples solutions possibles.

Rédacteurs
Les personnes suivantes ont contribuées à la réalisation de cet article :

Ronnie Garcia
Cyril Bellot
Loïs Taulelle

Les conseils et usages reportés dans cet article sont issus de réflexions du collectif Sysadmin.

Choix des baies

Le choix du modèle de baie dépendra de nombreux paramètres.

Il faut surtout faire attention à l'espacement des montants qui va permettre d'utiliser ou non les différents types de rails des divers constructeurs d'équipements.
- Dell
  si vous n'avez pas une baie Dell alors prenez les rails suivants "Sliding Combination Rapid/Versa Rail with CMA". Ensuite l'espacement entre vos rails avant et arrière doit être compris entre 80cm et 85cm, le standard étant 83cm, sinon vous ne pourrez pas utiliser des rails Dell dans votre baie.
La profondeur de baie : des baies de 900 cm sont souvent nécessaires pour les serveurs actuels plutôt longs. Il est parfois préférable de prendre une baie de 1000 cm (si la salle le permet) pour avoir plus d'espace à l'arrière pour le passage des câbles.
Il existe deux sortes de montants : Ceux avec des trous ronds, et ceux avec des trous carrés. Les trous carrés sont à préférer (écroux clips, kits de montages rapides).
Le type de portes : certains constructeurs vendent des portes ajourées jusqu'à 80 ou 85% pour une meilleure ventilation des équipements
Les accessoires :
- kit de mise à la terre (indispensable).
- kit de raccordement de baies entre elles.
- plateaux (adaptables à l'espacement des montants).
- passe-câbles.

Compléments

En complément, il est toujours intéressant de :

Positionner des sondes environnementales dans la salle ou dans les baies (température par exemple).
Utiliser des webcams bien positionnées et un système d'enregistrements des événements.

La documentation

Quelques conseils de documentations de gestion de baies :

Utiliser un système de documentation web facilement consultable et modifiable (typiquement un wiki).
Éviter d'utiliser plusieurs systèmes pour documenter différentes choses. C'est le meilleur moyen d'avoir des documentations incohérentes.
Utiliser les mêmes nomenclatures que les étiquettes (noms des baies, noms des équipements).
Conserver un plan de salle avec le nom des baies.
Prendre des photos régulièrement.
Pour chacune des baies, repérer les emplacements de chaque équipement, avec sa position en U. Utiliser un tableau par exemple
Pour chaque équipement, conserver la marque et le modèle (pour le décrire à un mainteneur).
Pour chaque équipement, repérer sur quel bandeau de prises ou PDU il est connecté.
Noter les positions éventuelles de plateaux ou autres éléments empêchant d'utiliser un emplacement; préciser ceux qui sont disponibles réellement.
Bien repérer le nom des prises électriques sur lesquelles seront branchés PDU ou bandeaux de prises (pour demander de remettre le courant en cas de disjonction par exemple).

Le marquage

Un équipement ne devrait jamais rentrer en baie s'il n'est pas étiqueté.

Conseils de marquage :

Étiqueter le plus possible : les équipements, les câbles d'alimentation, réseau, etc.
Étiquetage des équipements à l'avant et à l'arrière.
Une autre étiquette précise le propriétaire légal quand ça n'est pas le propriétaire de la baie.
Étiqueter les baies de manière visible : préférer pour cela le repérage de l'hébergeur dans la salle.
Pour les câbles, étiqueter la longueur si elle n'est pas écrite dessus.
Pour les câbles, choisir une méthode (et une seule) de marquage :
Par exemple :
- Utilisation de bagues numérotées, ou de codes (chiffres ou bar) sur porte-étiquettes, avec un système central de repérage
- Inscription sur l'étiquette de l'équipement qui est à l'autre bout du câble :
  - Pour un switch, le serveur (et son interface) qui est branché dessus.
  - Pour un serveur, le port de switch auquel il est raccordé.
- Inscription sur l'étiquette de l'équipement auquel on raccorde le câble et de celui qui est à l'autre bout du câble.
  Les étiquettes sont alors volumineuses et bien remplies.
Utiliser une imprimante à étiquettes en rouleau. Si le texte à inscrire est trop long, il vaut mieux utiliser des planches d'étiquettes qui peuvent se coller sur elles-mêmes autour du câble.

Organisation des baies dans la salle

Il y a matière à un article complet sur le sujet de l'organisation d'une salle machine.

Considérons ici le cas le plus simple où l'on utilise les services d'hébergements fournis par un prestataire en charge de la gestion de la salle, des énergies, de la climatisations, de la sécurité, etc.

Conseils :

Gêrer dès le début les allées chaudes / allées froides

Dans la plupart des cas actuels, la densité des serveurs et leur dissipation élevée rendent les anciens systèmes d'aération classiques (baies fermées et ventilation au toit) très insuffisant : avec ces systèmes (pour lesquels il faut des baies closes) l'air chaud peut très facilement stagner.

Presque tous les constructeurs de baies proposent des solutions permettant de canaliser les flux d'air froid : l'air arrive par le sol, dans l'allée à l'avant des baies, il est aspiré par les équipements et refoulé à l'arrière dans les allées chaudes, où il peut être climatisé (par le système global de la salle) ou mieux : évacué. Cela nécessite :

des dalles perforées (ou des dalles avec des grilles pour un meilleur débit d'air)
des caches plastiques en face avant des baies, pour boucher les espaces entre les serveurs
des plaques de toit au dessus des allées froides
des portes latérales en entrées d'allées froides
un système d'extraction d'air dans les allées chaudes

Sans aller jusqu'aux portes et toits, en tout cas dans un premier temps, le simple fait d'organiser les allées, en équilibrant les puissances est déjà une bonne chose. Disposer ses baies contre un mur peut éviter également d'avoir à mettre 2 portes d'accès à une allée froide. Il sera toujours temps ultérieurement d'ajouter portes et toits si le refroidissement dans les baies est insuffisant.

Avec la densification des machines (jusqu'à 8 coeurs dans 1U, en 2007), la baie (avec des 1U) peut atteindre jusqu'à 25kW/h de dissipation thermique, une baie ne contenant que des "blades" peut atteindre les 35kW/h sans sourciller. Les systèmes de refroidissement/climatisation des salles (dit "à air") ne suffisent plus. Il faut se pencher sur des systèmes plus "proche" des baies, avec une distribution de liquide réfrigérant au sein de la salle et des refroidisseurs entre les baies (technologie APC Inrow, Rittal LCP). Cela apporte évidemment son lot de contraintes supplémentaires : réseaux de tuyaux à faire passer, détection de fuites à rajouter, etc.

Zones de colocation

Il peut être utile de prévoir une zone réservée à la colocation (où des clients peuvent venir non accompagnés si la politique de sécurité et le mode de fonctionnement le permettent). Les baies de serveurs dédiés, ou internes ou propres à un client spécifique pourront ainsi être enfermées dans des cages grillagées.

Organisation des équipements en baie

Comment disposer les équipements en baie ?

De manière générale

Si possible, remplir une baie d'un seul coup. Cela évite le côté "je l'ai remplie peu à peu, maintenant c'est le bo**el"
Organiser les baies de mêmes types de la même manière : emplacements des switchs et des PDU ou bandeaux d'alimentation aux mêmes endroits sur toutes les baies par exemple.
Si possible, et à l'arrière les cables d'alim d'un côté, les câbles réseaux de l'autre
Planifier la baie au maximum, si possible avec du matériel homogène (pas gagné...)
Mettre les machines les plus lourdes en bas, ca évite que les montants se plient (déja vu).
Ne jamais racker des machines lourdes uniquement a l'avant : préférer des plateaux.
Espacer les équipements, de toutes manière il n'y aura probablement pas le courant qui permette de remplir la baie.
Notez toutefois que les espaces entre serveurs peuvent devenir le siège de couches d'air stagnantes. Cf les conseils de climatisation au sein des baies, en particulier l'usage de caches plastiques en façades pour les espaces entre serveurs.

Organisation des autres équipements en baie

Quelques conseils pour les appareils autres que réseaux et serveurs :

Préférer le positionnement des switchs écran/clavier (KVM) en milieu de baie, comme pour les équipements réseaux : une seule longueur de cable à gérer.
Dans une salle/baie avec une double alimentation (ondulée, non-ondulée), l'usage d'un STS (système de transfert de source) est fortement conseillé pour tout les appareils mono-alimentation.
Un onduleur intra baie est TOUJOURS !!! en bas de la baie, mon dos vous dis merci.

Organisation des serveurs dans une baie

Comment disposer les serveurs en baie ?

la face avant à l'avant (évidemment).
séparer les serveurs par groupement de services ou domaines.
disposer les serveurs de façon à faciliter et simplifier le câblage.
répartir les fonctions redondées ou secourues des serveurs sur des alimentations différentes ou des baies différentes.

Organisation du réseau

Suivant la salle (ou les salles) on retiendra deux modèles possible d'organisation du réseau :

câbler tous les équipements vers une baie de brassage (en passant par des bandeaux de brassage par baie, ou en tirant les câbles un par un); tous les équipements réseau seront ainsi regroupés (cela peut être nécessaire si l'on a un unique switch avec plusieurs cartes 48 ports par exemple)
utiliser des switchs de distribution : 1 switch par baie, relié à une baie backbone

On peut bien évidemment mixer ces solutions en fonction du matériel, des baies et des salles à disposition. On peut également regrouper un switch de distribution pour plusieurs baies.

Quelques conseils :

Préférer le positionnement des équipements réseaux à l'arrière des baies quand ils sont minoritaires (au milieu de serveurs) : cela facilite le câblage.
Nb. Cette solution a le désagrément d'évacuer l'air chaud vers l'intérieur et l'avant de la baie. Attention aux problèmes de flux d'air (cf l'Organisation des baies dans la salle et les problèmes engendrés.)
Préférer le positionnement des switchs de distribution (toujours dans le cas d'équipements réseau minoritaire) à mi-hauteur de baie pour faciliter le câblage : Ceci permet de ne pas avoir à gérer N longueurs de câbles réseau (on peut s'en sortir avec une seule longueur).
Configurer les ports de switch en shutdown par défaut. Cela oblige a se logguer dessus pour monter le port et, au passage, on peut nommer le port suivant une convention choisie, identique au marquage, maintenir de la documentation éventuelle, etc.

Organisation du cablage

Généralités

Utiliser des goulottes "ouvertes" de chaque coté (celles avec des lamelles pour laisser sortir les cables).
Regrouper les câbles de même type avec des serre fils ou mieux : du velcro (disponible en rouleau).
Ne pas surcharger le plancher technique

Câblage réseau

Séparer certains chemins si besoin de redondance (un chemin au plafond, un dans le plancher technique.
Utiliser des câbles réseau patchsee® (un seul défaut, n'existent qu'en une seule couleur : noire) partout, pour tout, dès que c'est rj45
Alternative : utiliser des câbles de couleurs différentes en fonction des réseaux, des vlans, des clients, etc.
Fixer avec délicatesse extrême les câbles optiques ; utiliser la longueur de câble adéquate ; ne jamais les fixer *définitivement*

Câblage électrique

Séparer le câblage électrique du câblage réseau (un d'un côté, un de l'autre)
Utiliser des câbles d'alimentation de longueur adéquate : cela évite les rouleaux et emmêlements générateurs de perturbations