Blog OpenGate – Blog OpenGate

From tunnels to fiber

Mon, 02 Feb 2026 23:47:00 +0200

Hellooooo @everyone !! (le ping me semblait nécessaire afin de vous partager cette grande nouvelle pour OpenGate)

En ce début d’année (mais aussi un peu depuis septembre dernier), OpenGate a encore fait de très grandes avancées dans l’amélioration de son infra, et cette fois de manière très concrète grâce à :

la migration des tunnels de transit Wireguard vers une fibre 10Gbps (presque) dédiée ! (adieu faible débit, grosse latence, et problèmes de MTU)
l’arrêt définitif du backbone réseau legacy ! (RIP les Cisco Nexus, le VPC, le spanning-tree, et autres antiquités)

Mais en vrai qu’est-ce que ça signifie et pourquoi c’est maxi cool ?

Notre ancienne façon d’aller chercher “Internet” était assez archaïque… Des tunnels VPN par dessus des connexions trop diverses, montés sur des serveurs un peu vieux ou sur des machines virtuelles VyOS…

C’était vraiment le mieux qu’on pouvait faire à l’époque avec les moyens du bord, mais c’était vraiment très instable, et ça ajoutait une couche de complexité pas vraiment désirée…

-> Le fait de passer par un tunnel VPN, ça consomme pas mal de CPU et ça sature à fort débit, mais ça réduit aussi la MTU du réseau (from 1500 to 1420 ahah)

-> La moindre perturbation sur les lignes engendrait des rechargement des sessions VPN et BGP (gros spike CPU, latence accrue, etc. qui finit en U…)

Nous ne sommes désormais plus dépendants d’une infra VPN afin de faire une couche d’abstraction de notre backbone par dessus l’ “Internet” des autres. On utilise désormais une solution L2L (LAN to LAN) proposée par Moji et basée elle-même sur l’infra IFT de Free. Il s’agit en quelques sortes de faire une connexion point-à-point entre notre backbone en datacenter (Moji) sur lequel on vient chercher “Internet”, et notre infra à l’ESIEE, le tout sans soucis de MTU ni même de performance !

D’ailleurs, les ports 100Gbps arrivent sur notre routeur chez Moji avec un premier raccordement sur l’IXP Nine 👀

Les (plus trop) récents achats de matériel nous ayant permis de mettre en place notre nouveau coeur de réseau (détaillé dans mes précédents posts), nous avait malheureusement laissé dans une sorte d’entre deux entre le backbone legacy et le nouveau (le temps de finir la migration tqt).

-> Un super beau coeur de réseau EVPN/VXLAN natif grâce à nos nouveaux ARISTA, mais la partie qui nous permet de raccorder les cellules et faire le lien avec le reste de l’infra reste sur le legacy

-> Une complexité accrue aussi bien d’un point de vue infra que topologie (gros gros problèmes de spanning-tree encore et toujours)

Mais bonne nouvelle ! 100% de l’infra de collecte des cellules au sein de l’ESIEE a enfin pu être migrée sur le nouveau coeur de réseau, avec la participation de @Alexandre F qui a pu deracker le dernier Cisco Nexus encore en prod de ses propres mains !

Et qu’est-ce que ca présage de bon pour l’avenir ?

-> Déjà, un backbone plus simple, plus moderne, qui va pouvoir durer encore quelques années sans avoir à remettre en question les choix d’archi !

-> La possibilité de mettre en place des services toujours plus modernes et performants pour les abonnés (et les futurs abonnés aussi on vous voit)

-> Et enfin, une réduction drastique de notre consommation électrique ! (on a presque réduit par deux notre quantité d’équipements et notre conso, tout en augmentant toujours plus les perfs)

En bonus, une petite photo du backbone legacy (qui est à vendre btw, DM si intéressé), et une capture de la Weathermap (carte du réseau, toute belle toute neuve).

Merci pour la lecture !

L'ancien backbone

La nouvelle weathermap au 2 février 2026

Théo

Modifications mineures par Quentin

Cet article a été importé du canal “vlogs” du serveur Discord OpenGate.

Rénovations majeures de 2025

Wed, 02 Apr 2025 16:55:00 +0200

Hello @everyone ! Et oui nouveau VLOG après près de 3 ans de silence…

On est toujours là et on continue toujours d’améliorer l’infra !

C’est d’autant plus vrai ces derniers mois grâce aux nombreuses acquisitions de matériel qu’a pu réaliser @Corentin. Nous avons notamment pu bénéficier d’une subventions auprès de la FSDIE dans le cadre d’un projet de rénovation des infrastructures réseaux et systèmes, mais aussi de dons de matériel que nous avons perçus de la part de différents acteurs.

Ces dernières arrivées ont donc donné un peu de sang neuf à l’infra sur différents aspects, qu’on espère pouvoir vous présenter autour de différents petits VLOG.

On parlera donc de :

Rénovation de notre infrastructure Cloud publique
Rénovation de notre infrastructure Core interne
Rénovation de notre infrastructure Réseau (que je vais présenter aujourd’hui)

À l’issue de ces rénovations, nous aurons plein de matériel à donner ou vendre à petit prix (selon leur provenance), donc restez à l’affût pour ne pas manquer de superbes offres !

Avant de commencer le VLOG technique, on rappelle aussi qu’on recherche toujours des bénévoles afin de bosser avec nous sur l’infra, mais aussi afin de faire parler d’OpenGate sur le campus (communication et commercialisation des offres).

Si vous êtes intéressés, n’hésitez pas à vous manifester !

Place maintenant au vif du sujet…

La refonte réseau

Pour rappel, on a monté le gros de l’infra OpenGate entre 2021 et 2022, et peu de choses ont bougé de ce côté niveau réseau.

La majorité de l’infra repose sur du pure switching L2 très basique (en gros des VLANs qui remontent sur des firewall ou des routeurs). On avait pour cela mis en place une stack basée sur du Cisco NEXUS, une gamme dédiée Datacenter, avec des composants extensibles appelés Fabric Extender.

Nous avions donc installé deux Cisco NEXUS 5520, faisant office de switch de coeurs de réseaux, sur lesquels nous venions connecter plusieurs petits switchs « Extender » dénués d’intelligence, et qui se présentaient grossièrement comme des cartes d’extensions des coeurs de réseaux.

C’était très pratique pour centraliser la configuration des ports, et aussi pour raccorder nos différentes baies à moindre couts (un Fabric Extender 48ports 10G ne coutant que quelques dizaines d’euros).

Les années passent, la taille de l’infra grandit et nos compétences aussi, et on arrive au moment où, en vrai, le switching c’est bien mais c’est chiant…

Ça scale pas, c’est pas moderne, ça repose sur Spanning-Tree (aled), et de nos jours on a de plus en plus tendance à encapsuler le L2 sur du L3 (VxLAN notamment). On s’était déjà intéressé à VxLAN il y a quelques années, mais c’était au-delà de nos compétences, et impossible à mettre en place en l’état (pas adapté à l’archi et les équipements n’étaient pas compatibles). Cependant Proxmox a pas mal changé la donne avec son implémentation native de VxLAN via son module SDN.

En partant du principe qu’on pourrait migrer 100% de notre infra de datacenter sur du VxLAN (encapsulation du L2 sur du L3 pour rappel), il ne nous resterait donc plus qu’à étudier comment migrer notre infra réseau de datacenter (100% switchée) vers du full routé (L3).

Pour faire simple, la seule solution était de remplacer les switchs par des routeurs (ah oui vu que les NEXUS ne routent pas sans cartes et sans licences additionnelles). Le problème c’est que les routeurs ça coûte quand même vachement cher… Et ça vient souvent avec des vices cachés du style achat de licence pour activer le routage dynamique.

Étant déjà pas mal familiers avec les routeurs ARISTA (qu’on avait déjà en prod pour le routage de l’infra, mais qui n’étaient pas compatibles VxLAN), on a donc profité de la subvention FSDIE afin de mettre la main sur trois nouveaux routeurs (deux ARISTA DCS-7050SX, qui serviront pour alimenter les serveurs avec des ports 10G, et un ARISTA DCS-7050TX qui se chargera de toute la partie RJ45).

Ces routeurs ont l’avantage d’être suffisamment perf pour supporter des features avancées telles que VXLAN, et pas trop anciens pour disposer de firmware assez récents et fiables. De plus, la présence de ports 40Gbps sur les trois routeurs nous a permis d’upgrade la capacité « coeur de réseau » anciennement en 10 ou 20Gbps, à 40 voir 80Gbps (plutôt cool pour éviter de saturer les liens avec le stockage).

Avec la réception de ces nouveaux routeurs, on a pu établir un plan de migration à chaud (sans trop de downtime) qui s’est jusque là bien passé. Certaines ressources restent encore à migrer, mais ça viendra !

Les Fabric Extender ont quant à eux pu être totalement décommissionnés (et ça c’est cool).

Mais du coup, comment on a fait pour migrer à chaud 100% de notre infra système (et celle de nos usagers) en causant presque pas de perturbations ?

On a dans un premier temps setup la nouvelle infra réseau en parallèle de l’infra existante (littéralement en parallèle vu qu’on a installé les nouveaux équipements au dessus de la baie), et on a raccordé ce nouvel environnement avec le reste du réseau afin de récupérer l’ensemble des VLANs.

Ensuite on a déplacé un par un les ports des serveurs des anciens switchs vers les nouveaux routeurs. C’était sûrement l’opération la plus longue car il fallait vérifier que les serveurs redevenaient joignables le plus rapidement possible, et pour certains procéder à des changements de configuration afin de pendre en compte VxLAN (et tout ce qui va derrière, on en parlera plus tard).

Enfin, un fois qu’on a pu tout migrer, c’est là que ça devient marrant, parce que les switchs qu’on avait installés au dessus de la baie, bah maintenant il faut les mettre DANS la baie. On a donc dé-racké les anciens switchs, installés les nouveaux rails, et on a déplacé les nouveaux routeurs dans la baie à chaud (sans débrancher quoi que ce soit). Et en vrai, ça s’est super bien passé !

Pour se faire une idée du déploiement des Cisco Fabric Extender avant (ce sont les deux équipements du haut de la baie). Dénués d’intelligence, ils se contentent de tout faire remonter sur les coeurs de réseaux en fibre.

Les anciens Cisco Fabric Extender

La cohabitation des deux environnements, avec les nouveaux routeurs au dessus de la baie, et la plupart des ports déjà migrés sur les nouveaux routeurs.

Cohabitation Cisco Fabric Extender et Arista

Les nouveaux routeurs dans leur emplacement définitif (encore un peu de câble management à faire).

Les nouveaux Arista rackés

Mais du coup comment ça marche VxLAN chez nous ?

En résumant très grossièrement, le protocole VxLAN se charge d’encapsuler des infos L2 dans des trames L3 en attribuant à chaque hôte L2 qu’il découvre un identifiant VNI (VxLAN Network Identifier) (en gros ça ressemble à des tables de correspondance adresses MAC -> next-hop:id, qui permettent d’indiquer aux autres serveurs comment joindre un hôte).

C’est pas un truc hyper intelligent qui fait le taff tout seul. Afin de distribuer ces VNI sur le réseau, on peut soit tout déclarer à la main sur chaque serveur (aucun intérêt vu qu’on veut un truc qui scale), soit redistribuer ces VNI via BGP en utilisant l’extension BGP EVPN.

Pour cela on va donc configurer des sessions BGP entre les serveurs Proxmox et les nouveaux routeurs, ainsi que des sessions EVPN afin que chaque serveur Proxmox puisse échanger ses infos VxLAN avec les autres serveurs.

Sans rentrer trop dans les détails, grâce à BGP, les serveurs et les routeurs sont en mesure d’échanger le trafic de façon équilibrée, redondée et optimisée. On ne se préoccupe plus du tout du réseau bas niveau comme on le faisait avant avec le L2, le LACP et compagnie.

C’est la fin de ce VLOG sur la rénovation du réseau ! On espère évidemment que ça vous aura intéressé, et on espère revenir rapidement avec la suite !

D’ici là, n’hésitez pas à nous contacter si vous avez des questions concernant OpenGate, l’infra, les projets, etc.

Merci !

Théo

Modifications mineures par Quentin

Cet article a été importé du canal “vlogs” du serveur Discord OpenGate.

Upgrade du réseau fibre intra-ESIEE

Sun, 24 Apr 2022 11:24:09 +0200

Hello @everyone, voici un petit résumé des travaux que nous avons entrepris tout au long du mois dernier.

Comme j’ai pu le détailler (je crois) dans les précédents messages, nous utilisions jusqu’à présent deux paires de fibres déjà présentes au sein de l’école, afin de raccorder les deux salles serveurs de cette dernière, dans lesquelles notre matériel est installé.

Cependant, du fait des besoins en connectivité et en évolutivité que nous présentons, nous avons décidé de tirer nos propres fibres au sein de l’ESIEE.

Par cette opération que nous présenterons en image ci-dessous, nous avons ainsi pu raccorder tous nos équipements entre eux afin d’augmenter la résilience et la redondance de notre réseau, qui n’était jusque là que très faible.

Pour cela, nous avons par exemple pu nous baser sur des données liées au métrage des câbles ESIEE parcourant le même trajet, et en procédant à une double vérification à l’aide d’outils de mesures.

Nous avons ainsi pu estimer une longueur de 60m entre chaque salle, et avons choisi de commander 75m de fibres afin de voir large.

Le repérage quant à lui, s’est effectué à l’échelle et à la lampe torche afin de repérer les circuit existants et les points de passages obligatoires.

Mesures à l'aide de l'application Mesures d'iOS

Repérage des chemins de câbles existants

Le chemin étudié et la fibre commandée, nous avons rapidement pu procéder à la pose d’une gaine (verte, dédiée aux télécoms) qui nous permettra par la suite de tirer la fibre de bout en bout, et de s’assurer de la protection de cette dernière.

Pour cela, il a fallu traverser de nombreux murs épais, et quelques faux plafonds.

Pose de la gaine verte

Côté fibre, pour des raisons économiques et pratiques, nous avons choisi d’acheter 12 jarretières déjà soudées de 75m chacune.

Cela permet notamment de se passer des soudures de fibres et des câbles exotiques, qui auraient multiplié la facture par 4 ou 5.

Cependant, on perd le côté pratique car il a fallu préparer un unique câble de 75m à l’aide de 12 câbles.

Préparation du câble composé de 12 paires de fibres

Une fois cet unique câble de fibre préparé et conditionné, il ne resta plus qu’à procéder au tirage de ce dernier au sein de la gaine précédemment posée.

Cette opération fut étonnement rapide, et bouclée en à peine une heure.

Tirage des fibres dans les gaines

Afin de terminer ces fibres déjà pré soudées, nous avons simplement utilisé un patch panel capable d’accueillir les fibres par clippage.

Nous avons pu dans la foulée passer à l’upgrade de nos liens fibres, en passant donc des deux paires ESIEE aux 8 nôtres à l’heure actuelle, assurant une totale redondance et convergence.

Les 4 paires de fibres restantes pourront servir dans le futur à l’ajout d’équipements ou à l’upgrade de liens.

Installation des patch-panels

Voici pour finir, des photos actuelles après travaux de nos installation réseaux, que vous pourrez facilement comparer aux anciennes plus haut.

On remarque la présence de beaucoup plus de fibres qu’avant ! Les nouvelles sont soit jaunes soit bleu aqua.

Photo après travaux

J’espère que ce vlog upgrade réseau fibre vous aura plu, on reviendra très prochainement avec la mise en place de l’infra serveurs je pense, on bosse actuellement sur la configuration du réseau de stockage CEPH assez gros (72TB de stockage pur pour une v1).

Théo

Modifications mineures par Quentin

Cet article a été importé du canal “vlogs” du serveur Discord OpenGate.

Histoire d'OpenGate

Wed, 16 Mar 2022 14:44:00 +0200

Chapitre 1 : Genèse

Tout commence en 2019, à l’époque, l’ESIEESPACE ne possédait qu’un serveur hébergeant quelques sites et applications. Cette petite infrastructure, datant de 2016 et gérée jusque-là par le DSI de l’association en fin d’études, demandait des compétences spécifiques dont les nouveaux membres ne disposaient pas. Il était alors naturel d’agrandir la famille ESIEESPACE avec le recrutement d’un nouveau responsable informatique.

Cette mission fût confiée au vice-président fraîchement élu, Louis Desplanche, qui par le biais d’un ami commun, fit la rencontre de Théo Lefèvre, passionné depuis toujours par les réseaux, les systèmes et la cybersécurité. Ce dernier avait le profil idéal pour devenir le futur DSI de l’ESIEESPACE, rôle qu’il assura avant d’être élu l’année suivante trésorier aux côtés de Louis, qui prit le poste de président.

Chapitre 2 : La fin de la connexion associative ESIEE

Jusqu’en 2019, l’ESIEE assurait la connexion à internet et l’hébergement des serveurs de tous les clubs et associations. Cela permettait à tous d’avoir une infrastructure propre à chaque besoin, même si la lenteur du réseau se faisait beaucoup plus ressentir qu’aujourd’hui.

Quelques mois auparavant, une cyberattaque fut menée via une backdoor dans l’infrastructure du club Nix vers une université étrangère. L’ESIEE coupa instantanément la connexion puis demanda aux autres associations de quitter le réseau de l’école afin d’éviter de nouvelles attaques.

À la suite de cet événement, l’ESIEESPACE prit l’initiative de proposer aux trois autres associations de l’école (Junior, BDE, BDS), de proposer une solution commune qui permettrait à toutes les associations et clubs de pouvoir profiter d’une connexion internet partagée.

Chapitre 3 : Création du club OpenGate

L’arrivée de la connexion VDSL instaura un nouveau départ pour le réseau associatif, mais de nombreuses contraintes et obstacles firent rapidement apparition.

Bien que tout le travail réalisé autour de ce nouveau réseau permit de réinstaurer une grande liberté d’action et un dialogue de confiance avec le service informatique ESIEE, l’espoir de voir un jour la fibre optique arriver s’amenuisait de jour en jour car à l’heure actuelle, les opérateurs internet restent dans l’incapacité d’assurer le déploiement de la fibre au sein de l’école. Après avoir envisagé tous les scénarios possibles afin d’accéder à cette dernière, il fallut se rendre à l’évidence que nous faisions face à une impasse, et que la solution à notre problème était peut-être autre part.

Ainsi, du simple partage d’une connexion internet, germa l’idée de créer un opérateur internet associatif à part entière. Nous voulions tenter de créer un opérateur permettant aux associations de bénéficier d’une connexion internet digne de ce nom, mais également d’un service de cloud computing pour leurs cotisants.

Après avoir monté plus d’une dizaine de “proof-of-concept” d’infrastructures Cloud et Réseau, nous nous sommes dit que nous n’étions qu’à 500m de la résidence Ampère, alors pourquoi pas voir plus grand ?

Chapitre 4 : Prototypage de l’infrastructure

Infrastructure réseau

Nous avons très rapidement pu nous lancer dans les phases de prototypage de l’infra grâce à l’acquisition de matériel d’occasion et de dons durant l’été dernier. Nous avons opté pour une architecture 2 tiers, que l’on retrouve dans les réseaux CAN (Campus Area Network). Notre cœur de réseau est constitué de routeurs Cisco Nexus 5010, offrant du très gros 10Gbps à un prix très attractif, de switchs Cisco Catalyst 3750X et 2960X ainsi que de firewall OPNsense tournant sur des Cisco C170, le tout relié en liaisons fibres 10Gbps et entièrement redondé dans deux salles au sein de l’ESIEE.

Quelques anciennes photos

Prototypage du réseau

Installation du réseau au sein des salles serveurs ESIEE

Nous exploitons actuellement le réseau fibre noire de l’ESIEE afin d’interconnecter nos différents points de présence.

Un chantier est cependant en cours afin de faire passer nos propres fibres entre les salles serveurs, ceci dans le but de pouvoir avoir plus de fibres de dispo (car nous avons atteint le maximum de 4 disponibles, et que nous en avons besoin de bien plus) mais aussi afin de gagner en qualité et en indépendance (le réseau fibre de l’ESIEE est actuellement basé sur de la fibre OM1, sur laquelle il est difficile de faire passer du 10 Gbps de qualité).

Nous installerons prochainement 24 fibres OS2, soit 12 paires de fibres, qui permettront de faire converger nos cœurs de réseau à 40Gbps, tout en assurant la redondance de tous les liens.

Nous avons déjà procédé à la commande du matériel, ne manque plus que la réception des 75m de fibres !

Le chantier consistera en l’installation d’un fourreau via les chemins de câbles du parking.

Voici une représentation logique du réseau, appelée WeatherMap, qui permet de représenter les connexions mais aussi la capacité d’utilisation des flux.

Il est actuellement difficile de saturer du 10Gbps, c’est pourquoi les liaisons sont globalement utilisées à 1% max (ce qui représente quand même 100mbps !)

Weathermap du 16 mars 2022

Voici l’utilisation journalière typique du réseau récemment

Graphe d'utilisation réseau du 16 mars 2022

Cet article a été importé du canal “vlogs” du serveur Discord OpenGate.

Théo