Optique co-packagée : promesses et complexités

L'intégration de l'optique dans le même boîtier que la commutation des ASIC améliore l'intégrité du signal et augmente les débits de données, mais des défis subsistent. L'optique quasi-emballée pourrait apparaître comme une solution provisoire au problème.

Le besoin constant de plus de débit dans les centres de données pousse les ingénieurs à développer des liaisons optiques et électriques toujours plus rapides. En plus de concevoir pour plus de vitesse, les ingénieurs doivent optimiser ces liens pour l'espace physique, la consommation d'énergie, le coût, la fiabilité et l'évolutivité.

La majeure partie du trafic des centres de données entre et sort des centres de données (trafic nord-sud). Un changement est cependant en train de se produire vers l'informatique distribuée, ce qui augmente le trafic de serveur à serveur (trafic est-ouest). Alors que le trafic est-ouest augmente de manière exponentielle, des niveaux sans précédent de trafic dans les centres de données menacent de dépasser le développement de nouveaux commutateurs. Les optiques co-emballées peuvent aider à atténuer les problèmes d'intégrité du signal et de consommation d'énergie, qui introduisent tous deux de nouveaux problèmes de test.

Au cœur d'un commutateur se trouve un système intégré spécialisé spécifique à l'application circuit (ASIC) capable d'un débit de térabits par seconde. Auparavant, la plupart de ces ASIC étaient développés en interne par les fabricants de commutateurs. Ce paradigme a cependant changé avec la montée en puissance du silicium marchand⁠ - des ASIC développés par des fournisseurs de silicium tiers et vendus à des fabricants de commutateurs pour l'intégration du produit final.

Optique de centre de données
Dans les commutateurs traditionnels, l'ASIC de commutation dirige les données sur plusieurs canaux à travers la carte de circuit imprimé (PCB) vers les ports du panneau avant du châssis du commutateur. Les ports et leurs modules enfichables ont évolué parallèlement au silicium de commutation sous la forme d'une augmentation de la vitesse ou du nombre de canaux par liaison. Comme Figure 1 le montre, le débit par port a augmenté de façon exponentielle depuis les liens originaux à petit facteur de forme (SFP) 1 Gb/s jusqu'au dernier facteur de forme double densité Quad-SFP (QSFP-DD 800) prenant en charge jusqu'à 800 Gb/s. Les modules avec câblage en cuivre, également appelés cuivre à connexion directe (DAC), peuvent connecter des commutateurs les uns aux autres. Malheureusement, le cuivre ne peut pas gérer les vitesses et la distance nécessaires à la plupart des communications des centres de données. Au lieu de cela, les centres de données tirent parti des interconnexions optiques basées sur la fibre entre les commutateurs pour préserver l'intégrité du signal sur de longues distances avec l'avantage supplémentaire d'une consommation d'énergie réduite et d'une meilleure immunité au bruit.

Le câblage en fibre nécessite des modules émetteurs-récepteurs dans les ports du commutateur pour convertir les signaux du domaine électrique du silicium de commutation au domaine optique du câblage et inversement. Figure 2 montre un émetteur-récepteur classique avec deux composants clés : le sous-ensemble optique d'émission (TOSA) gère la conversion électrique-optique tandis que le sous-ensemble optique de réception (ROSA) gère la conversion dans le sens opposé. Les doigts en cuivre de l'émetteur-récepteur se branchent sur le commutateur tandis qu'un connecteur optique se branche à l'autre extrémité. Les connecteurs optiques sont disponibles dans une variété entièrement distincte de facteurs de forme et de variantes. Les groupes d'accords multisources (MSA) s'efforcent d'assurer la normalisation et l'interopérabilité entre les fournisseurs à mesure que de nouveaux émetteurs-récepteurs et technologies de câble arrivent sur le marché.

SerDes
Le chemin entre l'émetteur-récepteur enfichable et l'ASIC consiste en un circuit de sérialisation et de désérialisation (SerDes) à base de cuivre. Au fur et à mesure que le silicium de commutation évolue, les interconnexions en cuivre doivent également évoluer, ce que les fournisseurs de commutateurs réalisent en augmentant soit le nombre, soit la vitesse des canaux SerDes. Le silicium de commutateur à bande passante la plus élevée prend aujourd'hui en charge 51.2 Tb/sec, ce que les fabricants ont accompli en doublant le nombre de lignes SerDes modulées PAM100 à 4 Gb/sec de 256 à 512.

Si un ASIC de 51.2 Tb/s dessert un panneau avant de 16 ports, le commutateur nécessite une liaison 3.2 T sur chaque port pour utiliser pleinement la capacité de commutation fournie. Alors que les implémentations enfichables à bande passante la plus élevée d'aujourd'hui fournissent 800 Gb/s par port, les groupes de normalisation travaillent activement pour étendre la capacité de ces liaisons grâce à la densité et à la vitesse des canaux (par exemple, 16 canaux à 200 Gb/s pour atteindre 3.2 T). Tableau 1 montre la progression du débit de symboles, du débit de données, des canaux et de la capacité globale au fil des ans.

	2010	2012	2014	2016	2018	2020	2022	2024 (prédit)
Débit de symboles SerDes (Gbd)	10	10	25	25	25	50	50	100
Type de modulation	NRZ	NRZ	NRZ	NRZ	PAM4	PAM4	PAM4	PAM4
Débit de données SerDes (Gb/sec)	10	10	25	25	50	100	100	200
Nombre de canaux SerDes	64	128	128	256	256	256	512	512
Capacité totale (Tb/s)	0.64	1.28	3.2	6.4	12.8	2.56	51.2	102.4

Des recherches sont en cours sur le 224 Gb/sec sans souci, qui produit un débit de données SerDes de 200 Go/s et permettrait l'utilisation d'interfaces de 1.6 To/s sur le panneau avant. Cependant, l'augmentation de la vitesse s'accompagne d'un défi supplémentaire : des méthodes de transmission de signaux plus complexes et une consommation d'énergie par bit plus élevée. Les évolutions vers 224 Gb/s ont permis d’éviter les prédictions inquiétantes faites au début des années 2010, qui prévoyaient une montée en flèche de la consommation d’énergie, évoluant avec le trafic via les centres de données. Figure 3 montre comment des facteurs concurrents ont maintenu la consommation d'énergie du centre de données relativement stable.

Parallèlement aux mises à jour des configurations de réseau et des systèmes de refroidissement, l'augmentation du débit de données pour un seul commutateur a permis d'utiliser un plus petit nombre d'appareils, réduisant ainsi l'empreinte et la consommation d'énergie globale. Les experts en technologie suggèrent que nous approchons d'une limite physique des débits de données du canal de cuivre dans le facteur de forme du serveur existant. Alors que les percées dans la technologie d'interconnexion ont permis d'évoluer vers des liaisons de 800 Gb/s et 1.6 T, aller au-delà de ces débits de données nécessitera un changement fondamental dans la conception des commutateurs.

Optique embarquée à optique co-packagée
À mesure que la vitesse et la densité de SerDes continuent d'augmenter, la puissance nécessaire pour piloter le signal et préserver le signal sur les PCB augmente également. Une grande partie de l'augmentation de puissance provient des resynchronisations supplémentaires utilisées pour assurer une récupération correcte des données au niveau du récepteur. Pour réduire la puissance dont le commutateur a besoin, des groupes de recherche et des organismes de normalisation ont recherché des méthodes pour raccourcir la distance de cuivre sur laquelle le signal doit voyager.

Le Consortium for On-Board Optics (COBO) représente la première collaboration visant à éloigner la conversion du signal du panneau avant et à la rapprocher de l'ASIC. L'optique embarquée (OBO) déplace la fonctionnalité principale de l'émetteur-récepteur enfichable vers un module sur le PCB du commutateur, raccourcissant le canal en cuivre où se croisent les signaux électriques. Cette méthodologie s'appuie sur les progrès récents de la photonique sur silicium, où les fonctions optiques sont intégrées au processus de fabrication de la puce. La photonique sur silicium permet des options de conversion plus compactes sous la forme de moteurs optiques (OE), qui ont des coûts inférieurs et consomment moins d'énergie que les émetteurs-récepteurs enfichables conventionnels. Bien que ces améliorations contribuent à réduire la longueur du canal en cuivre, elles n'ont pas encore compensé les complications introduites par l'écart par rapport à l'architecture enfichable standard de l'industrie. Sur cette base, l’industrie pourrait passer de l’OBO à une forme d’intégration plus avancée.

Au-delà d'OBO, la terminologie devient discutable. Le terme optique proche du boîtier (NPO) décrit les moteurs optiques placés sur le PCB ou l'interposeur le long de la limite du substrat du silicium de commutation. Cette méthode réduit encore plus le chemin du canal électrique qu'OBO, mais nécessite toujours une puissance importante pour piloter de manière fiable les signaux SerDes. L'optique proche du boîtier pourrait s'avérer être une étape de transition importante car elle offre des avantages de signal significatifs et la réutilisation des conceptions de silicium existantes - au prix modique d'une nouvelle approche pour relayer les signaux optiques du panneau avant au moteur optique.

L'optique co-emballée (CPO) est une approche de conception qui intègre le moteur optique et la commutation du silicium sur le même substrat sans nécessiter que les signaux traversent le PCB. Les niveaux d'intégration entre les fonctions optiques et électriques du boîtier existent sur un spectre, dont certains apparaissent dans Figure 4.

Par exemple, certains appareils tirent parti d'une stratégie de co-packaging 2.5D, qui place les moteurs optiques sur le même substrat que l'ASIC avec des connexions à l'échelle millimétrique entre les deux. Certains fabricants utilisent un système d'intégration de puces 2.5D pour fournir des options d'interface flexibles au silicium (par exemple, utilisation mixte d'optiques co-emballées et d'émetteurs-récepteurs enfichables), démontrée dans le commutateur optique co-emballé Tomahawk 5 de Broadcom. Des conceptions optiques co-emballées encore plus intégrées en sont à leurs balbutiements, notamment :

• Configurations à entraînement direct où le traitement du signal numérique migre du moteur optique vers l'ASIC
• Intégration 3D (empilée) entre les fonctions optiques et électriques
• Intégration des lasers d'entraînement dans le package
• Circuits intégrés électrophotoniques monolithiques entièrement intégrés

Impact sur le test
Alors que des technologies telles que CPO et NPO réduisent la portée sur laquelle les signaux électriques doivent voyager, offrant à la fois l'intégrité du signal et les avantages de la consommation d'énergie, l'exigence d'interopérabilité demeure. C'est-à-dire que le signal de données optique provenant de l'émetteur doit traverser un canal optique et être correctement reçu à l'autre extrémité par un récepteur qui peut avoir été produit par un autre fournisseur. Les signaux devront probablement se conformer à des spécifications telles que celles développées dans IEEE 802.3.

Une différence clé par rapport aux tests d'optiques enfichables réside dans la difficulté et les dépenses nécessaires pour corriger un problème une fois que le CPO/NPO a été intégré dans le commutateur. Le CPO/NPO ne peut pas être facilement échangé comme un module enfichable. Les stratégies de test doivent évoluer non seulement pour vérifier les performances du signal pour la conformité, mais également pour identifier les problèmes au début du processus de fabrication, avec des tests supplémentaires pour garantir la fiabilité à long terme. Alors que le chemin électrique vers le CPO/NPO peut être sur des distances plus courtes, les débits de symboles élevés nécessiteront une conception soignée, validée avec les mêmes méthodes de test et de mesure utilisées pour les interfaces puce-module classiques.

D'où?
Bien qu'il existe de nombreuses voies vers l'optique co-emballée, les défis liés à ces nouvelles technologies vont à l'encontre d'une adoption rapide. L'adoption de nouvelles technologies du jour au lendemain et la progression vers de nouvelles normes nécessitent une voie pour que les centres de données améliorent ou remplacent progressivement leur infrastructure tout en incitant les fabricants de composants à intégrer de nouvelles technologies en itérant sur les conceptions existantes.

Les principaux défis auxquels sont confrontés les fabricants et les centres de données incluent :

• • Développement et standardisation de nouvelles connexions de panneau avant à base de fibre
  • Flexibilité du silicium qui permet la coexistence d'optiques enfichables, embarquées, quasi-emballées et/ou co-emballées
  • Service et remplacement de composants
  • Fabrication et production de packages avancés
  • Le retour sur investissement des investissements dans les données reste à prouver

Bien que ces obstacles puissent finalement l'emporter sur les avantages obtenus par l'optique co-emballée, il est difficile de nier les possibilités créées en évoluant dans cette direction. Que l'optique co-packagée soit ou non largement adoptée, les prévisions explosives du trafic de données signalent une fin imminente et nécessaire de la façon dont nous faisons les choses aujourd'hui, inaugurant une nouvelle approche de la technologie d'interconnexion des centres de données.