NVIDIA ConnectX

A veces solo quieres ir rápido. Hemos estado discutiendo las redes de 400 Gbps recientemente en el contexto de que es una nueva capacidad que las ranuras PCIe Gen5 x16 pueden manejar. Hoy, vamos a echar un vistazo a la configuración usando NDR 400Gbps Infiniband/ 400GbE.

Un agradecimiento especial a PNY. No sabíamos esto hace un año, pero PNY no solo vende GPU para estaciones de trabajo NVIDIA, sino también sus componentes de red. Estábamos trabajando en un conmutador de 400 GbE y, en las discusiones, surgió que deberíamos revisar estas tarjetas como parte de ese proceso. Eso puede sonar bastante fácil, pero es un gran salto de la red de 100 GbE a la de 400 GbE y las tarjetas MCX75310AAS-NEAT son productos de moda en este momento debido a la cantidad de personas que buscan implementar equipos de red de alta gama.

ConnectX-7 (MCX75310AAS-NEAT) es una tarjeta PCIe Gen5 x16 de bajo perfil. Tomamos fotos con el soporte de altura completa, pero hay un soporte de perfil bajo en la caja.

Algo que debería llamar la atención de la gente es el tamaño de la solución de enfriamiento. Solo para dar una idea de qué tan temprano estamos en esto, buscamos las especificaciones de energía en el ConnectX-7 y no pudimos encontrarlas. Le preguntamos a NVIDIA a través de los canales oficiales sobre las especificaciones. Estamos publicando este artículo sin ellos, ya que parece que NVIDIA no está seguro de lo que es en este momento. Es un poco extraño que NVIDIA no solo publique las especificaciones de potencia de estas tarjetas en su hoja de datos.

Aquí está la parte posterior de la tarjeta con una divertida placa posterior disipadora de calor.

Esta es una vista lateral de la tarjeta mirando desde el conector PCIe Gen5 x16.

Aquí hay otra vista desde la parte superior de la tarjeta.

Aquí hay una vista desde la dirección en la que se espera que viaje el flujo de aire en la mayoría de los servidores.

Para una perspectiva rápida aquí, esta es una tarjeta de un solo puerto de bajo perfil que funciona a velocidades de 400 Gbps. Esa es una inmensa cantidad de ancho de banda.

Con una tarjeta como esta, uno de los aspectos más importantes es instalarla en un sistema que pueda utilizar la velocidad.

Afortunadamente, los instalamos en nuestros servidores Supermicro SYS-111C-NR 1U y Supermicro SYS-221H-TNR 2U, y funcionaron sin problemas.

El SYS-111C-NR nos hizo apreciar los nodos de un solo zócalo, ya que no teníamos que evitar el zócalo a zócalo cuando configuramos el sistema. A velocidades de 10/40 Gbps e incluso velocidades de 25/50 Gbps, escuchamos a la gente hablar sobre atravesar enlaces de socket a socket como desafíos de rendimiento. Con 100 GbE, se volvió más agudo y muy común tener un adaptador de red por CPU para evitar el cruce. Con velocidades de 400 GbE, el impacto es significativamente peor. Al usar servidores de dos sockets con una sola tarjeta de 400 GbE, podría valer la pena investigar los adaptadores de múltiples hosts que se pueden conectar directamente a cada CPU.

Una vez instaladas las tarjetas, teníamos el siguiente desafío. Las tarjetas usan jaulas OSFP. Nuestro conmutador de 400 GbE utiliza QSFP-DD.

Los dos estándares son un poco diferentes en términos de sus niveles de potencia y diseño físico. Se puede adaptar QSFP-DD a OSFP, pero no al revés. Si nunca ha visto una óptica OSFP o DAC, tienen su propia solución de gestión térmica. QSFP-DD en la parte superior usa disipadores térmicos en las jaulas QSFP-DD. OSFP a menudo incluye la solución de enfriamiento que tenemos en los DAC y la óptica OSFP de nuestro laboratorio.

Eso nos llevó a unos días de pánico. Los DAC OSFP de Amfenol de $500, así como los DAC OSFP a QSFP-DD disponibles, utilizaron la solución de enfriamiento del disipador de calor. Enviamos todo al laboratorio para conectarlo solo para recibir una nota de que los extremos OSFP de los DAC no encajaban en los puertos OSFP de las tarjetas ConnectX-7 debido al enfriamiento directo en los DAC.

La razón por la que NVIDIA usa OSFP es probablemente debido al mayor nivel de potencia. OSFP permite una óptica de 15 W, mientras que QSFP-DD es de 12 W. Al principio de los ciclos de adopción, tener techos de potencia más altos permite una adopción temprana más fácil, que es una de las razones por las que existen elementos como los módulos CFP8 de 24 W. Por otro lado, ya hemos analizado la óptica FS 400Gbase-SR8 400GbE QSFP-DD, por lo que el mercado se está moviendo.

Unas pocas llamadas más tarde, teníamos cables que funcionarían. Nuestro punto clave, ya sea que esté utilizando adaptadores OSFP ConnectX-7 hoy, o si está leyendo este artículo dentro de 5 años cuando se conviertan en equipos de segunda mano económicos, es tener en cuenta el tamaño del disipador de calor en el extremo OSFP que conecta al ConnectX- 7. Si está acostumbrado a QSFP/QSFP-DD donde todo se conecta y funciona, existe un desafío mayor al encontrarse con problemas tontos como los tamaños de los conectores. Por otro lado, si usted es un proveedor de soluciones, esta es una oportunidad para el soporte de servicios profesionales. NVIDIA y revendedores como PNY también venden cables LinkX, lo que habría sido una ruta más fácil. Esa es una gran lección aprendida.

También, gracias al lector anónimo de STH que nos ayudó a conseguir los cables/ópticas durante unos días en préstamo. Querían permanecer en el anonimato ya que se suponía que no debían prestar los cables/óptica de 400G que tenían.

A continuación, hagamos que todo esto esté configurado y funcionando.