- El ancho de banda Thunderbolt 5 acerca el hardware de GPU externo al territorio de las estaciones de trabajo
- La inferencia de IA local gana atención a medida que los costos de la nube continúan aumentando
- Los desarrolladores exploran cada vez más la ejecución de modelos de lenguaje directamente en el hardware personal.
Los gabinetes de GPU externos existen desde hace un tiempo, generalmente asociados con computadoras portátiles para juegos y tareas de aceleración de gráficos que exceden las capacidades de los procesadores móviles.
El TBT5-AI lanzado recientemente por Plugable pertenece a esta categoría, pero presenta un diseño centrado en conectar hardware de gráficos de escritorio a computadoras portátiles para cargas de trabajo de IA locales.
El estuche proporciona una ranura PCIe x16 completa que permite a los usuarios instalar una tarjeta gráfica de escritorio dentro del chasis externo.
El artículo continúa a continuación.
Hardware de escritorio en un gabinete externo
Una fuente de alimentación integrada de 850 vatios proporciona la potencia necesaria para funcionar con un alto rendimiento. GPU que normalmente solo funcionaría dentro del escritorio estaciones de trabajo.
Para la conectividad, este dispositivo viene con un único cable Thunderbolt 5, que permite la conexión directa a un computadora portatily admite hasta 80 Gbps de ancho de banda bidireccional, mientras que un modo de refuerzo puede aumentar el rendimiento a 120 Gbps para determinadas cargas de trabajo.
Dentro de la carcasa, este ancho de banda conecta la GPU instalada a través de carriles PCIe 4.0 x4, lo que reduce los cuellos de botella de transferencia que limitaban los diseños de GPU externos anteriores.
Además de albergar la tarjeta gráfica, el sistema funciona como un concentrador que amplía la conectividad del portátil conectado.
Ofrece hasta 96 vatios de potencia de carga al mismo tiempo que proporciona una red Ethernet de 2,5 gigabits y múltiples puertos USB de alta velocidad.
Según Plugable, muchos ingenieros quieren cada vez más mantener el procesamiento de modelos y el manejo de datos dentro de sus propios sistemas, y TBT5-AI ofrece precisamente eso, ya que está diseñado para desarrolladores que experimentan con entornos locales de inferencia de IA.
El dispositivo permite a los desarrolladores ejecutar grandes modelos de lenguaje directamente en el hardware local en lugar de enviar cargas de trabajo a la infraestructura de la nube.
Es compatible con marcos de IA locales comunes, incluidos llama.cpp, modelos Hugging Face y NVIDIAPlataforma de inferencia NIM.
El director de tecnología de Plugable, Bernie Thompson, dijo que el hardware está dirigido a industrias donde la protección de información confidencial sigue siendo un requisito operativo estricto.
“La privacidad de los datos no es una característica, sino más bien un mandato”, dijo Thompson, refiriéndose a industrias como la atención médica, los servicios financieros y las organizaciones legales.
Plugable también está preparando versiones empresariales llamadas TBT5-AI16, TBT5-AI32 y TBT5-AI96, que incluirán procesadores gráficos integrados.
Estas configuraciones integrarán un entorno de software llamado Plugable Chat, descrito como una plataforma aislada de orquestación de IA para organizaciones reguladas.
La compañía afirma que estos sistemas trasladarán el procesamiento de IA de los servicios en la nube basados en suscripción a una infraestructura informática controlada localmente.
Con un precio de $599.95 como unidad independiente, el gabinete Plugable TBT5-AI se lanzó oficialmente hace unos días y ahora está disponible a través de Amazonas y enchufable. con.
A través de fuentes mac
Siga TechRadar en Google News y agréganos como fuente preferida para recibir noticias, análisis y opiniones de expertos en tus feeds. ¡Asegúrate de hacer clic en el botón Seguir!
Y por supuesto que tú también puedes Siga TechRadar en TikTok para noticias, reseñas, unboxings en formato de video y reciba actualizaciones periódicas de nuestra parte en WhatsApp también.
