- Tiiny AI Pocket Lab ejecuta modelos grandes localmente, evitando la dependencia de la nube
- Mini PC realiza tareas de inferencia avanzadas sin soporte de GPU discreta
- Los modelos con parámetros de 10B a 120B funcionan sin conexión con 65W de potencia
Tiiny, una startup estadounidense, lanzó AI Pocket Lab, una supercomputadora de inteligencia artificial de bolsillo capaz de ejecutar grandes modelos de lenguaje localmente.
El dispositivo es un miniordenador Diseñado para ejecutar cargas de trabajo de inferencia avanzadas sin acceso a la nube, servidores externos o aceleradores discretos.
La empresa afirma que todo el procesamiento permanece fuera de línea, lo que elimina la latencia de la red y limita la exposición de datos externos.
Diseñado para ejecutar modelos grandes sin la nube
“La IA en la nube ha aportado un progreso notable, pero también ha creado desafíos de dependencia, vulnerabilidad y sostenibilidad”, afirmó Samar Bhoj, director de GTM en Tiiny AI.
“Con Tiiny AI Pocket Lab, creemos que la inteligencia no debería pertenecer a los centros de datos, sino a las personas. Este es el primer paso para hacer que la IA avanzada sea realmente accesible, privada y personal, llevando el poder de los grandes modelos de la nube a cada dispositivo individual”.
Pocket Lab se centra en modelos personales de gran tamaño diseñados para razonamientos complejos y tareas contextuales, que funcionan dentro de una potencia restringida de 65 W.
Tiiny afirma tener un rendimiento constante para los modelos en el rango de parámetros de 10B a 100B, con soporte que se extiende hasta 120B.
Este límite superior se acerca a la capacidad de los principales sistemas en la nube, lo que permite que el razonamiento avanzado y el contexto ampliado se ejecuten localmente.
Guinness World Records ha certificado el hardware para la ejecución local del modelo clase 100B.
El sistema utiliza una CPU ARMv9.2 de 12 núcleos combinada con un módulo de IA heterogéneo personalizado que ofrece aproximadamente 190 TOPS de cómputo.
El sistema incluye 80 GB de memoria LPDDR5X junto con un SSD de 1 TB, con un consumo total de energía dentro de un sistema de 65 W.
Su tamaño físico se parece más a un disco externo grande que a un puesto de trabajoreforzando su marca amigable con el bolsillo.
Si bien las especificaciones se parecen a un chip estilo Houmo Manjie M50, aún no hay datos independientes de rendimiento en el mundo real disponibles.
Tiiny también hace hincapié en un ecosistema de código abierto que admite la instalación con un solo clic de marcos y modelos de agentes líderes.
La compañía dice que proporcionará actualizaciones continuas, incluida lo que describe como actualizaciones de hardware OTA.
Esta formulación es problemática ya que los mecanismos inalámbricos tradicionalmente se aplican al software.
La declaración sugiere una redacción inexacta o un error de marketing en lugar de una modificación literal del hardware.
El enfoque técnico se basa en dos optimizaciones basadas en software en lugar de escalar el rendimiento del silicio en bruto.
TurboSparse se centra en la activación selectiva de neuronas para reducir el costo de inferencia sin cambiar la estructura del modelo.
PowerInfer distribuye cargas de trabajo entre componentes heterogéneos, coordinando la CPU con una NPU dedicada para abordar el rendimiento de nivel de servidor con menor consumo de energía.
El sistema no incluye una GPU discreta, y la compañía argumenta que una programación cuidadosa elimina la necesidad de costosos aceleradores.
Estas afirmaciones indican que las ganancias en eficiencia, más que el hardware de fuerza bruta, sirven como diferenciador clave.
Tiiny AI posiciona a Pocket Lab como una respuesta a las presiones de sostenibilidad, privacidad y costos que afectan los servicios centralizados de IA.
Correr grandes modelos de lenguaje Las instalaciones locales podrían reducir los gastos recurrentes en la nube y limitar la exposición de datos confidenciales.
Sin embargo, las afirmaciones relativas a la capacidad, el rendimiento de nivel de servidor y la escalabilidad perfecta en un hardware tan limitado siguen siendo difíciles de verificar de forma independiente.
A través de TechPowerUp
Siga TechRadar en Google News y agréganos como fuente preferida para recibir noticias, análisis y opiniones de expertos en tus feeds. ¡Asegúrese de hacer clic en el botón Seguir!
Y por supuesto que tú también puedes Siga TechRadar en TikTok para noticias, reseñas, unboxings en formato de video y reciba actualizaciones periódicas de nuestra parte en WhatsApp también.
