Cómo ejecutar los modelos de IA GPT-AS de OpenAI en su computadora portátil o teléfono
Como habrás visto, Operai acaba de lanzado dos nuevos modelos de IA -GPT-ASS-20B y GPT-ASS-120B-que son los primeros modelos de peso abierto de la empresa desde GPT-2.
Estos dos modelos, uno es más compacto y el otro mucho más grande, se definen por el hecho de que puede ejecutarlos localmente. Trabajarán en su PC de escritorio o computadora portátil – Justo en el dispositivo, sin necesidad de conectarse o tocar la energía de la nube, siempre que su hardware sea lo suficientemente potente.
Por lo tanto, puede descargar la versión 20B, o, si su PC es una máquina poderosa, el giro 120B, y jugar con ella en su computadora, verificar cómo funciona (en la moda de texto a texto) y cómo piensa el modelo (todo su proceso de razonamiento se divide en pasos). Y, de hecho, puede ajustar y construir sobre estos modelos abiertos, aunque las barandillas de seguridad y las medidas de censura, por supuesto, estarán en su lugar.
Pero, ¿qué tipo de hardware necesitas para ejecutar estos modelos AI? En este artículo, estoy examinando los requisitos de especificaciones de la PC tanto para GPT-OSS-20B, el modelo más restringido que empaca 21 mil millones de parámetros, y GPT-ASS-120B, que ofrece 117 mil millones de parámetros. Este último está diseñado para el uso del centro de datos, pero se ejecutará en una PC de alta gama, mientras que GPT-OSS-20B es el modelo diseñado específicamente para dispositivos de consumo.
De hecho, al anunciar estos nuevos modelos de IA, Sam Altman hizo referencia a 20B trabajando no solo en las computadoras portátiles de los molinos, sino también en teléfonos inteligentes, sino que es suficiente decir que es un ambicioso Reclamar a la que volveré más tarde.
Estos modelos se pueden descargar de la cara de abrazo (aquí está GPT – OSS -20B Y aquí está GPT-OSS-120B) Bajo la licencia Apache 2.0, o para los simplemente curiosos, hay un en línea demostración que puedes ver (No es necesario descargar).
El modelo más pequeño GPT-OSS-20B
Se necesita RAM mínimo: 16 GB
El funcionario Documentación de OpenAI Simplemente presenta una cantidad necesaria de RAM para estos modelos AI, que en el caso de este esfuerzo GPT-OSS-20B más compacto es de 16 GB.
Esto significa que puede ejecutar GPT-OSS-20B en cualquier computadora portátil o PC que tenga 16 GB de memoria del sistema (o 16 GB de RAM de video, o un combo de ambos). Sin embargo, es en gran medida un caso de más, mejor, o más rápido, más bien. El modelo puede ver junto con ese mínimo de 16 GB, e idealmente, querrás un poco más de barril.
En cuanto a las CPU, AMD recomienda El uso de una CPU de la serie Ryzen AI 300 se combinó con 32 GB de memoria (y la mitad de eso, 16 GB, establecido en la memoria de gráficos variables). Para la GPU, Amd Recomienda cualquier modelo RX 7000 o 9000 que tenga 16 GB de memoria, pero estos no son requisitos duros y rápidos como tales.
Realmente, el factor clave es simplemente tener suficiente memoria: la asignación mencionada de 16 GB, y preferiblemente tener todo eso en su GPU. Esto permite que todo el trabajo tenga lugar en la tarjeta gráfica, sin disminuir al tener que descargar algo de él a la memoria del sistema de la PC. Aunque la llamada mezcla de expertos, o MOE, Design OpenAi ha utilizado aquí ayuda a minimizar dicha arrastre de rendimiento, afortunadamente.
Anecdóticamente, para elegir un ejemplo arrancado de RedditGPT-OSS-20B funciona bien en un MacBook Pro M3 con 18 GB.
El modelo GPT-OSS-20B más grande
Ram necesaria: 80 GB
Es el mismo trato general con el modelo GPT-OSS-120B más robusto, excepto como puede suponer que necesita mucho Más memoria. Oficialmente, esto significa 80 GB, aunque recuerde que no tiene que tener toda esa RAM en su tarjeta gráfica. Dicho esto, este gran modelo de IA está realmente diseñado para el uso del centro de datos en una GPU con 80 GB de memoria a bordo.
Sin embargo, la asignación de RAM se puede dividir. Por lo tanto, puede ejecutar GPT-OSS-20B en una computadora con 64 GB de memoria del sistema y una tarjeta gráfica de 24 GB (una Nvidia RTX 3090 TI, por ejemplo, según esto Redditor), que hace que un total de 88 GB de RAM se agrupen.
La recomendación de AMD en este caso, CPU-Wise, es por su procesador Ryzen AI Max+ 395 de primera categoría, junto con 128 GB de RAM del sistema (y 96 GB de eso asignado como memoria de gráficos variables).
En otras palabras, estás viendo una computadora portátil o escritorio de alta gama de alta gama (tal vez con múltiples GPU) para GPT-OSS-20B. Sin embargo, es posible que pueda salirse con la suya con un poco menos que los 80 GB estipulados de memoria, pasando por algunos informes anecdóticos, aunque no me costaría de ninguna manera.
Cómo ejecutar estos modelos en su PC
Suponiendo que cumpla con los requisitos del sistema descritos anteriormente, puede ejecutar cualquiera de estos nuevos lanzamientos de GPT-ASS en Ollama, que es la plataforma de elección de OpenAI para usar estos modelos.
Dirígete aquí para agarrar a Oilama Para su PC (Windows, Mac o Linux): haga clic en el botón para descargar el ejecutable, y cuando haya terminado de descargar, haga doble clic en el archivo ejecutable para ejecutarlo y haga clic en Instalar.
A continuación, ejecute los siguientes dos comandos en Ollama para obtener y luego ejecute el modelo que desee. En el ejemplo a continuación, estamos ejecutando GPT-OSS-20B, pero si desea el modelo más grande, simplemente reemplace 20B con 120B.
ollama pull gpt-oss:20b
ollama run gpt-oss:20bSi prefiere otra opción en lugar de Ollama, podría usar LM Studio En su lugar, usando el siguiente comando. Nuevamente, puede cambiar 20B por 120b, o viceversa, según corresponda:
lms get openai/gpt-oss-20bWindows 11 (o 10) los usuarios pueden ejercer la opción de Windows AI Foundry (consejo de sombrero para El borde).
En este caso, deberá instalar Foundry Local, sin embargo, hay una advertencia aquí, y es que esto todavía está en vista previa, consulte esta guía Para las instrucciones completas sobre qué hacer. Además, tenga en cuenta que en este momento necesitará un Tarjeta gráfica nvidia Con 16 GB de VRAM a bordo (aunque otras GPU, como los modelos AMD Radeon, serán admitidos eventualmente; recuerde, esta sigue siendo una versión previa).
Además, el soporte de MacOS “llegará pronto”, nos dicen.
¿Qué pasa con los teléfonos inteligentes?
Como se señaló desde el principio, mientras que Sam Altman dijo que el modelo de IA más pequeño se ejecuta en un teléfono, esa declaración lo está presionando.
Es cierto que Qualcomm emitió un presione soltar (según lo visto por Autoridad de Android) Acerca de GPT-OSS-20B que se ejecuta en dispositivos con un chip Snapdragon, pero se trata más de las computadoras portátiles: Copilot+ PC que tienen Snapdragon X Silicon, en lugar de CPU de teléfonos inteligentes.
Ejecutar GPT-OSS-20B no es una propuesta realista para los teléfonos de hoy, aunque puede ser posible en un sentido técnico (suponiendo que su teléfono tenga 16 GB+ RAM). Aun así, dudo que los resultados sean impresionantes.
Sin embargo, no estamos lejos de que este tipo de modelos funcionen correctamente en los móviles, y esto seguramente estará en las cartas para el futuro casi suficiente.
