Este es un extracto de Fuentes de Alex Heathun boletín informativo sobre la IA y la industria de la tecnología, distribuido únicamente a los suscriptores de The Verge una vez por semana.
El jefe de inteligencia artificial de Amazon tiene un mensaje para los obsesivos con los modelos de referencia: dejen de mirar las tablas de clasificación.
“Quiero utilidad en el mundo real. Ninguno de estos puntos de referencia es real”, me dijo Rohit Prasad, vicepresidente senior de AGI de Amazon, antes de los anuncios de hoy en AWS re:Invent en Las Vegas. “La única manera de hacer una evaluación comparativa real es si todos se ajustan a los mismos datos de entrenamiento y las evaluaciones están completamente hechas. Eso no es lo que está sucediendo. Las evaluaciones se están volviendo francamente ruidosas y no muestran el verdadero poder de estos modelos”.
Es una postura contraria cuando todos los demás laboratorios de IA se apresuran a alardear de lo rápido que sus nuevos modelos ascienden en las tablas de clasificación. También es conveniente para Amazon, dado que la versión anterior del Nova, su modelo insignia, ocupaba el puesto 79 en LMArena cuando Prasad y yo hablamos la semana pasada. Aún así, deshacerse de los puntos de referencia sólo funciona si Amazon puede ofrecer una historia diferente sobre cómo se ve el progreso.
“No están mostrando el verdadero poder de estos modelos”.
La pieza central de los anuncios de re:Invent de hoy es Nova Forge, un servicio que, según Amazon, permite a las empresas entrenar modelos de IA personalizados de formas que antes eran imposibles sin gastar miles de millones de dólares. El problema que aborda Forge es real. La mayoría de las empresas que intentan personalizar los modelos de IA se enfrentan a tres malas opciones: ajustar un modelo cerrado (pero solo en los bordes), entrenar en modelos abiertos (pero sin los datos de entrenamiento originales y arriesgarse a una regresión de capacidad, donde la IA se vuelve experta en nuevos datos pero olvida habilidades originales y más amplias), o construir un modelo desde cero a un costo enorme.
Forge ofrece algo más: acceso a los puntos de control del modelo Nova de Amazon en las etapas previa, intermedia y posterior a la capacitación. Las empresas pueden inyectar sus datos patentados en las primeras etapas del proceso, cuando “la capacidad de aprendizaje del modelo es máxima”, como lo expresó Prasad, en lugar de limitarse a modificar el comportamiento del modelo al final.
“Lo que hicimos fue democratizar la IA y el desarrollo de modelos de frontera para sus casos de uso por fracciones de lo que costaría. [before]dijo Prasad. Forge se creó porque los equipos internos de Amazon querían una herramienta para inyectar su conocimiento del dominio en un modelo base sin tener que construir desde cero.
“Construimos Forge porque nuestros equipos internos querían Forge”, dijo. Es un patrón familiar de Amazon. La propia AWS comenzó como una infraestructura construida para las operaciones minoristas de Amazon antes de convertirse en el motor de ganancias de la empresa.
Reddit ha estado utilizando Forge para crear modelos de seguridad personalizados, capacitados en 23 años de datos de moderación de la comunidad. “No he visto nada parecido todavía”, me dijo Chris Slowe, director de tecnología y primer empleado de Reddit. “Teníamos un ingeniero distinguido que parecía un niño en una tienda de dulces”.
Slowe dijo que Reddit ha realizado un trabajo previo a la capacitación durante la semana pasada que “parece realmente prometedor”. El objetivo: reemplazar múltiples modelos de seguridad personalizados con un único modelo de Reddit especializado que comprenda los matices de la moderación de la comunidad, incluida la regla notoriamente subjetiva que aparece en subreddits en todas partes: “No seas idiota”.
“Tener un modelo especializado le permitirá comprender a la comunidad”, dijo Slowe. “Tendrás una buena idea de lo que significa idiota”.
Ese es el hilo conductor que Amazon quiere que utilicen los desarrolladores: no puntos de coeficiente intelectual en bruto, sino control y experiencia.
Explicó que Forge permite a Reddit controlar sus modelos, evitar sorpresas con los cambios de API, conservar la propiedad de sus pesos y evitar enviar datos confidenciales a proveedores de modelos externos. Dijo que Reddit ya está explorando el uso del mismo enfoque para Reddit Answers y otros productos.
Cuando le pregunté a Slowe si importaba que Nova no fuera un modelo superior en los puntos de referencia, fue directo: “En este contexto, lo que importa es la experiencia del modelo en Reddit”. Ese es el hilo conductor que Amazon quiere que utilicen los desarrolladores: no puntos de coeficiente intelectual en bruto, sino control y experiencia.
Con Forge, Amazon está haciendo una apuesta calculada a que las carreras de modelos se han convertido en una mercancía y que pueden tener éxito si son el lugar donde las empresas pueden construir IA especializada para problemas comerciales específicos. Es una visión del mundo muy moldeada por AWS: infraestructura sobre inteligencia y personalización sobre capacidad bruta. La estrategia también permite a Amazon evitar comparaciones directas con OpenAI y Anthropic, que ya han sido Se espera que compita en la capa modelo..
Que Forge sea genuinamente pionero o simplemente un posicionamiento inteligente depende, por supuesto, de la adopción por parte de los desarrolladores. Amazon insiste en que la carrera por los modelos, tal como se entiende ampliamente, no importa. Si eso resulta ser cierto, la cuestión se desplaza hacia algo mucho más silencioso y difícil de controlar: si los modelos de IA realmente ofrecen utilidad en el mundo real.
