Thinking Machines Lab quiere hacer que los modelos de IA sean más consistentes

Ha habido un gran interés en lo que el laboratorio de máquinas de pensamiento de Mira Murati está construyendo con su $ 2 mil millones en fondos de semillas y el equipo All-Star de ex investigadores de Operai que se han unido al laboratorio. En blog Publicado el miércoles, el laboratorio de investigación de Murati le dio al mundo su primera mirada a uno de sus proyectos: crear modelos de IA con respuestas reproducibles.

La publicación del blog de investigación, titulada “Derrotar el no determinismo en la inferencia de LLM”, intenta desempacar la causa raíz de lo que introduce la aleatoriedad en las respuestas del modelo de IA. Por ejemplo, hágale a Chatgpt la misma pregunta varias veces, y es probable que obtenga una amplia gama de respuestas. Esto se ha aceptado en gran medida en la comunidad de IA como un hecho: los modelos de IA de hoy se consideran sistemas no deterministas, pero pensar en el laboratorio de máquinas ve esto como un problema solucionable.

La publicación, escrita por el investigador de laboratorio de Machines Thinking Horace HE, argumenta que la causa raíz de la aleatoriedad de los modelos de IA es la forma en que los núcleos de GPU, los pequeños programas que se ejecutan dentro de los chips de computadora de Nvidia, se unen en el procesamiento de inferencias (todo lo que sucede después de presionar ingrese en ChatGPT). Sugiere que al controlar cuidadosamente esta capa de orquestación, es posible hacer que los modelos de IA sean más deterministas.

Más allá de crear respuestas más confiables para empresas y científicos, señala que obtener modelos de IA para generar respuestas reproducibles también podría mejorar la capacitación de aprendizaje de refuerzo (RL). RL es el proceso de recompensar a los modelos AI para las respuestas correctas, pero si las respuestas son ligeramente diferentes, entonces los datos se vuelven un poco ruidosos. La creación de respuestas del modelo de IA más consistentes podría hacer que todo el proceso RL sea “más suave”, según HE. Thinking Machines Lab ha dicho a los inversores que planea usar RL para Personalizar modelos de IA para empresasLa información informada anteriormente.

Murati, ex director de tecnología de OpenAi, dijo en julio que el primer producto de Thinking Machines Lab será presentado en los próximos mesesy que será “útil para investigadores y nuevas empresas que desarrollen modelos personalizados”. Todavía no está claro cuál es ese producto, o si utilizará técnicas de esta investigación para generar respuestas más reproducibles.

Thinking Machines Lab también ha dicho que planea publicar frecuentemente publicaciones de blogcódigo y otra información sobre su investigación en un esfuerzo por “beneficiar al público, pero también mejorar nuestra propia cultura de investigación”. Esta publicación, la primera de la nueva serie de blogs de la compañía llamada “Connectismo”, parece ser parte de ese esfuerzo. Operai también se comprometió a abrir la investigación cuando se fundó, pero la compañía se ha cerrado más a medida que se ha vuelto más grande. Veremos si el laboratorio de investigación de Murati se mantiene fiel a esta afirmación.

El blog de investigación ofrece una rara visión dentro de una de las nuevas empresas de IA más secretas de Silicon Valley. Si bien no revela exactamente a dónde va la tecnología, indica que Thinking Machines Lab está abordando algunas de las preguntas más grandes en la frontera de la investigación de IA. La verdadera prueba es si Thinking Machines Lab puede resolver estos problemas y hacer productos en torno a su investigación para justificar su valoración de $ 12 mil millones.