Las compañías de Silicon Valley se apresuran a entrenar modelos de inteligencia artificial con decenas de miles de unidades de procesamiento de gráficos, y ofrecen millones de dólares en salarios a los investigadores estrella. Mientras tanto, en Mongolia, Badral Sanlig está construyendo un gran modelo lingüístico con 128 unidades de procesamiento de gráficos y un pequeño equipo de ingenieros para servir solo a su país.
La startup de Sanlig, EGUNE AI, es parte de un LLM en crecimiento en recursos bajos para ampliar la llegada de inteligencia artificial a la población privada. A pesar de la falta de datos de capacitación, fuerza, talento y financiamiento, estos Modelos pequeños Atraen a agentes gubernamentales y usuarios individuales que están interesados en proteger su idioma, identidad cultural y soberanía frente a la hegemonía por parte de las empresas estadounidenses y chinas.
Sanlig, un ingeniero de software capacitado en Alemania, comenzó a desarrollar los formularios de reconocimiento de pronunciación mongol en 2019, después de señalar que los dispositivos inteligentes como Alexa a menudo luchan por comprender su lengua materna. Semanas después del lanzamiento de Operai Chatgpt en noviembre de 2022, Sanlig comenzó a trabajar en LLM. Comenzó Egune, lo que significa “esto” en el idioma mongol. El resto del mundo.
“La etapa inicial fue muy difícil, porque no teníamos muchas unidades de procesamiento de gráficos o mucho dinero”, dijo 45 años. “Pero pensamos que los LLM podrían resolver nuestro idioma [recognition] Un problema porque OpenAi lo ha demostrado. ”
Debido a las estrechas relaciones de Mongolia con China y Rusia, la aprobación de los Estados Unidos para comprar Chips de nafidios El uso de modelos de inteligencia artificial puede ser común a partir de una relación compleja y larga relación sanguínea, con frecuencia a Berlín para comprar chips de juegos. Los datos de entrenamiento son otro obstáculo. Eguune depende de los textos de la Universidad Mongolia, los archivos de la biblioteca y los datos artificiales. El equipo en Ulaanbaatar consta de unos 40 jóvenes ingenieros que han estudiado en el extranjero y tienen mucha experiencia en el trabajo.
Las LLM de mayor rango como GPT, Claude de Claude y Google Gemini generalmente contienen cientos de miles de millones de parámetros, o variables dentro de un modelo que determina cómo se comporta. Por el contrario, el primer modelo de Eguo fue de 5 mil millones de parámetros y solo pudo ser entendido por Mongolian. Sanlig dijo que el próximo modelo, que contiene 34 mil millones de maestros, fue construido con datos de lenguaje múltiple y un conocimiento más general. El último modelo de Egune tiene 70 mil millones de maestros y mejora la capacidad de codificación y pensamiento.
A pesar de su mayor alcance, el rendimiento de los modelos más grandes en los bajos recursos ImprevisibleLas empresas están más centradas en obtener modelos de excelencia en inglés y otros idiomas que se usan ampliamente, como el español, el francés y el alemán. Sanlig dijo que a través de sus propios modelos, las sociedades más pequeñas pueden hacer mejoras y corregir la inexactitud más rápidamente.
Egune se centra en una pequeña base de 3.5 millones de personas en Mongolia. Dijo que sus modelos son mejores no solo en el idioma sino también en la historia, la cultura y el estilo de vida beduino.
“La cultura mongol es completamente diferente de la cultura occidental, y los beduinos nómadas pueden tener algunos [questions like]: ¿Cuál es el problema con este caballo? Dijo Sanlig.
El chat de EGUNE actualmente tiene alrededor de 24,000 usuarios por día. Sanlig dijo que la compañía también desarrolló las solicitudes de Amnistía Internacional a Etisalat, Bank y varias agencias gubernamentales.
Existe el deseo de poder desarrollar sus sistemas de inteligencia artificial que estén en línea con su contexto cultural y lingüístico específico. “
Muchos esfuerzos similares en todo el mundo buscan obtener resultados similares con sus propios modelos. Estos incluyen América Latina Latam-gptSingapur el marBharatgpt en India, y el comienzo de la operación nigeriana premioQue construye LLM capacitado en cinco idiomas locales y un profesor de inglés.
Hay beneficios reales para tales LLM. La falta de confiabilidad de los modelos prevalecientes en Idiomas bajos Puede aumentar la exacerbación de la desigualdad, que hace que las sociedades pierdan los beneficios económicos de Amnistía Internacional, mientras que más que sus prejuicios sufren de sus alucinaciones, dijo Caroline Minhardt, directora de investigación de políticas en el Instituto de IA Stanford, dijo el ser humano, dijo. El resto del mundo.
Además de explorar la inteligencia artificial para servir mejor a la población local y representar valores locales, los investigadores y las autoridades están preocupados por los efectos de seguridad nacional de depender principalmente de las técnicas de inteligencia artificial. Estudia LLM de bajo resource.
Ella dijo: “Existe el deseo de poder desarrollar sus sistemas de inteligencia artificial que estén en línea con su contexto cultural y lingüístico específico, pero también quizás su contexto político”.
Pero la falta de recursos dificulta que estos modelos compitan con los hechos por los gigantes tecnológicos estadounidenses y chinos. Tsarennyam Sukhbaaarat, ciudadano mongol y profesor de marketing en Brigham Yong -Hawaii, dijo que era más popular que Igon en Mongolia. “Aunque es inteligencia mongol, [it’s] Él dijo: “No es bueno como chatgpt”, El resto del mundo.
Sin embargo, es importante que una empresa local controle los modelos mongolos y los datos de capacitación, y a veces intente usar EGUNE para mostrar su apoyo.
Él dijo: “La economía mongol se centra en gran medida en la minería, por lo que si alguien está tratando de hacer negocios comerciales en tecnología, debemos levantar la mano para apoyar este trabajo”.
Mongolia, con sus amplios sedimentos de carbón y cobre, Deriva alrededor de un cuarto Del producto interno bruto de la minería. El país tiene una pequeña industria técnica, con un ecosistema inicial por valor de aproximadamente $ 156 millones, según 2022 un informe Por la Agencia de Cooperación Internacional Japonesa. El valor de Eguo es de aproximadamente 39 millones de dólares, con una inversión moderna de $ 3.5 millones de Golom, uno de los bancos más grandes del país.
Aunque Mongolia no es un peso pesado de la tecnología, Egune puede ayudar a otros países pequeños a construir sus LLM. Dijo que las nuevas empresas ofrecen el potencial de Mongolia para construir una industria de tecnología local, incluso cuando el país sufre de una migración cerebral para trabajadores jóvenes que buscan educación y empleos en el extranjero.
“Si usan Eguo, la generación joven comprenderá la importancia de este trabajo básico”, dijo Sanlig. “El clima de inversión será más cálido”.
