Microsoft revela su plan para ‘hacer de cada PC con Windows 11 una PC con IA’ con nueva entrada de voz, Copilot Vision y poderes de IA sobrealimentados

- Microsoft está ampliando seriamente los poderes de la aplicación Copilot, para todas las PC con Windows 11
- Copilot Voice proporcionará un nuevo método para activar la IA con entrada de voz, respaldado por un lanzamiento global de Copilot Vision.
- Se avecinan poderes de IA más amplios, incluidas acciones de copiloto que permiten a la IA interactuar con los archivos de su PC.
Microsoft se burló de que algo grande estaba sucediendo hoyy ahora hemos escuchado todo sobre sus planes para hacer que la interacción de voz sea una parte más importante del ventanas 11 experiencia y cómo se potenciará la funcionalidad de IA en el sistema operativo.
La expectativa era que este anuncio se centraría en la IA, y de hecho lo es, pero el giro es que esto no es solo para las PC Copilot+. microsoft promete una “nueva ola de actualizaciones que harán de cada PC con Windows 11 una PC con IA, con Copilot en el centro de todo”.
Como deja claro Yusuf Mehdi, vicepresidente y director de marketing de consumo de Microsoft, en un publicación de blognuevos comandos de voz llegarán a Windows 11 en forma de Copilot Voice, respaldados por una implementación global más amplia de Copilot Vision y la capacidad de la aplicación Copilot para realizar más acciones en su nombre.
Comencemos primero con el elemento de voz: todo lo que necesitas hacer es decir “Hola Copiloto” (y definitivamente no “Hola Cortana”) para invocar la IA. El micrófono Copilot aparecerá en su pantalla y podrá emitir comandos de voz o plantear una consulta a la IA. Al decir “Adiós” o cerrar el panel, la conversación finalizará automáticamente (con timbres audibles que confirman tanto el inicio como el final de una sesión).
Debo tener en cuenta que debe optar por esta función de voz en el escritorio de Windows 11 (habilitándola en la configuración de la aplicación Copilot).
Detrás de Copilot Voice tenemos el inminente lanzamiento global de Visión copilotoque hasta ahora solo ha estado disponible en los EE. UU.
La función Vision, nuevamente, dado su permiso de participación, analiza el contenido de su pantalla y puede brindarle ayuda en términos de instrucciones sobre cómo usar aplicaciones o realizar ciertas tareas en Windows 11. Incluso puede ayudar a solucionar problemas cuando algo salió mal en el sistema operativo o brindar consejos en un juego. Todo esto se puede facilitar con su voz, dado que Copilot Voice y Vision trabajan en conjunto.
Todo lo cual está muy bien, pero ¿qué hace realmente la IA por usted en Windows 11? Microsoft explica además que tiene algunos nuevos e ingeniosos poderes entrantes, que pronto estarán en prueba (versiones preliminares).
Esos nuevos poderes de la IA
En primer lugar, la barra de tareas de Windows 11 obtendrá acceso con un clic a Copilot Voice and Vision a través de sus íconos (gafas y micrófono), si lo habilita. También se nos promete una función de búsqueda de Windows mejor y más rápida (ya era hora, y en particular, esto no implica darle acceso a Copilot a sus archivos, nada ha cambiado en ese sentido bajo el capó).
Sin embargo, el gran paso de Microsoft con la IA (y los agentes) que se están probando es la introducción de Copilot Actions para los archivos de su PC.
Si Copilot Actions te suena, es porque es algo que Microsoft ha introducido previamente para la web, lo que significa que la IA puede conectarse en línea para que usted complete tareas como hacer una reserva de hotel o comprar entradas para un concierto.
En un nuevo ‘modo experimental’ en Copilot Labs para probadores, Microsoft permitirá que se tomen acciones de IA con archivos en el disco local en Windows 11. Eso significa que puede hacer que la IA clasifique las fotos de sus vacaciones recientes, por ejemplo, o extraiga información específica de un documento.
Sólo necesita describir lo que quiere hacer (usando su voz, si lo prefiere), y el agente de IA “intentará completarlo interactuando con aplicaciones web y de escritorio”, nos informa Microsoft.
Puede dejarle la IA y regresar para verificar su progreso cuando lo desee. Por supuesto, la posibilidad de que la IA cometa errores siempre está presente, y Microsoft subraya que “las pruebas en el mundo real de esta experiencia son críticas” debido a esto, y que comenzará con un “conjunto limitado de casos de uso” de manera lenta y cautelosa.
Microsoft subraya que la seguridad será claramente una consideración vital aquí y defenderá contra nuevas amenazas que un sistema de este tipo introduciría, como ataques de inyección cruzada que podrían anular las instrucciones a los agentes de IA.
Microsoft dice que está estableciendo un “conjunto de principios duraderos de seguridad y privacidad que deben cumplirse para hacer uso de nuevas capacidades de agente en Windows”, y eso incluye limitar los privilegios y permisos de agente (a los archivos con los que permite que trabaje la IA).
Además de Copilot Actions, Microsoft tiene un nuevo agente de IA general para Windows 11 llamado Manus, que puede abordar tareas complejas, y el gigante del software explica que puede crear un sitio web para usted. Usando la acción Manus AI en el Explorador de archivos, puedes reunir un conjunto de documentos e imágenes en una carpeta y hacer que Manus cree un sitio web basado en ese material, lo que suena realmente impresionante.
Microsoft también está incorporando más conectores Copilot para vincular servicios como Gmail a la aplicación Copilot, de modo que pueda preguntarle a la IA sobre sus próximas citas registradas. GooglePor ejemplo. La aplicación Copilot también podrá ayudar a ajustar la configuración de su PCcomo ya ha revelado Microsoft.
Análisis: un gran paso adelante para la IA
Todo esto está en proceso, por supuesto, y ni siquiera en pruebas todavía, por lo que gran parte de lo que estamos hablando aquí podría estar lejos.
Particularmente la idea de dejar que Copilot trabaje libremente con sus archivos en el escritorio, cuya implementación Microsoft debe tener mucho cuidado, como se señaló en el frente de seguridad. No subestimes lo que Microsoft está planeando aquí. La idea de Copilot Actions es que es un agente de inteligencia artificial que asume las tareas que usted le asigna y las completa “interactuando con sus aplicaciones y archivos, usando la visión y el razonamiento avanzado para hacer clic, escribir y desplazarse como lo haría un humano”.
Esto es en parte lo que Microsoft quiere decir con usar mucho menos el mouse y el teclado. No se trata solo de dar comandos de voz en Windows 11 o consultas de voz a la aplicación Copilot, sino también de que la IA realmente haga cosas por usted en el Sistema operativo: Voz, Visión y Acciones.
Sin embargo, Microsoft ciertamente está enfatizando lo importante que es la entrada de voz, señalando que cuanto más detalles y contexto comparta en una consulta de IA a Copilot, mejor será la respuesta, pero escribirlo todo es una molestia.
Mehdi observa que debido a esto, cuando las personas usan la voz, “interactúan con Copilot el doble que cuando usan texto”, y la nueva palabra de activación (Hey Copilot) es una forma de hacer que la interacción con Copilot sea aún más fácil en el escritorio.
Mehdi subraya: “Creemos que este cambio hacia la entrada conversacional será tan transformador como el mouse y el teclado en términos de desbloquear nuevas capacidades en la PC para el conjunto más amplio de personas”.
Sin duda, está claro que este es un gran momento para Windows 11. Hasta ahora, cuando se trata de IA, muchas de las críticas se refieren a que sus características son decepcionantes, pero los poderes cubiertos aquí son de mayor alcance y potencialmente impresionantes. Al igual que el alcance de las capacidades que llegarán a la aplicación Copilot en general para todas las PC, no solo para las computadoras portátiles Copilot+.