Deloitte reembolsará parcialmente a Australia para un informe con aparentes errores generados por IA

Melbourne, Australia – MELBOURNE, Australia (AP) – Deloitte Australia reembolsará parcialmente los 440,000 dólares australianos ($ 290,000) pagados por el gobierno australiano por un informe lleno de aparentes Generado por IA Errores, incluida una cita fabricada de una sentencia de la corte federal y referencias a trabajos de investigación académicos inexistentes.

El informe de la firma de servicios financieros al Departamento de Relaciones de Empleo y Lugar de Trabajo se publicó originalmente en el sitio web del departamento en julio. Se publicó una versión revisada el viernes después de que Chris Rudge, un investigador de la ley de salud y bienestar de la Universidad de Sydney, dijo que alertó a los medios de comunicación de que el informe estaba “lleno de referencias fabricadas”.

Deloitte había revisado el informe de 237 páginas y “confirmó que algunas notas y referencias a pie de página eran incorrectas”, dijo el departamento en un comunicado el martes.

“Deloitte había acordado pagar la entrega final bajo su contrato”, dijo el departamento. El monto se hará público después de reembolsar el reembolso.

Cuando se le pidió que comentara las imprecisiones del informe, Deloitte le dijo a Associated Press en un comunicado que “el asunto se ha resuelto directamente con el cliente”.

Deloitte no respondió cuando se le preguntó si los errores fueron generados por AI.

Una tendencia a los sistemas de IA generativos para fabricar información se conoce como alucinación.

El informe revisó el uso de sanciones automatizadas de los sistemas de TI del departamento en el sistema de bienestar de Australia. El departamento dijo que la “sustancia” del informe se había mantenido y que no hubo cambios en sus recomendaciones.

La versión revisada incluyó una divulgación de que se utilizó un sistema de lenguaje de IA generativo, Azure OpenAi, al escribir el informe.

Se eliminaron las cotizaciones atribuidas a un juez de la corte federal, así como referencias a informes inexistentes atribuidos a expertos en ingeniería de leyes y software.

Rudge dijo que encontró hasta 20 errores en la primera versión del informe.

El primer error que le subió a declarar erróneamente que Lisa Burton Crawford, profesora de derecho público y constitucional de la Universidad de Sydney, había escrito un libro inexistente con un título que sugiere que estaba fuera de su campo de experiencia.

“Instantáneamente supe que era alucinado por la IA o el secreto mejor guardado del mundo porque nunca había oído hablar del libro y sonaba absurdo”, dijo Rudge.

El trabajo de sus colegas académicos se había utilizado como “tokens de legitimidad”, citado por los autores del informe pero no leídos, dijo Rudge, y agregó que consideró que citar mal a un juez fue un error más grave en un informe que fue efectivamente una auditoría del cumplimiento legal del departamento.

“Han descartado totalmente un caso judicial y luego inventaron una cita de un juez y pensé que aguantan: eso es un poco más grande que los egos académicos. Se trata de indicar erróneamente la ley al gobierno australiano en un informe en el que confían. Así que pensé que era importante defender la diligencia”, dijo Rudge.

La senadora Barbara Pocock, portavoz del Partido Australiano del Partido Verdes en el sector público, dijo que Deloitte debería reembolsar todo el AU $ 440,000 ($ 290,000).

DeLoitte “mal utilizó la IA y la usó de manera muy inapropiada: citó mal a un juez, usó referencias que no existen”, dijo Pocock a Australian Broadcasting Corp. “Quiero decir, el tipo de cosas por las que un estudiante universitario de primer año estaría en problemas”.