Conectando los puntos: "El futuro del trabajo con IA" y el paper técnico de GPT-4

Hace unas cinco semanas, escribí un artículo con algunas conjeturas razonadas sobre cómo las funcionalidades de OpenAI y ChatGPT pueden integrarse en Microsoft Office 365. Ayer, durante el evento "The future of work with AI" de Microsoft, nos mostraron las primeras iteraciones de lo que la integración de las tecnologías de OpenAI (más precisamente, los Large Language Models) con Office 365 y Microsoft Graph puede hacer.

A principios de esta semana, OpenAI también presentó públicamente GPT-4. Si no has visto el video en vivo, te recomiendo que lo veas. Te muestra qué más puede hacer GPT-4 y cómo estas capacidades pronto se integrarán en el ecosistema de Microsoft, dada la relación con OpenAI.

En este artículo, compartiré mis reacciones sobre lo que puede hacer Microsoft 365 Copilot y luego haré un análisis profundo del paper técnico de GPT-4, especialmente sobre riesgos y seguridad. Si quieres leer sobre el riesgo de "Potencial para comportamientos emergentes peligrosos" (como la planificación a largo plazo, la búsqueda de poder y el comportamiento cada vez más "agéntico"), puedes usar la tabla de contenidos para saltar directamente a esa sección.

Diferentes capacidades de Copilot

Todos los casos de uso que mencioné en el artículo original están en el video de demostración de Microsoft, y hay más. Puedes ver las diferentes capacidades de Copilot a continuación:

Copilot en Excel
Outlook (correo electrónico)
Copilot en reuniones de Teams
Resumen de reuniones con Copilot
Copilot en PowerPoint

Dos capacidades/productos que me sorprendieron y que me gustan mucho son:

Business chat: puede ser muy útil porque, en organizaciones grandes, un problema constante es la transferencia y gestión del conocimiento. Si entiendo bien la demo, ahora puedes pedirle al chatbot empresarial que busque información en todos los datos de la organización usando lenguaje natural, ¡y eso es fantástico! Es como chatGPT pero usando todos tus datos corporativos.
Solución low code con IA: los usuarios pueden dar vida a ideas usando lenguaje natural. Es una excelente manera de democratizar la capacidad de crear aplicaciones a pequeña escala para automatizar ciertas tareas. No hace falta enviar una propuesta a tus jefes ni al equipo de ingeniería, ni pasar por el proceso de priorización para que aprueben y construyan tu propuesta. Con la solución low code, más personas pueden crear pequeñas apps usando los datos corporativos para resolver sus problemas específicos :)

¿Sientes que estamos avanzando demasiado rápido?

El paper técnico de GPT-4 está aquí. Debo admitir que es un documento bastante denso para lectores no técnicos (como yo), pero quiero llamar tu atención sobre las páginas 4-20, donde OpenAI analiza diferentes desafíos de seguridad. Pasé bastante tiempo leyendo esta sección y creo que vale la pena. Algunos ejemplos de los riesgos que comenzaron a explorar son:

Alucinaciones
Contenido dañino
- Daños de representación, asignación y calidad del servicio
- Desinformación y operaciones de influencia
Proliferación de armas convencionales y no convencionales
Privacidad
Ciberseguridad
Potencial para comportamientos emergentes peligrosos
Impactos económicos
Aceleración
Dependencia excesiva

Aquí está el resumen de chatGPT-4 sobre cada uno de los riesgos del paper técnico y mis comentarios.

Alucinaciones

Resumen: El potencial de GPT-4 para "alucinar", es decir, producir contenido sin sentido o falso en relación con determinadas fuentes.

A medida que estos modelos se vuelven cada vez más convincentes y creíbles, los usuarios pueden volverse excesivamente dependientes de ellos, lo cual puede ser especialmente perjudicial. El artículo analiza los métodos utilizados para medir el potencial de alucinación de GPT-4 tanto en contextos de dominio cerrado como abierto, y cómo se entrenó el modelo para reducir su tendencia a alucinar. Las evaluaciones internas mostraron que GPT-4 tuvo un rendimiento significativamente mejor que el último modelo GPT-3.5 para evitar tanto las alucinaciones de dominio abierto (mejora del 19%) como las de dominio cerrado (mejora del 29%).

Mi comentario: Esto significa que chatGPT-4 debería ser capaz de resumir mejor el contenido de un documento (es decir, en situaciones de dominio cerrado).

Daños de representación, asignación y calidad del servicio

Resumen: El artículo afirma que los modelos de lenguaje como GPT-4 pueden amplificar los sesgos y perpetuar los estereotipos, ya que continúan reforzando los sesgos sociales y las visiones del mundo. El proceso de evaluación encontró que GPT-4 tiene el potencial de reproducir sesgos y visiones del mundo específicos, incluyendo asociaciones estereotipadas y denigrantes dañinas para ciertos grupos marginados. Algunos tipos de sesgo pueden mitigarse mediante el entrenamiento para rechazar solicitudes, pero es importante señalar que los rechazos y otras medidas de mitigación también pueden exacerbar el sesgo en algunos contextos. Además, los sistemas de IA como GPT-4 tienen el potencial de reforzar ideologías, visiones del mundo, verdades y falsedades enteras, y de consolidarlas o fijarlas, sin trabajo anticipatorio para abordar cómo gobernar estos sistemas de manera justa y compartir el acceso de manera equitativa.

A continuación puedes ver algunos ejemplos del paper.

Desinformación y operaciones de influencia

Resumen: El artículo analiza cómo GPT-4 puede generar contenido plausiblemente realista y dirigido, incluyendo artículos de noticias, tweets, diálogos y correos electrónicos.

Esta capacidad podría ser mal utilizada para explotar a personas o para operaciones de desinformación e influencia. El rendimiento de GPT-4 en tareas de lenguaje relacionadas lo hace mejor que GPT-3 para generar contenido que es engañoso pero persuasivo, lo que aumenta el riesgo de que actores maliciosos lo usen para crear contenido engañoso y moldear las opiniones epistémicas futuras de la sociedad. El artículo señala que GPT-4 puede rivalizar con los propagandistas humanos en muchos ámbitos, especialmente si trabaja junto a un editor humano, pero las alucinaciones pueden reducir su eficacia en áreas donde la fiabilidad es importante. GPT-4 también es capaz de generar contenido discriminatorio favorable a los gobiernos autocráticos en múltiples idiomas. La proliferación de información falsa de los modelos de lenguaje tiene el potencial de generar dudas sobre todo el entorno informativo, amenazando nuestra capacidad de distinguir la realidad de la ficción, lo que podría beneficiar desproporcionadamente a quienes tienen que ganar con la desconfianza generalizada.

Mi comentario: No estoy seguro de cuántas personas leerán el paper técnico de OpenAI o esta parte del apéndice sobre riesgos. Me alegra que OpenAI sea relativamente transparente sobre los riesgos y lo que está haciendo para mitigarlos, incluso al hablar de ellos en este paper. Sin embargo, esto me pone los pelos de punta y me da mucho en qué pensar.

Proliferación de armas convencionales y no convencionales

Resumen: El artículo analiza cómo las capacidades de GPT-4 tienen un potencial de doble uso y pueden utilizarse para aplicaciones tanto comerciales como militares, incluyendo el desarrollo, la adquisición y la difusión de armas nucleares, radiológicas, biológicas y químicas.

Las pruebas del equipo rojo encontraron que GPT-4 puede generar información difícil de encontrar y acortar el tiempo que los usuarios dedican a la investigación, lo que lo hace potencialmente útil para individuos y actores no estatales sin formación científica formal. El modelo puede proporcionar información general sobre vías de proliferación comunes y sugerir objetivos públicos vulnerables, medidas de seguridad y componentes fundamentales necesarios para fabricar un dispositivo de dispersión radiológica o sustancias bioquímicas. Sin embargo, las generaciones del modelo a menudo eran demasiado vagas, poco prácticas o propensas a errores de hecho que podrían sabotear o retrasar a un actor amenazante. El artículo señala que la información disponible en línea no es suficientemente específica para recrear una sustancia de doble uso.

Privacidad

Resumen: Es importante señalar que todavía existen riesgos potenciales para la privacidad a pesar de estos esfuerzos. Por ejemplo, incluso si se elimina la información personal del conjunto de datos de entrenamiento, el modelo aún puede ser capaz de inferir información personal a través de los patrones que aprende. Además, incluso si el modelo está ajustado para rechazar ciertas solicitudes, aún puede ser posible encontrar formas de eludir estas restricciones. Por ello, el monitoreo y los esfuerzos de mitigación continuos son cruciales para garantizar que el uso de GPT-4 no viole los derechos de privacidad.

Ciberseguridad

Resumen: Este contenido analiza las capacidades de GPT-4 en operaciones de ciberseguridad, particularmente en el descubrimiento y explotación de vulnerabilidades, y en la ingeniería social. Destaca que GPT-4 tiene algunas limitaciones en estas áreas, incluyendo su tendencia a generar "alucinaciones" y su ventana de contexto limitada. Si bien puede ser útil en ciertas subtareas de ingeniería social y para acelerar algunos aspectos de las operaciones cibernéticas, no mejora las herramientas existentes para el reconocimiento, la explotación de vulnerabilidades y la navegación por redes, y es menos eficaz que las herramientas existentes para actividades complejas y de alto nivel como la identificación de nuevas vulnerabilidades.

Potencial para comportamientos emergentes peligrosos

Resumen: El artículo analiza los riesgos potenciales asociados con la aparición de capacidades novedosas en GPT-4, como la planificación a largo plazo, la búsqueda de poder y el comportamiento cada vez más "agéntico". El Alignment Research Center (ARC) recibió acceso anticipado para evaluar los riesgos del comportamiento de búsqueda de poder en el modelo, específicamente su capacidad para replicarse de forma autónoma y adquirir recursos. Las pruebas preliminares encontraron que GPT-4 era ineficaz en la replicación autónoma sin un ajuste fino específico de la tarea. El ARC realizará más experimentos con la versión final del modelo y su propio ajuste fino para determinar las capacidades emergentes de riesgo.

El artículo analiza la necesidad de entender cómo GPT-4 interactúa con otros sistemas para evaluar los riesgos potenciales en contextos del mundo real. Los equipos rojos evaluaron el uso de GPT-4 aumentado con otras herramientas para llevar a cabo tareas que podrían ser de naturaleza adversarial, como encontrar productos químicos alternativos disponibles para comprar. El artículo enfatiza la necesidad de evaluar y probar los sistemas de IA potentes en contexto para detectar la posible aparición de bucles de retroalimentación perjudiciales entre sistemas o entre humanos y sistemas. También destaca el riesgo que crea que decisores independientes de alto impacto se apoyen en la asistencia para la toma de decisiones de modelos como GPT-4, lo que puede crear inadvertidamente riesgos sistémicos que antes no existían.

Mi comentario: Es bueno que OpenAI esté pidiendo a los equipos rojos que investiguen esta área. Pero parece demasiado importante como para que Microsoft u otras empresas no publiquen información pública sobre sus esfuerzos en este ámbito cada vez que lanzan nuevos modelos.

Impactos económicos

Resumen: El artículo analiza el impacto potencial de GPT-4 en la economía y la fuerza laboral, incluyendo el potencial de desplazamiento laboral y cambios en la organización industrial y las estructuras de poder. Señala que si bien la IA y los modelos generativos pueden complementar a los trabajadores humanos y mejorar la satisfacción laboral, su introducción ha aumentado históricamente la desigualdad y ha tenido impactos dispares en diferentes grupos. El artículo enfatiza la necesidad de prestar atención a cómo se despliega GPT-4 en el lugar de trabajo a lo largo del tiempo y monitorear sus impactos. El artículo también analiza el potencial de GPT-4 para acelerar el desarrollo de nuevas aplicaciones y el ritmo general del desarrollo tecnológico. El artículo concluye destacando la inversión del autor en esfuerzos para monitorear los impactos de GPT-4, incluyendo experimentos sobre el rendimiento de los trabajadores y encuestas a usuarios y empresas que desarrollan sobre la tecnología.

Aceleración

Resumen: El artículo analiza las preocupaciones de OpenAI sobre el impacto potencial de GPT-4 en el ecosistema más amplio de investigación y desarrollo de IA, incluyendo el riesgo de que las dinámicas de aceleración conduzcan a una disminución de los estándares de seguridad y los riesgos sociales asociados con la IA.

Para comprender mejor el riesgo de aceleración, OpenAI reclutó pronosticadores expertos para predecir cómo varios aspectos del despliegue de GPT-4 podrían afectar al riesgo de aceleración. El artículo señala que retrasar el despliegue de GPT-4 seis meses y adoptar una estrategia de comunicación más discreta podría reducir el riesgo de aceleración.

El artículo también analiza una evaluación realizada para medir el impacto de GPT-4 en la estabilidad internacional e identificar los factores estructurales que intensifican la aceleración de la IA. El artículo concluye afirmando que OpenAI aún está trabajando en la investigación y el desarrollo de estimaciones de aceleración más fiables.

Dependencia excesiva

Resumen: El artículo analiza el riesgo de la dependencia excesiva de GPT-4, donde los usuarios confían y dependen demasiado del modelo, lo que puede llevar a errores desapercibidos y una supervisión inadecuada. El artículo señala que la dependencia excesiva es un modo de fallo que probablemente aumenta con la capacidad y el alcance del modelo.

Para mitigar la dependencia excesiva, el artículo recomienda que los desarrolladores proporcionen a los usuarios finales documentación detallada sobre las capacidades y limitaciones del sistema, precaución en cómo se refieren al modelo/sistema, y que comuniquen la importancia de evaluar críticamente los resultados del modelo.

El artículo también analiza los cambios a nivel de modelo que OpenAI ha realizado para abordar los riesgos de la dependencia excesiva y la dependencia insuficiente, incluyendo el refinamiento del comportamiento de rechazo del modelo y la mejora de la capacidad de dirección. Sin embargo, el artículo señala que GPT-4 todavía muestra una tendencia a ser cauteloso en sus respuestas, lo que puede fomentar inadvertidamente la dependencia excesiva.

El CEO y CTO de OpenAI sobre los riesgos

Hace unos días, ABC News publicó una entrevista con el CEO de OpenAI, Sam Altman, y la entonces CTO, Mira Murati. (Nota: Mira Murati dejó OpenAI en septiembre de 2024.) Hablaron mucho sobre los riesgos, y puedes ver el video a continuación.

https://www.youtube.com/watch?app=desktop&v=540vzMlf-54

Conclusión

La integración del modelo de lenguaje de OpenAI en Microsoft Office 365 tiene un inmenso potencial para mejorar la productividad, la transferencia de conocimiento y la automatización en diversas industrias. GPT-4 es sin duda mucho más capaz que las versiones anteriores. Sin embargo, lo que más me llama la atención es la velocidad con la que tanto OpenAI como Microsoft siguen adelante, lo que lleva a una aceleración general del desarrollo y la adopción de la IA. En general soy optimista sobre el desarrollo de la IA, pero creo que necesitamos asegurarnos de que la discusión sobre los diversos riesgos se generalice. Puede que me equivoque, pero parece que el ritmo de desarrollo supera nuestra capacidad de reflexionar sobre las implicaciones.

¿Qué opinas tú? ¿Estamos avanzando demasiado rápido con la IA, o es este el ritmo adecuado? Me encantaría conocer tu perspectiva.

Un abrazo,

Chandler