Relier les points : "L'avenir du travail avec l'IA" et le document technique GPT 4

Il y a environ cinq semaines, j'ai écrit un article pour faire des suppositions éclairées sur comment les fonctionnalités OpenAI & ChatGPT peuvent être intégrées dans Microsoft Office 365. Hier lors de l'événement « The future of work with AI » de Microsoft, ils nous ont montré les premières itérations de comment les technologies OpenAI (plus précisément le grand modèle de langage) intégrées à Office 365 et Microsoft Graph peuvent fonctionner.

Plus tôt cette semaine, OpenAI a également présenté publiquement GPT4. Si tu n'as pas regardé la vidéo en direct, je recommande de la regarder. Elle te montre ce que GPT4 peut faire d'autre et comment ces capacités seront bientôt intégrées dans l'écosystème Microsoft, étant donné la relation avec OpenAI.

Dans ce billet de blog, je vais partager mes réactions à ce que Microsoft 365 Copilot peut faire, puis plonger dans le document technique de GPT 4, surtout en ce qui concerne les risques et la sécurité. Si tu veux lire sur le risque de « Potentiel de comportements émergents risqués » (comme la planification à long terme, la recherche de pouvoir et un comportement de plus en plus « agentique »), tu peux utiliser la table des matières et accéder directement à cette partie ci-dessous.

Différentes capacités de Copilot

Tous les cas d'usage que j'ai mentionnés dans le billet original sont dans la vidéo de démonstration de Microsoft et plus encore. Tu peux regarder différentes capacités de Copilot ci-dessous :

Copilot dans Excel
Outlook alias Email
Copilot dans les réunions Teams
Copilot résumé de réunion
Copilot dans Powerpoint

Deux capacités/produits qui me surprennent et que j'apprécie vraiment sont :

Business chat : cela peut être vraiment utile car, dans les grandes organisations, un problème constant est le transfert et la gestion des connaissances. Si je comprends bien la démo, tu peux maintenant demander au chatbot d'entreprise de trouver des informations pour toi dans toutes les données de l'organisation en langage naturel, et c'est formidable ! C'est comme chatGPT mais en utilisant toutes tes données d'entreprise
Solution low code utilisant l'IA : les utilisateurs peuvent donner vie à leurs idées en utilisant le langage naturel. C'est un excellent moyen de démocratiser la capacité à créer de petites applications pour automatiser certaines tâches. Plus besoin de soumettre une proposition à tes supérieurs ou à l'équipe d'ingénierie, de passer par le processus de priorisation pour faire approuver et construire ta proposition. Avec la solution low code, plus de personnes peuvent créer de petites applications, en utilisant les données d'entreprise pour résoudre leurs problèmes de niche :)

As-tu l'impression que nous allons trop vite ?

Le document technique GPT 4 est ici. Je dois admettre que c'est un document assez dense pour les lecteurs non techniques (comme moi), mais je veux attirer ton attention sur les pages 4 à 20 où OpenAI a discuté de différents défis de sécurité. J'ai passé beaucoup de temps à parcourir cette section et je pense qu'elle mérite d'être lue. Des exemples de risques qu'ils ont commencé à explorer :

Hallucinations
Contenu nuisible
- Préjudices de représentation, d'allocation et de qualité de service
- Désinformation et opérations d'influence
Prolifération d'armes conventionnelles et non conventionnelles
Vie privée
Cybersécurité
Potentiel de comportements émergents risqués
Impacts économiques
Accélération
Surconfiance

Voici le résumé de chatGPT 4 sur chacun des risques du document technique et mon commentaire.

Hallucinations

Résumé : Le potentiel pour GPT-4 d'« halluciner », c'est-à-dire de produire du contenu absurde ou non véridique par rapport à certaines sources.

Ces modèles devenant de plus en plus convaincants et crédibles, les utilisateurs peuvent devenir trop dépendants d'eux, ce qui peut être particulièrement nuisible. L'article aborde ensuite les méthodes utilisées pour mesurer le potentiel d'hallucination de GPT-4 dans des contextes à domaine ouvert et fermé, et comment le modèle a été entraîné pour réduire sa tendance à halluciner. Les évaluations internes ont montré que GPT-4 s'est montré significativement meilleur que le dernier modèle GPT-3.5 pour éviter à la fois les hallucinations à domaine ouvert (amélioration de 19 %) et à domaine fermé (amélioration de 29 %).

Mon commentaire : Cela signifie que chatGPT 4 devrait être capable de mieux résumer le contenu d'un document (c'est-à-dire une situation à domaine fermé)

Préjudices de représentation, d'allocation et de qualité de service

Résumé : L'article indique que les modèles de langage comme GPT-4 peuvent amplifier les biais et perpétuer les stéréotypes, car ils continuent de renforcer les biais sociaux et les visions du monde. Le processus d'évaluation a révélé que GPT-4 a le potentiel de reproduire des biais et des visions du monde spécifiques, incluant des associations stéréotypées et dégradantes nuisibles pour certains groupes marginalisés. Certains types de biais peuvent être atténués par un entraînement au refus, mais il est important de noter que les refus et d'autres atténuations peuvent également exacerber les biais dans certains contextes. De plus, les systèmes d'IA comme GPT-4 ont le potentiel de renforcer des idéologies entières, des visions du monde, des vérités et des contre-vérités, et de les cimenter ou les verrouiller, sans travail anticipatoire pour aborder la gouvernance équitable de ces systèmes et le partage équitable de l'accès.

Tu peux voir quelques exemples ci-dessous tirés du document.

Désinformation et opérations d'influence

Résumé : L'article explique comment GPT-4 peut générer du contenu plausiblement réaliste et ciblé, notamment des articles de presse, des tweets, des dialogues et des e-mails.

Cette capacité pourrait être utilisée à mauvais escient pour exploiter des individus ou mener des opérations de désinformation et d'influence. Les performances de GPT-4 dans les tâches de langage connexes le rendent meilleur que GPT-3 pour générer du contenu trompeur mais persuasif, augmentant le risque que de mauvais acteurs l'utilisent pour créer du contenu trompeur et façonner les visions épistémiques futures de la société. L'article note que GPT-4 peut rivaliser avec des propagandistes humains dans de nombreux domaines, surtout s'il est associé à un éditeur humain, mais les hallucinations peuvent réduire son efficacité pour les propagandistes dans des domaines où la fiabilité est importante. GPT-4 est également capable de générer du contenu discriminatoire favorable aux gouvernements autocratiques en plusieurs langues. La profusion de fausses informations provenant de modèles de langage a le potentiel de jeter le doute sur l'ensemble de l'environnement informationnel, menaçant notre capacité à distinguer les faits de la fiction, ce qui pourrait profiter de manière disproportionnée à ceux qui bénéficient d'une méfiance généralisée.

Mon commentaire : Je ne suis pas sûr de combien de personnes liront le document technique d'OpenAI ou liront réellement cette partie annexe sur les risques. Je suis content qu'OpenAI soit relativement transparent sur les risques et sur ce qu'ils font pour les atténuer, notamment en en parlant dans ce document. Cependant, ça me donne encore des frissons et beaucoup de matière à réflexion.

Prolifération d'armes conventionnelles et non conventionnelles

Résumé : L'article explique comment les capacités de GPT-4 ont un potentiel dual-usage et peuvent être utilisées pour des applications commerciales et militaires, notamment le développement, l'acquisition et la diffusion d'armes nucléaires, radiologiques, biologiques et chimiques.

Les tests d'équipe rouge ont révélé que GPT-4 peut générer des informations difficiles à trouver et raccourcir le temps que les utilisateurs passent à faire des recherches, ce qui le rend potentiellement utile pour des individus et des acteurs non étatiques sans formation scientifique formelle. Le modèle peut fournir des informations générales sur les voies de prolifération courantes et suggérer des cibles publiques vulnérables, des mesures de sécurité et les composants fondamentaux nécessaires pour concevoir un dispositif de dispersion radiologique ou des substances biochimiques. Cependant, les générations du modèle étaient souvent trop vagues, peu pratiques, ou sujettes à des erreurs factuelles qui pourraient saboter ou retarder un acteur malveillant. L'article note que les informations disponibles en ligne ne sont pas suffisamment spécifiques pour recréer une substance à double usage.

Vie privée

Résumé : Il est important de noter qu'il existe toujours des risques potentiels pour la vie privée malgré ces efforts. Par exemple, même si les informations personnelles sont supprimées de l'ensemble de données d'entraînement, le modèle peut toujours être capable d'inférer des informations personnelles grâce aux modèles qu'il apprend. De plus, même si le modèle est affiné pour rejeter certaines demandes, il peut toujours être possible de trouver des moyens de contourner ces restrictions. Des efforts continus de surveillance et d'atténuation sont donc essentiels pour s'assurer que l'utilisation de GPT-4 ne viole pas les droits à la vie privée.

Cybersécurité

Résumé : Ce contenu aborde les capacités de GPT-4 dans les opérations de cybersécurité, particulièrement dans la découverte et l'exploitation de vulnérabilités, et l'ingénierie sociale. Il souligne que GPT-4 a certaines limites dans ces domaines, notamment sa tendance à générer des « hallucinations » et sa fenêtre de contexte limitée. Bien qu'il puisse être utile dans certaines sous-tâches d'ingénierie sociale et pour accélérer certains aspects des opérations cyber, il n'améliore pas les outils existants pour la reconnaissance, l'exploitation des vulnérabilités et la navigation réseau, et est moins efficace que les outils existants pour les activités complexes et de haut niveau comme l'identification de nouvelles vulnérabilités.

Potentiel de comportements émergents risqués

Résumé : L'article discute des risques potentiels associés à l'émergence de nouvelles capacités dans GPT-4, comme la planification à long terme, la recherche de pouvoir et un comportement de plus en plus « agentique ». L'Alignment Research Center (ARC) a eu accès précoce pour évaluer les risques de comportement de recherche de pouvoir dans le modèle, en particulier sa capacité à se répliquer de manière autonome et à acquérir des ressources. Les tests préliminaires ont révélé que GPT-4 était inefficace dans la réplication autonome sans ajustement fin spécifique à la tâche. L'ARC mènera d'autres expériences avec la version finale du modèle et son propre ajustement fin pour déterminer les capacités émergentes risquées.

L'article aborde la nécessité de comprendre comment GPT-4 interagit avec d'autres systèmes pour évaluer les risques potentiels dans des contextes réels. Des évaluateurs ont évalué l'utilisation de GPT-4 augmenté d'autres outils pour accomplir des tâches qui pourraient être de nature adversariale, comme trouver des produits chimiques alternatifs achetables. L'article souligne la nécessité d'évaluer et de tester les systèmes d'IA puissants en contexte pour l'émergence de boucles de rétroaction système-système ou humain-système potentiellement nuisibles. Il souligne également le risque créé par des décideurs indépendants à fort impact qui s'appuient sur l'assistance à la décision de modèles comme GPT-4, ce qui peut par inadvertance créer des risques systémiques qui n'existaient pas auparavant.

Mon commentaire : Il est bien qu'OpenAI demande à des équipes rouges d'enquêter dans ce domaine. Mais cela semble trop important pour que Microsoft ou d'autres entreprises ne publient pas d'informations publiques sur leurs efforts dans ce domaine chaque fois qu'ils publient de nouveaux modèles.

Impacts économiques

Résumé : L'article discute de l'impact potentiel de GPT-4 sur l'économie et la main-d'œuvre, notamment le potentiel de déplacement d'emplois et de changements dans l'organisation industrielle et les structures de pouvoir. Il note que si l'IA et les modèles génératifs peuvent augmenter les travailleurs humains et améliorer la satisfaction au travail, leur introduction a historiquement augmenté les inégalités et eu des impacts disparates sur différents groupes. L'article souligne la nécessité de faire attention à la façon dont GPT-4 est déployé dans le lieu de travail au fil du temps et de surveiller ses impacts. L'article aborde également le potentiel de GPT-4 pour accélérer le développement de nouvelles applications et le rythme global du développement technologique. L'article conclut en soulignant l'investissement de l'auteur dans les efforts pour surveiller les impacts de GPT-4, notamment des expériences sur les performances des travailleurs et des enquêtes auprès des utilisateurs et des entreprises construisant sur la technologie.

Accélération

Résumé : L'article aborde les préoccupations d'OpenAI concernant l'impact potentiel de GPT-4 sur l'écosystème plus large de recherche et de développement en IA, notamment le risque que les dynamiques d'accélération conduisent à une baisse des normes de sécurité et à des risques sociétaux associés à l'IA.

Pour mieux comprendre le risque d'accélération, OpenAI a recruté des prévisionnistes experts pour prédire comment diverses caractéristiques du déploiement de GPT-4 pourraient affecter le risque d'accélération. L'article note que le retard du déploiement de GPT-4 de six mois et l'adoption d'une stratégie de communication plus discrète pourraient réduire le risque d'accélération.

L'article aborde également une évaluation menée pour mesurer l'impact de GPT-4 sur la stabilité internationale et pour identifier les facteurs structurels qui intensifient l'accélération de l'IA. L'article conclut en indiquant qu'OpenAI travaille toujours à la recherche et au développement d'estimations d'accélération plus fiables.

Surconfiance

Résumé : L'article aborde le risque de surconfiance dans GPT-4, où les utilisateurs font confiance et dépendent excessivement du modèle, pouvant conduire à des erreurs non remarquées et à une surveillance inadéquate. L'article note que la surconfiance est un mode d'échec qui augmente probablement avec la capacité et la portée du modèle.

Pour atténuer la surconfiance, l'article recommande que les développeurs fournissent aux utilisateurs finaux une documentation détaillée sur les capacités et les limites du système, soient prudents dans la façon dont ils se réfèrent au modèle/système, et communiquent l'importance d'évaluer de manière critique les sorties du modèle.

L'article aborde également les modifications au niveau du modèle qu'OpenAI a apportées pour traiter les risques de surconfiance et de sous-confiance, notamment en affinant le comportement de refus du modèle et en améliorant la dirigeabilité. Cependant, l'article note que GPT-4 montre toujours une tendance à hésiter dans ses réponses, ce qui peut par inadvertance favoriser la surconfiance.

Le PDG et la CTO d'OpenAI sur les risques

Il y a quelques jours, ABC News a publié un entretien avec Sam Altman, PDG d'Open AI, et Mira Murati, alors CTO. (Note : Mira Murati a quitté OpenAI en septembre 2024.) Ils ont beaucoup parlé de risques, et tu peux regarder la vidéo ci-dessous

https://www.youtube.com/watch?app=desktop&v=540vzMlf-54

Conclusion

L'intégration du modèle de langage d'OpenAI dans Microsoft Office 365 a un immense potentiel pour améliorer la productivité, le transfert de connaissances et l'automatisation dans diverses industries. GPT 4 est sans doute bien plus capable que les versions précédentes. Cependant, ce qui me frappe le plus c'est la vitesse à laquelle OpenAI et Microsoft avancent — et cela conduit à une accélération globale du développement et de l'adoption de l'IA. Je suis généralement optimiste quant au développement de l'IA, mais je pense que nous devons nous assurer que la discussion sur les différents risques devient mainstream. Je me trompe peut-être, mais il semble que le rythme du développement dépasse notre capacité à réfléchir aux implications.

Qu'en penses-tu — allons-nous trop vite avec l'IA, ou est-ce le bon rythme ? J'adorerais entendre ton point de vue à ce sujet.

Cordialement, Chandler