Partage de la newsletter provenant du MIRI (Machine Intelligence Research Institute, Institute de Recherche sur l’Intelligence des Machines), résumé :
Mises à jour de MIRI :
Le MIRI (Machine Intelligence Research Institute) a fermé le projet Visible Thoughts, lancé en novembre 2021, qui visait à créer un jeu de données pour améliorer la transparence des modèles d’IA. Le projet n’a pas attiré les ressources nécessaires et est devenu obsolète en raison de l’évolution rapide du domaine.
« La direction de MIRI est pessimiste quant à la capacité de l’humanité à résoudre le problème de l’alignement à temps »
Nouveaux membres :
– Mitchell Howe et Joe Rogero ont rejoint l’équipe de communication.
– Daniel Filan rejoindra bientôt l’équipe de gouvernance technique comme rédacteur technique.
Événements clés :
– **Nov 2022** : Lancement de ChatGPT par OpenAI, atteignant 100 millions d’utilisateurs en deux mois.
– **Mars 2023** : Appel au moratoire de six mois sur les IA plus puissantes que GPT-4 par le Future of Life Institute.
– **Mai 2023** : Déclaration du Center for AI Safety sur les risques d’extinction causés par l’IA.
– **Oct 2023** : Décret du président Biden sur la régulation de l’IA.
– **Nov 2023** : Sommet sur la sécurité de l’IA au Royaume-Uni.
– **Mars 2024** : Adoption de l’AI Act par l’Union européenne, un cadre réglementaire pour les systèmes d’IA.
Les capacités des systèmes d’IA ont considérablement progressé, incluant la génération d’images, de musique, de vidéos, et la réussite à des jeux et examens complexes.
MISES À JOUR DE MIRI :
MIRI ferme le projet Visible Thoughts.
Nous avons initialement annoncé le projet en novembre 2021. À l’époque, nous espérions pouvoir créer un nouveau type de jeu de données pour former des modèles à exhiber davantage leur fonctionnement interne. La direction de MIRI est pessimiste quant à la capacité de l’humanité à résoudre le problème de l’alignement à temps, mais cette idée nous semblait relativement prometteuse, bien que toujours improbable.
Nous espérions également que la récompense de plus d’un million de dollars sur le projet attirerait quelqu’un capable de créer une organisation pour construire le jeu de données. Nombre de nos ambitions sont limitées par la capacité exécutive, et nous espérions trouver des individus (et/ou un processus) pouvant nous aider à lancer plus de projets sans nécessiter une grande supervision de la part de la direction de MIRI.
Aucune de ces attentes ne s’est réalisée, et entre-temps, le domaine de l’apprentissage automatique a évolué. (Le domaine de l’IA est en constante évolution, et les chercheurs en alignement travaillent contre la montre ; un jeu de données que nous aurions trouvé utile si nous avions pu commencer à travailler avec en 2022 ne l’est pas nécessairement s’il ne devient disponible que plus de deux ans plus tard.) Nous tenons à remercier les nombreux écrivains et autres membres du personnel de soutien qui ont contribué au cours des deux ans et demi écoulés.
Mitchell Howe et Joe Rogero ont rejoint l’équipe de communication en tant qu’écrivains. Mitch est un soutien de longue date de MIRI avec une formation en éducation, et Joe est un ancien ingénieur de fiabilité qui a animé des cours pour BlueDot Impact. Nous sommes ravis de pouvoir compter sur leur aide pour transmettre les points de vue de MIRI à un large public.
De plus, Daniel Filan commencera bientôt à travailler à temps partiel avec la nouvelle équipe de gouvernance technique de MIRI en tant que rédacteur technique. Daniel est l’hôte de deux podcasts : AXRP et The Filan Cabinet. En tant que rédacteur technique, Daniel aidera à augmenter notre production de recherche et à rendre les recherches de l’équipe de gouvernance technique lisibles pour des publics clés.
L’équipe de gouvernance technique a soumis des réponses à la demande de commentaires de la NTIA sur les modèles d’IA à poids ouvert, à la demande de retour d’informations des Nations Unies sur le rapport intérimaire Governing AI for Humanity, et à la demande d’information de l’Office of Management and Budget sur les achats d’IA par le gouvernement.
Eliezer Yudkowsky a discuté avec Semafor pour un article sur les risques d’élargir la définition de la « sécurité de l’IA ». « Vous voulez des noms différents pour le projet de « faire en sorte que les IA ne tuent pas tout le monde » et celui de « faire en sorte que les IA utilisées par les banques accordent des prêts équitables ». »
Un certain nombre de développements importants dans le monde ont eu lieu pendant la pause de la newsletter de MIRI de juillet 2022 à avril 2024. Pour en rappeler quelques-uns :
En novembre 2022, OpenAI a lancé ChatGPT, une application de chatbot qui aurait atteint 100 millions d’utilisateurs en deux mois après son lancement. Comme nous l’avons mentionné dans notre mise à jour stratégique de 2024, GPT-3.5 et GPT-4 ont été plus impressionnants que ce à quoi certains membres de l’équipe MIRI s’attendaient, représentant une réévaluation pessimiste pour certains d’entre nous « quant à la plausibilité que l’humanité puisse créer une IA générale capable de détruire le monde avec relativement peu (ou pas) d’avancées algorithmiques supplémentaires ». Le succès de ChatGPT a considérablement augmenté la sensibilisation du public à l’IA et a alimenté une grande partie de la conversation post-2022 sur les risques liés à l’IA.
En mars 2023, le Future of Life Institute a publié une lettre ouverte appelant à un moratoire de six mois sur les entraînements d’IA plus puissants que GPT-4. Suite à la publication de cette lettre, Eliezer a écrit dans TIME qu’une pause de six mois n’était pas suffisante et qu’un moratoire mondial indéfini était nécessaire pour éviter une catastrophe.
En mai 2023, le Center for AI Safety a publié une déclaration d’une phrase : « La réduction du risque d’extinction causé par l’IA doit être une priorité mondiale aux côtés d’autres risques à l’échelle sociétale tels que les pandémies et les guerres nucléaires. » Nous avons été particulièrement satisfaits de cette déclaration, car elle mettait l’accent sur le risque existentiel en particulier, et le faisait de manière compréhensible pour les décideurs politiques et le grand public. La liste des signataires comprenait les trois chercheurs les plus cités en IA (Bengio, Hinton et Sutskever) ainsi que les dirigeants des trois principaux laboratoires d’IA (Anthropic, DeepMind et OpenAI).
En octobre 2023, le président Biden a signé un décret sur l’IA. Les dispositions du décret incluent des exigences de reporting pour certains grands modèles, des règles pour l’achat de produits d’IA par le gouvernement fédéral, et une directive pour le NIST afin de développer des normes de sécurité pour l’IA générative.
En novembre 2023, le sommet sur la sécurité de l’IA organisé par le Royaume-Uni a rassemblé des experts et des dirigeants mondiaux pour discuter des risques liés à l’IA. Le sommet a montré une certaine promesse, mais ses résultats semblent pour l’instant limités. Six mois plus tard, il apparaît que tous les principaux laboratoires d’IA ne respectent pas les accords volontaires qu’ils ont pris lors du sommet.
En mars 2024, l’Union européenne a adopté l’AI Act, un cadre réglementaire général pour l’utilisation de tous les systèmes d’IA, organisé en catégories de risque. La loi inclut des exigences d’évaluation et de reporting pour les systèmes d’IA à usage général entraînés avec plus de 10^25 FLOP.
Au cours de la dernière année et demie, les systèmes d’IA ont montré de nombreuses nouvelles capacités, notamment la génération d’images de haute qualité, le niveau expert au jeu de Stratego, le niveau expert au jeu de Diplomacy, la rédaction de code, la génération de musique, la génération de vidéos, la réussite aux examens AP, la résolution de problèmes de géométrie de niveau olympique, et la victoire dans des courses de drones contre des champions du monde humains.
Cordialement,
Harlan Stewart et Rob Bensinger
Machine Intelligence Research Institute