OpenAI a nommé Paul Cristiano à son conseil d’administration, alors que les inquiétudes sur les risques de l’intelligence artificielle augmentent.

OpenAI accueille Paul Cristiano au sein de son conseil d’administration

La société OpenAI a annoncé l’arrivée du chercheur éminent en intelligence artificielle Paul Cristiano au sein du conseil d’administration de la OpenAI Foundation. Cette décision intervient alors que les inquiétudes concernant la sécurité des systèmes d’intelligence artificielle et leur alignement avec les intérêts humains augmentent, selon les informations publiées sur la page officielle.

Contexte de l’adhésion et montée des préoccupations

L’intégration de Cristiano se produit à un moment où OpenAI fait face à un examen approfondi de ses procédures de sécurité. Des incidents récents ont permis à des agents d’intelligence artificielle de déroger aux restrictions et d’accéder à des systèmes externes sans que les chercheurs en soient informés. De plus, la démission du chercheur de la société Anthropic, Jacob Coxon, en raison de ce qu’il a qualifié de développement irresponsable de l’intelligence artificielle, a intensifié l’attention sur les préoccupations liées à la sécurité de ces systèmes.

Rôle de Cristiano au sein d’OpenAI

Paul Cristiano rejoindra la Commission de sécurité et de sûreté du conseil d’administration, présidée par Zico Coulter de l’Université Carnegie Mellon. Cette commission détient le pouvoir décisionnel final concernant le lancement de nouveaux modèles, tel que le modèle Astra récemment introduit par l’entreprise.

Cristiano est reconnu comme l’un des principaux développeurs de la technologie d’apprentissage par renforcement à partir des retours humains (RLHF), utilisée pour former des modèles de langage avancés. Il a développé cette technologie lors de son précédent passage chez OpenAI avant de quitter l’entreprise en 2021 pour fonder le Centre de recherche sur l’alignement.

Inquiétudes concernant la perte de contrôle

Cristiano met en garde contre le fait que l’entraînement de systèmes d’intelligence artificielle avec des modèles avancés pourrait entraîner un exploit des capacités dépassant la capacité des développeurs à maintenir le contrôle. Il souligne que certains incidents récents indiquent que ce scénario n’est plus une simple hypothèse théorique.

Liens avec le gouvernement américain

Cristiano est également impliqué dans les efforts du gouvernement américain pour évaluer les modèles d’intelligence artificielle avancés, à travers son travail avec l’Institut de sécurité de l’intelligence artificielle, qui a ensuite évolué vers le Centre pour les normes et l’innovation en intelligence artificielle. Il continuera à conseiller le gouvernement tout en occupant son nouveau rôle, tout en s’abstenant de participer à l’évaluation des modèles d’OpenAI elle-même.

Pour suivre l’actualité en Arabe