Aujourd’hui, OpenAI annonce le lancement d’un programme public de prime aux bugs axé sur la sécurité, dédié à l’identification des risques d’abus et de sécurité liés à l’intelligence artificielle dans l’ensemble de ses produits. Alors que la technologie IA évolue rapidement, les moyens potentiels de la détourner évoluent également. L’objectif d’OpenAI est de garantir que ses systèmes restent sûrs et sécurisés contre toute utilisation abusive ou détournement pouvant entraîner des dommages concrets.
Un complément au programme de sécurité existant
Ce nouveau programme viendra compléter le programme de prime aux bugs de sécurité déjà en place chez OpenAI. Il acceptera les signalements de problèmes qui présentent des risques significatifs d’abus et de sécurité, même s’ils ne répondent pas aux critères d’une vulnérabilité de sécurité classique.
Grâce à ce programme, OpenAI souhaite poursuivre sa collaboration avec les chercheurs en sécurité pour identifier et résoudre les problèmes qui sortent du cadre des vulnérabilités de sécurité conventionnelles, mais qui représentent néanmoins des risques réels. Les soumissions seront triées par les équipes de sécurité d’OpenAI et pourront être redirigées entre les deux programmes selon leur portée.
Les domaines couverts par le programme
Le nouveau programme de prime aux bugs se concentre sur plusieurs scénarios de sécurité spécifiques à l’IA :
Risques liés aux agents IA (incluant MCP)
- Injection de commandes et exfiltration de données : lorsqu’un texte malveillant parvient à détourner de manière fiable l’agent d’une victime (y compris Browser, ChatGPT Agent et produits similaires) pour lui faire effectuer une action nuisible ou divulguer des informations sensibles. Le comportement doit être reproductible au moins 50 % du temps.
- Actions non autorisées : un produit agent d’OpenAI effectue une action interdite sur le site web d’OpenAI à grande échelle.
- Autres actions potentiellement dangereuses : tout rapport valide doit indiquer un préjudice plausible et significatif.
Informations propriétaires d’OpenAI
- Générations de modèles qui retournent des informations propriétaires liées au raisonnement.
- Vulnérabilités qui exposent d’autres informations propriétaires d’OpenAI.
Intégrité des comptes et de la plateforme
- Vulnérabilités dans l’intégrité des comptes et les signaux d’intégrité de la plateforme, telles que le contournement des contrôles anti-automatisation, la manipulation des signaux de confiance des comptes, l’évasion des restrictions/suspensions/interdictions de comptes.
- Problèmes permettant aux utilisateurs d’accéder à des fonctionnalités, données ou fonctionnalités au-delà des autorisations accordées.
Ce qui n’est pas couvert
Bien que les « jailbreaks » (contournements des restrictions) ne soient pas couverts par ce programme, OpenAI organise périodiquement des campagnes privées de primes aux bugs concentrées sur certains types de menaces spécifiques, comme les contenus à risque biologique.
Les contournements généraux de la politique de contenu sans impact démontrable sur la sécurité ou l’abus sont hors du champ d’application de ce programme. Par exemple, les « jailbreaks » qui font simplement utiliser un langage grossier au modèle ou retourner des informations facilement trouvables via les moteurs de recherche ne sont pas éligibles.
Comment participer
Les chercheurs intéressés peuvent postuler via le programme Safety Bug Bounty d’OpenAI. L’entreprise se réjouit de travailler aux côtés des chercheurs, des hackers éthiques et de la communauté de la sécurité dans la quête d’un écosystème d’IA sécurisé.
Source de cette information : OpenAI News
Vous avez aimé cet article ? Vous aimeriez nos formations !
Trouvez une veille quotidienne, des formateurs passionnés et curieux, les meilleurs niveaux sur des cas concrets. Cette passion qui nous anime nous permet de vous proposer LA formation qui répondra à VOS besoins.
Ces formations en lien avec cet article pourraient vous intéresser :
Poursuivez votre lecture avec ces articles :