Microsoft heeft een open-source tool uitgebracht die is gemaakt om ontwikkelaars te helpen bij het beoordelen van de beveiliging van de kunstmatige-intelligentiesystemen waaraan ze werken. Het heet het Counterfit-project en is nu beschikbaar op GitHub.
De firma Redmond heeft zelf al Counterfit gebruikt om zijn eigen AI-modellen te testen in het rode team van het bedrijf. Daarnaast onderzoeken andere secties van Microsoft ook het gebruik van de tool bij AI-ontwikkeling.
Microsoft simuleert cyberaanvallen met Counterfit
Volgens de onthullingen van Microsoft op Github, Counterfit heeft een opdrachtregelprogramma en een generieke automatiseringslaag voor het beoordelen van de veiligheid van machine learning-systemen.
Hierdoor kunnen ontwikkelaars cyberaanvallen tegen AI-systemen simuleren om de beveiliging te testen. Iedereen kan de tool downloaden en implementeren via Azure Shell, voor uitvoering in de browser of lokaal in een Anaconda Python-omgeving.
“Onze tool maakt gepubliceerde aanvalsalgoritmen toegankelijk voor de beveiligingsgemeenschap en biedt een uitbreidbare interface voor het bouwen, beheren en lanceren van aanvallen op AI-modellen”, aldus Microsoft.
De tool is vooraf geladen met voorbeeldaanvalalgoritmen. Bovendien kunnen beveiligingsprofessionals ook de ingebouwde cmd2-scriptengine gebruiken om voor testdoeleinden in Counterfit te haken vanuit andere bestaande offensieve tools.
Volgens ITPro heeft Microsoft de tool ontwikkeld vanuit de behoefte om zijn systemen te beoordelen op kwetsbaarheden. Counterfit begon als aanvalsscripts die waren geschreven om individuele AI-modellen aan te vallen en evolueerde geleidelijk naar een automatiseringstool voor het aanvallen van meerdere systemen.
Het bedrijf zegt dat het heeft samengewerkt met verschillende van zijn partners, klanten en overheidsinstanties om de tool te testen met AI-modellen in hun omgeving.
