OpenAI heeft de tijd die is toegewezen voor de veiligheidstests van zijn AI -modellen aanzienlijk verkort, waardoor bezorgdheid over potentiële risico’s en schade aan de snelle release van nieuwe modellen wordt geleid.
Acht personen, ofwel personeel bij Openai of testers van derden, onthulden dat ze nu “slechts enkele dagen” hebben om evaluaties te voltooien over nieuwe modellen, een proces dat eerder “enkele maanden” duurde. Deze drastische vermindering van de testtijd wordt toegeschreven aan de wens van Openai om een concurrentievoordeel te behouden, met name in het licht van concurrentie van open-gewichtsmodellen ontwikkeld door bedrijven als Chinese AI Startup Deepseek.
Evaluaties zijn cruciaal bij het identificeren van modelrisico’s en schade, zoals het potentieel voor het jailbreaken van een model om instructies te geven voor het creëren van bioweapons. Ter vergelijking merkten bronnen op dat Openai hen zes maanden gaf om GPT-4 te beoordelen vóór de release ervan, en ze ontdekten pas na twee maanden over mogelijkheden. Het huidige testproces voor het nieuwe model van Openai, O3, is naar verluidt niet zo grondig en mist de nodige tijd en middelen om risico’s correct te vangen en te verminderen.
Eén persoon die momenteel de volledige versie van O3 testte, beschreef de verschuiving als “roekeloos” en “een recept voor ramp”. Het gerucht gaat dat Openai volgende week O3 uitbrengt, waarvan bronnen zeggen dat ze de testtijdlijn tot minder dan een week hebben gehaast. Johannes Heidecke, hoofd van veiligheidssystemen bij Openai, beweerde dat het bedrijf “een goede balans heeft van hoe snel we bewegen en hoe grondig we zijn.” Testers en experts in het veld brengen echter alarm uit bij de verminderde testtijd en de mogelijke risico’s die ermee verband houden.
Het gebrek aan overheidsregelgeving op het gebied van AI -modellen wordt benadrukt door de verschuiving in de testtijdlijn van Openai. Ondanks het ondertekenen van vrijwillige overeenkomsten met de Biden -administratie om routinematige tests uit te voeren met het US AI Safety Institute, zijn de gegevens van die overeenkomsten weggevallen onder de Trump -administratie. Openai heeft gepleit voor een soortgelijke regeling om te voorkomen dat patchwork staat-voor-staatswetgeving navigeert. De EU AI -wet zal daarentegen vereisen dat bedrijven hun modellen riskeren en de resultaten documenteren.
Experts zoals Shayne Longpre, een AI -onderzoeker bij MIT, delen de zorgen over de potentiële risico’s die verband houden met de snelle afgifte van AI -modellen. LongPre merkt op dat het oppervlak voor fouten in AI -systemen groter wordt naarmate AI -systemen meer toegang krijgen tot gegevensstromen en softwaretools. Hij benadrukt de noodzaak om te investeren in externe, onafhankelijke onderzoekers en suggereert maatregelen zoals bug-bounties, bredere toegang tot rood-teams en juridische bescherming voor de bevindingen van testers om de veiligheid en beveiliging van de AI te verbeteren.
Naarmate AI -systemen capabeler worden en op nieuwe en vaak onverwachte manieren worden gebruikt, wordt de behoefte aan grondige testen en evaluatie steeds belangrijker. Longpre benadrukt dat interne testteams niet voldoende zijn en dat een bredere gemeenschap van gebruikers, academici, journalisten en hackers van witte hat nodig is om het oppervlak van fouten, expertise en verschillende talen te dekken die deze systemen nu bedienen.
Source: Openai rushes AI Testing, roept de veiligheidsproblemen uit
