Jakub Pachocki, wetenschappelijk leider van OpenAI, pleit op 6 september voor gezamenlijke veiligheidsgrenzen aan de ontwikkeling van krachtigere AI. In een essay op de bedrijfswebsite schrijft hij dat laboratoria volgens hem nog onvoldoende grip hebben op veiligheid om lang op volle snelheid door te trainen. Hij hoopt daarom op vrijwillige vertragingen, totdat gezamenlijke normen bestaan.
Minder zicht op beslissingen
Zijn zorg draait onder meer om toezicht. OpenAI probeert gedrag te controleren door de uitgeschreven redeneerstappen van modellen te volgen. Volgens Pachocki neemt de betrouwbaarheid van die methode af. Modellen werken in complexere omgevingen en kunnen meer zonder zulke uitgeschreven stappen. Dat maakt het lastiger vast te stellen hoe ze tot hun handelen komen.
Pleidooi voor toezicht
Pachocki wil dat verdere opschaling afhangt van aantoonbare veiligheid, met controle door bijvoorbeeld onafhankelijke beoordelaars, overheden of internationale organisaties. Hij presenteert een gewenste koers voor de sector; het essay kondigt geen concrete ingangsdatum voor een trainingspauze aan.
Verder bij de bron
De feiten en aankondigingen achter deze Nxt-brief.
Zelfstandig geformuleerde uitleg, gemaakt met behulp van AI op basis van de genoemde bronnen. Zo werken we.