Et overvåket fleragent leveringssløyfe

Problemet

Borge Labs drives av én ingeniør. Produktene er reelle: en politisk overvåkingstjeneste, en transkripsjonsapp i mobilbutikkene, regnskapsprogramvare som holder sensitive økonomiske data. AI-agenter gjør en stor del av implementeringsarbeidet. Spørsmålet var aldri om agenter kan skrive kode. Det er hvordan man kan la dem jobbe i full fart, samtidig som man beholder deres autoritet smal, synlig og reviderbar.

Loopen

Arbeid kommer inn som saker på et lite brett. Etikettene danner en tilstandsmaskin: en sak beveger seg fra triage til spesifikasjon til bygging til gjennomgang til sammenslåing, og hver overgang er synlig. En frontier-modell planlegger arbeidet med høy tankekraft og skriver spesifikasjonen. Implementering tildeles etter oppgavestørrelse: en tyngre kodingsmodell håndterer den etablerte produksjonsveien, mens lavere kostnad API og lokale baner er koblet til begrensede pilotoppgaver med lav innsats. Deres første resultater er fortsatt under verifisering. Mislykkede baner eskalerer i stedet for å stille degradere.

Den dokumenterte leveranseprosessen har to porter med mennesker: Spesifikasjonen må godkjennes før implementeringen kan starte, og pull requesten må godkjennes eksplisitt før sammenslåing. For applikasjonsrepositorier er sammenslåing selve beslutningen om å sende. Forge har en beskyttelsesmekanisme som håndhever dette mekanisk på noen repositorier. I andre navngitte produktrepositorier kan en avgrenset bot pushe hovedgrenen og dermed utløse utrulling, så godkjenningsprosessen er dokumentert der, ikke en egenskap som er fjernet av sertifikater. Kontrollen må verifiseres per repository, ikke utledes av prosessen. Portene er de to punktene der vurdering av risiko og produktretning er viktigst, og de er billige sammenlignet med å vurdere hver linje.

Kryssmodell-gjennomgang

Hver AI-forfattet endring venter på en adversariell vurdering fra en annen frontier-modell før den går gjennom merge-gaten. Det er den uavhengige vurderingen. Bygging av lavere kostnad ber om en ekstra vurdering fra en annen frontier-modell som en ekstra sjekk. Hvis den ekstra vurdereren ikke er tilgjengelig eller bruken er oppbrukt, registrerer runbooken at den ekstra sjekken ikke skjedde. Vurderingen blir bedt om å si hvor arbeidet er feil. I dette systemet har den omgjort beslutninger og funnet virkelige feil i endringer som ble ansett som ferdige.

Krediteringer er grensen

Regelen som gjør resten trygt å kjøre fort: varsler er instruksjoner, legitimasjon er grenser. En instruksjon kan ignoreres eller omgås av en forvirret modell; manglende legitimasjon begrenser den mekanisk. Agenter har kun lesetilgang til infrastruktur og skystatus. Deres skrivetilgang er git, gjennom identiteter begrenset til navngitte repositorier. I noen produktrepositorier kan skriveadgang utløse utrulling, så det er begrenset produksjonsmyndighet snarere enn en universell mekanisk sammenslåingsgate. Det gjør ikke agentskrevet kode ufarlig, det gjør risikoen oversiktlig: endringer reiser gjennom repositoriumtillatelser og CI-policy, mens infrastrukturrepositorier kun endres gjennom menneskelig vurderte pull-forespørsler. Når en oppgave trenger et bredere privilegert trinn, et hemmelig skrevet, en konsollhandling eller et kjøp, melder agenten fra til et menneske i stedet for å omgå gapet.

Memory

Varige lærdommer lever i et felles minne og i dokumentasjonen til hver enkelt agent, fordi det er det eneste minnet alle agentene deler. Når noe overraskende skjer, er regelen å skrive det ned i eierens repository i samme sesjon.

Hva dette kjøpet gir deg

Resultatet er en sporbar sløyfe fra behov til planlegging til diff til gjennomgang til utrulling til verifisering, med menneskelig vurdering konsentrert der det endrer utfall: godkjenning av spesifikasjon, godkjenning av sammenslåing og privilegerte handlinger som agenter ikke kan utføre. Den samme sløyfen gjelder enten implementereren er en grensemodell, en lokal modell på labens egne GPU-er, eller et menneske. To åpne kildekode-utgivelser viser hvordan dette systemet utviklet seg. ai-team, samtals- og spesifikasjonslaget, er i daglig bruk. ai-dev-team ble brukt til ekte handelsarbeid og forblir forsknings- og benchmark-selen fra en tidligere versjon; den er ikke lenger den daglige driftstiden, og dens benchmark-resultater, inkludert et resultat der den enklere armen slo den fleragent-porteføljen, bidro til å forme den nåværende sløyfen.