Eit overvaka fleiragentleveringssystem

Problemet

Borge Labs blir drive av ein ingeniør. Produkta er reelle: ei politisk overvakingsteneste, ein transkripsjonsapp i mobilbutikkane, rekneskapsprogram som held sensitive økonomiske data. AI-agentar gjer ein stor del av implementeringsarbeidet. Spørsmålet var aldri om agentar kan skriva kode. Det er korleis ein kan la dei arbeida i full fart, samtidig som ein held autoriteten deira smal, synleg og etterprøvbar.

Loopen

Arbeid kjem inn som saker på eit lite brett. Merkelappar er ein tilstandsmaskin: ei sak går frå triage til spesifikasjon til bygg til gjennomgang til samanslåing, og kvar overgang er synleg. Ein frontier-modell planlegg arbeidet med høg tankekraft og skriv spesifikasjonen. Implementering blir tildelt etter oppgåvehierarki: ein tyngre kodingmodell handterer den etablerte produksjonsvegen, medan billegare API og lokale banar er kopla til avgrensa pilotar med lette oppgåver. Dei første resultata deira blir framleis verifiserte. Mislukka banar eskalerer i staden for å degradere stille.

Den dokumenterte leveranseprosessen har to portar med eit menneske: Spesifikasjonen må godkjennast før implementeringa startar, og pull requesten må godkjennast eksplisitt før samanslåing. For applikasjonsrepositorium er samanslåing avgjerda om utsending. Forge har nokre beskyttingar som handhevar dette mekanisk for nokre repositorium. For andre produktrepositorium kan ein scopa botar som kan pusha hovudgreina og dermed trigga utrulling, så godkjenning er ein dokumentert prosessgate der, ikkje ein funksjon som er fjerna av sertifikata. Kontrollen må stadfestast per repositorium, ikkje utleiast frå prosessen. Portane er dei to punkta der vurderinga av risiko og produktretning er viktigast, og dei er billege samanlikna med å gå gjennom kvar linje.

Kryssmodellomtale

Kvar AI-forfatta endring må vente på ein adversariell gjennomgang frå ein annan frontier-modell før ho kan mergast. Det er den uavhengige gjennomgangen. Bygging av lågare kostnad ber om ein ekstra gjennomgang frå ein annan frontier-modell som ein ekstra sjekk. Viss den ekstra gjennomgangen ikkje er tilgjengeleg eller bruken er oppbrukt, registrerer runbooken at den ekstra sjekken ikkje skjedde. Gjennomgangen blir spurd om kor arbeidet er feil. I dette systemet har det omgjort avgjerder og funne reelle feil i endringar som var rekna som ferdige.

Credentials er grensa

Regelen som gjer det trygt å køyra fort: prompts er instruksar, credentials er grenser. Ein instruks kan ignorerast eller omgåast av ein forvirra modell; ein manglande credential avgrensar den mekanisk. Agentar har berre lesetilgang til infrastruktur og skystatus. Skrivevegen deira er git, gjennom identitetar avgrensa til namngjevne repositorium. I nokre produktrepositorium kan scopa skriving utløysa utrulling, så det er avgrensa produksjonsautoritet heller enn ein universell mekanisk samanslåingsgate. Det gjer ikkje agentkode harmlaus, det gjer risikoen oversiktleg: endringar går gjennom repositoriumtillatingar og CI-politikk, medan infrastrukturrepositorium berre endrar seg gjennom menneskeleg vurderte pull request. Når ei oppgåve treng eit breiare privilegert steg, eit hemmeleg skriven, ein konsollhandling eller eit kjøp, melder agenten frå til mennesket i staden for å omgå holet.

Memory

Varige lærdommar lever i eit felles minne og i dokumentasjonen til kvar enkelt agent, fordi det er det einaste minnet alle agentar deler. Når noko uventa skjer, er regelen å skriva det ned i det eigentlege lageret i same økta.

Kva dette kjøper

Resultatet er ein auditerbar sti frå behov til planlegging til diff til merge til utrulling til live verifisering, med menneskeleg vurdering konsentrert der det endrar utfallet: godkjenning av spesifikasjon, godkjenning av merge og privilegerte handlingar agentar ikkje kan utføra. Den same sløyfa gjeld anten implementeraren er ein frontier-modell, ein lokal modell på laben sine eigne GPU-ar, eller eit menneske. To open kjeldekode-utgjevingar viser korleis dette systemet utvikla seg. ai-team, samtals- og spesifikasjonslaget, er framleis i dagleg bruk. ai-dev-team var brukt til ekte levering, og er framleis forskings- og benchmark-selen frå ein tidlegare versjon; han er ikkje lenger den daglege driftsselen, og benchmark-rekorden, inkludert eit resultat der den enklare armen slo den fleir-agent-porteføljen, var med på å forme den noverande sløyfa.