05 — MI un daudzaģentu sistēmas
Strādājoša daudzaģentu infrastruktūra
Infrastruktūra, kas padara iespējamu pārējo darbu.
Pielāgota, divvirzienu, daudzaģentu operāciju sistēma nepārtraukti darbojas uz dedicētas aparatūras. Tā tika izstrādāta un uzbūvēta no nulles — nevis salikta no atvērtā pirmkoda frameworkiem.
Tas ir pašreizējā darba smaguma centrs. Viss pārējais šajā vietnē tiek piegādāts caur to vai koordinēts ar to.
Daudzaģentu operāciju infrastruktūra nepārtraukti darbojas uz dedicēta servera. Tā ir divvirzienu un vienmēr aktīva: aģenti tur pastāvīgu atmiņu un pastāvīgu izpildvidi, tādēļ tie nestartē auksti katru reizi, kad pie tiem vēršos. Sistēma tika izstrādāta un uzbūvēta no nulles — nevis salikta no atvērtā pirmkoda aģentu frameworkiem — jo prasības bija specifiskas un koordinācijai bija jābūt manai, kontrolējamai no sākuma līdz beigām.
Pastāv atšķirīgas aģentu klases, katra ar definētu lomu. Centrālās orķestrēšanas smadzenes interpretē nodomu un novirza darbu. Vēstnieki tulko šo nodomu katra nodrošinātāja un sistēmas pašu protokolā. Auditori verificē to, ko rada citi aģenti. Kurjeri pārvieto informāciju starp slāņiem bez zudumiem. Pētnieki savāc kontekstu un to atgriež. Augstākā līmeņa izpildītāji veic pilnas jaudas darbu, līdz sešpadsmit vienlaikus; zem tiem šaurāki apakšaģenti izvēršas vēdekļveidā — vairāk nekā trīs simti paralēli, kad slodze to prasa.
Es komandēju floti no vairākām virsmām. No darbstacijas caur VSCode un Linux CLI; no mobilajām ierīcēm reāllaikā; pa soketa līmeņa divvirzienu savienojumiem, kas paliek atvērti, nevis veic aptaujāšanu; un caur reāllaika balss zvaniem ar darbojošamies instancēm. Plašuma jēga nav novitāte — tā ir tā, ka viena un tā pati infrastruktūra ir sasniedzama no jebkuras vietas, kur gadās būt darbam.
augstākā līmeņa izpildītāju instances, pilnas jaudas, darbojas vienlaikus
šaurāki apakšaģenti paralēli, kad to prasa slodze
LLM nodrošinātāji, orķestrēti vienlaikus — Anthropic, OpenAI, Google, xAI, Moonshot
vienmēr aktīvs, uz dedicētas aparatūras, ar pastāvīgu atmiņu un izpildvidi
Skaitļi, ar kuriem tā patiešām darbojas.
Infrastruktūra / stabils stāvoklis
- Augstākā līmeņa izpildītāju instances
- līdz 16 vienlaikus
- Apakšaģenti
- 300+ paralēli
- LLM nodrošinātāji
- 5, orķestrēti vienlaikus
- Transports
- soketa līmenī, divvirzienu, zema latentuma
- Komandvirsmas
- darbstacija · mobilā · balss
- Izpildvides hosts
- dedicēts Dell serveris, vienmēr aktīvs
- Operatīvais stāvoklis
- pastāvīgs — aģenti nekad nestartē auksti
- No aģenta uz aģentu
- protokola starpniecībā, auditēts
- Konteksta saskarnes
- function calling · MCP · RAG
- Izcelsme
- uzbūvēts no nulles — nevis frameworku salikums
Vienas smadzenes, vairākas klases, daudzi strādnieki.
Nodoms ienāk centrā. Tas tiek sadalīts, novirzīts uzdevumam piemērotajai klasei, izpildīts un verificēts — tad rezultāts atgriežas centrā, kurš satur vienīgo pilno ainu.
Shēma. Klašu lomas ir fiksētas; instanču skaits mērogojas atbilstoši slodzei.
Par ko atbild katrs slānis.
Centrālās smadzenes satur visu problēmu kopumā.
Vienas orķestrēšanas smadzenes atrodas centrā. Tās interpretē nodomu, sadala misiju uzdevumos, novirza šos uzdevumus aģentiem, kas tiem vislabāk piemēroti, un satur globālo kontekstu, kuru neviens atsevišķs strādnieks pats nevar redzēt.
Tās arī atrisina konfliktus starp aģentiem un uztur operatīvo stāvokli visā izpildes gaitā. Kad divi ceļi nesakrīt, lēmums tiek pieņemts šeit, ar pilnu ainu — nevis malā, ko pieņem strādnieks, kurš zina tikai savu daļu.
- Interpretē nodomu un sadala to atsevišķos uzdevumos
- Novirza darbu katram uzdevumam piemērotajai aģentu klasei
- Satur globālo kontekstu un atrisina konfliktus
- Uztur operatīvo stāvokli visā izpildes gaitā
Tulkošana un transports starp slāņiem.
Vēstnieki tulko nodomu katra nodrošinātāja, CLI un sistēmas pašu protokolā. Uzdevums, kas reiz izteikts centrā, sasniedz katru galapunktu tādā formā, kādu šis galapunkts patiešām sagaida, tādējādi orķestrēšanas slānis nav piesaistīts neviena atsevišķa piegādātāja saskarnei.
Kurjeri pārvieto informāciju starp slāņiem bez zudumiem. Viņu uzdevums ir uzticamība: tas, ko viens slānis radīja, ir tas, ko nākamais slānis saņem, neskarts, nevis pasliktināts atkārtotas pārfrāzēšanas dēļ.
- Vēstnieki dzimtenī runā katra nodrošinātāja, CLI un sistēmas protokolā
- Kurjeri saglabā uzticamību, pārvietojot informāciju starp slāņiem
- Kopā tie uztur kodolu neitrālu pret nodrošinātāju
Citu aģentu darbs tiek pārbaudīts, pirms tas tiek ieskaitīts.
Auditori pārbauda, validē un verificē darbu, ko rada citi aģenti — attiecībā uz pareizību, drošību un saskanību ar pārējo sistēmu. Tie apzināti ir atsevišķa klase: aģents, kurš dara darbu, nav aģents, kurš to apstiprina.
Tas ir tas pats princips kā koda izskate un pienākumu nodalīšana, piemērots flotes iekšienē. Izvade netiek pieņemta tāpēc, ka aģents apgalvo, ka tā ir gatava; tā tiek pieņemta tāpēc, ka cits aģents to verificēja pret prasību.
- Pārbauda un validē citu aģentu izvadi
- Pārbauda pareizību, drošību un saskanību
- Pienākumu nodalīšana — darītājs nekad nav pārbaudītājs
Konteksts savākts pirms, izlūkdati atgriezti laikā.
Pētnieki savāc kontekstu, izpēta atklātos jautājumus un atgriež izlūkdatus sistēmā. Kad misijai nepieciešama informācija, kuras flotei vēl nav, šī klase dodas to meklēt, nevis to minēt.
Viņu izvade plūst atpakaļ uz orķestrēšanas smadzenēm un darba atmiņā, tā ka reiz noskaidrots fakts ir pieejams ikvienam aģentam, kuram tas pēc tam nepieciešams.
- Savāc kontekstu un izpēta atklātos jautājumus
- Atgriež atziņas koplietotajā darba atmiņā
- Pārvērš nezināmo ievaddatos, ko pārējā flote var izmantot
Dīkstāves jauda kļūst par sagatavošanās jaudu
Kad nav uzdevuma, flote studē.
Kad neviens uzdevums nav piešķirts, aģenti nepaliek dīkā. Tie ieiet pašvirzītā studiju un savstarpējas apmācības ciklā: apstrādā materiālu, salīdzina pieejas un māca cits citu starp klasēm.
Šī mācīšanās netiek atstāta kā transkripts. Īstenotāju aģenti paņem studēto, pielāgo tam studēto modeli un injicē iegūtās zināšanas atpakaļ sistēmā turpmākajai darbībai. Flote, kas apstrādā rītdienas darbu, ir izmērāmi labāk sagatavota nekā tā, kas pabeidza šodienas.
- Pašvirzīts studijas un savstarpēja apmācība dīkstāves logos
- Īstenotāju aģenti pielāgo studēto modeli atbilstoši iemācītajam
- Zināšanas atgrieztas turpmākajai darbībai, ne tikai reģistrētas
Neitrāls pret nodrošinātāju un spējīgs tieši modificēt svarus.
Nodrošinātāju maršrutēšana
- Anthropic
- OpenAI
- xAI
- Moonshot
Viens uzdevums, modelis, kas tam piemērots. Bez piesaistes piegādātājam.
Fine-tuning · LoRA · pētniecības virziens
Nav piesaistīts piegādātājam — un nav ierobežots tikai ar prompting.
Infrastruktūra orķestrē vairākus LLM nodrošinātājus vienlaikus — Anthropic, OpenAI, Google, xAI, Moonshot — un novirza katru uzdevumu modelim, kas tam piemērots. Tā nav piesaistīta vienam piegādātājam. Tur, kur tas palīdz, es nokāpju zem prompta: fine-tuning, LoRA un uzlabota svaru un nobīžu modifikācija uz atvērto svaru modeļiem.
Pastāv arī aktīva pētniecība, ko aprakstīšu tikai augstā līmenī. Tā izmanto mazus atvērto svaru modeļus četru līdz divdesmit miljardu parametru diapazonā, ar patentētu procesu, kas aktivizē tikai minimālu daļu — atmiņā — daudz lielākiem modeļiem simts līdz sešsimt miljardu diapazonā, un integrē to mazajos modeļos. Metode netiek atklāta; virzienam ir liels potenciāls, un tas ir viss, ko šeit teikšu.
- Pieci nodrošinātāji orķestrēti vienlaikus, novirzīti pa uzdevumiem
- Fine-tuning, LoRA, svaru/nobīžu modifikācija uz atvērto svaru modeļiem
- Mazu modeļu pētniecība (~4–20B), kas integrē lielāku selektīvu aktivizāciju (~100–600B) — metode netiek atklāta
Šī ir infrastruktūra, kas padara iespējamu pārējo darbu.
Ko tā var sasniegt un kā tā paliek stabila.
Function calling
Aģenti darbojas caur tipizētām rīku saskarnēm — lasīt, rakstīt, vaicāt, izpildīt — nevis izvada prozu, kas man jāinterpretē ar roku.
MCP
Model Context Protocol savieno aģentus ar rīkiem un datu avotiem caur kopēju līgumu, tā ka reiz pievienota spēja kļūst pieejama visai flotei.
RAG
Izgūšana padod aģentiem konkrēto kontekstu, kas uzdevumam nepieciešams, no darba atmiņas krātuves, nevis paļaujas uz to, ar ko modelis gadījies apmācīts.
Pastāvīgā atmiņa
Stāvoklis, iepriekšējie lēmumi un uzkrātais konteksts pārdzīvo starp sesijām. Infrastruktūra atceras; neko nav atkārtoti jāizskaidro katru rītu.
Novērojamība
Tiek reģistrēts, ko katrs aģents darīja, kāpēc un pret kādiem ievaddatiem — lai uzvedību varētu pārbaudīt pēc fakta, nevis tikai uzticēties tai brīdī.
Drošības pašaudits
Nepārtraukts, autorizēts pašaudits ar BlackArch Linux lokālajos un mākoņa serveros. Līdz šim: nav atvērtu ielaušanos un nav informācijas noplūdes.
Kā viens mērķis kļūst par koordinētu darbu.
Pieprasījums neaizceļo tieši pie strādnieka. Tas tiek lasīts kā viens mērķis, sadalīts sakārtotos uzdevumos, novirzīts pa klasēm, izpildīts, verificēts un atgriezts centrā. Katrai stadijai ir definēts atbildīgais.
No saņemšanas līdz atgriešanai
- 01 Saņemšana Nodoms ienāk no komandvirsmas un tiek lasīts kā viens mērķis, vēl ne kā plāns.
- 02 Sadalīšana Orķestrēšanas smadzenes sadala mērķi atsevišķos, sakārtotos uzdevumos ar skaidrām atkarībām.
- 03 Novirzīšana Katrs uzdevums tiek piešķirts tam piemērotajai aģentu klasei — augstākā līmeņa izpildītājam vai apakšaģentu izvēršanai.
- 04 Izpilde Darbs norit paralēli tur, kur to atļauj atkarību grafs, pret tipizētām rīku saskarnēm.
- 05 Audits Atsevišķs aģents verificē katru rezultātu attiecībā uz pareizību, drošību un saskanību, pirms tas tiek ieskaitīts.
- 06 Atgriešana Verificētā izvade plūst atpakaļ uz centru, kurš vienīgais satur pilnu izpildes ainu.
Savienojumi paliek atvērti abos virzienos.
Saite starp komandvirsmu un darbojošos instanci ir soketa līmenī un divvirzienu. Tā paliek atvērta, nevis veic aptaujāšanu, tādēļ es varu nosūtīt uz instanci, un tā var nosūtīt atpakaļ — uzdevuma vidū, ne tikai pabeidzot.
Divvirzienu sokets
Viena līnija, turēta atvērta, izmantota abos virzienos.
Soketa līmenī · divvirzienu · zema latentuma
Nevis pieprasīt-un-gaidīt. Atvērta turēta līnija.
Lielākā daļa automatizācijas sazinās ar modeli, uzdodot jautājumu un gaidot atbildi. Šī ne. Transports ir pastāvīgs sokets abos virzienos: es sūtu norādījumu vai kontekstu dzīvā instancē, un instance sūta progresu, jautājumus un rezultātus atpakaļ pa to pašu atvērto līniju.
Tā kā savienojums tiek turēts, nevis no jauna izveidots katram ziņojumam, latentums paliek zems un apmaiņa var būt nepārtraukta. Aģents var man kaut ko pajautāt uzdevuma vidū un rīkoties pēc atbildes, nenojaucot un atkārtoti neuzbūvējot kanālu.
- Pastāvīgs sokets — bez atkārtotas savienošanas slodzes katram ziņojumam
- Abi gali var ierosināt — sūtīt iekšā, sūtīt atpakaļ
- Nepārtraukta apmaiņa uzdevuma vidū, nevis pieprasīt-un-gaidīt
Sasniedzama no jebkuras vietas, kur ir darbs.
Viena un tā pati infrastruktūra atbild trijām virsmām. Plašums nav novitātes pēc — tas nozīmē, ka flote ir sasniedzama no darbstacijas, no tālruņa un ar balsi, bez atsevišķas sistēmas katrai.
Visas trīs virsmas izmanto to pašu divvirzienu transportu uz vienu kodolu.
Dīkstāve, studēt, fine-tune, injicēt — un atkārtot.
Flotes sagatavotība nav fiksēta izvietošanas brīdī. Starp aktīvajiem uzdevumiem tā studē, konsolidē studēto modeļa izmaiņā un injicē rezultātu atpakaļ. Cikls ir tas, kas padara rītdienas floti labāk sagatavotu nekā šodienas.
- Aktīvs uzdevums Flote izpilda pret misiju. Nodoms tiek sadalīts, novirzīts, izpildīts paralēli, auditēts un atgriezts. Pastāvīgais stāvoklis tiek atjaunināts, izpildei noritot.
- Dīkstāves logs Pašvirzīts studijas un savstarpēja apmācība. Bez piešķirta uzdevuma aģenti apstrādā materiālu, salīdzina pieejas un māca cits citu starp klasēm, nevis paliek dīkā.
- Konsolidācija Studētais materiāls kļūst par modeļa izmaiņu. Īstenotāju aģenti pielāgo studēto atvērto svaru modeli atbilstoši iemācītajam — LoRA un tieša svaru un nobīžu modifikācija tur, kur tā palīdz.
- Injekcija Zināšanas tiek atgrieztas turpmākajai darbībai. Rezultāts tiek injicēts sistēmā, nevis atstāts kā transkripts, tā ka nākamā izpilde sākas labāk sagatavota, nekā iepriekšējā beidzās.
Ko flote zina un kā tā to sasniedz.
Aģents nepaļaujas uz to, ar ko modelis gadījies apmācīts. Konteksts tiek izgūts konkrētajam uzdevumam, stāvoklis saglabājas starp sesijām, un katra darbība norit caur tipizētu līgumu. Neko nav atkārtoti jāizskaidro katru rītu.
Konteksta saskarnes
- Darba atmiņas krātuve
- uzdevuma mēroga konteksts, izgūts pēc pieprasījuma
- Izgūšana
- RAG — konkrētais konteksts, kas uzdevumam nepieciešams, nevis modeļa apmācības minējums
- Pastāvīgais stāvoklis
- lēmumi un uzkrātais konteksts pārdzīvo starp sesijām
- Rīku līgums
- MCP — reiz pievienota spēja ir sasniedzama visā flotē
- Darbības saskarne
- function calling — tipizēta lasīšana / rakstīšana / vaicāšana / izpilde
- Izcelsme
- tiek reģistrēts, ko katrs aģents darīja, kāpēc un pret kādiem ievaddatiem
Infrastruktūra pārbauda pati sevi.
Tā pati flote, kas dara darbu, tiek pakļauta uz iekšu vērstam drošības auditam. Tas norit nepārtraukti, ar autorizāciju, pret maniem paša serveriem — lokālajiem un mākoņa — izmantojot BlackArch rīkkopu.
Autorizēts tvērums
Pašaudits norit pret maniem paša lokālajiem un mākoņa serveriem, nepārtraukti un ar skaidru autorizāciju. Tas ir uz iekšu vērsts vingrinājums, nevis uz āru.
BlackArch rīkkopa
BlackArch Linux nodrošina rīkkopu, ar kuru audits norit — tie paši instrumenti, ko izmanto sistēmas zondēšanai, tiek vērsti pret infrastruktūru, kas tur floti.
Spēkā esošais rezultāts
Līdz šim audits neziņo par atvērtām ielaušanām vai informācijas noplūdi. Tā ir atkārtota pārbaude, tādēļ rezultāts ir pašreizējais stāvoklis, nevis vienreizējs sertifikāts.
Open to the right work
Ja jūsu problēmai nepieciešams tik apzināti veidots operāciju slānis, tā ir tā saruna.
If you are holding a problem that doesn't fit inside one field, that is the conversation I want.