Del 3 av 3 i vår serie om att bygga världens bästa planerare för hemmets energi. Del 1 berättar hur vi byggde den, och del 2 förklarar problemet och hur vi mäter det.
En planerare styr riktig hårdvara i riktiga hem, så "det kändes snabbare på min laptop" är ingen releaseprocess. Så här kommer en ändring in i Energyplan, och så här gör ett team av AI-agenter en stor del av arbetet under regler som är så strikta att vi litar på resultatet.
Regel 1: varje ändring kräver en mätning
Vi mäter varje ändring mot sin förälder, koden precis före, och varje release mot den version du kör i dag. Reglerna:
- Snabbare måste synas som snabbare på fasta testsatser, utöver mätbruset.
- Bättre planer måste synas som lägre kostnad vid lika mål.
- En städning som inte ska ändra något måste ge byte-identiska svar på varje testförfrågan.
- Ingen vinst, ingen release. I november struntade vi i en funktion som sparade 16,7 öre på 564 förfrågningar och kostade 6 % mer tid.
Regel 2: känn ditt brus
Tider på en dator brusar. Kör samma program två gånger så får du två olika tider. Innan vi bedömer något kör vi därför den släppta versionen mot sig själv, många gånger och på flera lastnivåer. Det visar hur stor skillnad enbart brus kan ge, fall för fall.
En ny version måste slå den brusnivån. Det här lärde vi oss av egna misstag:
- Små testgrupper bedöms fall för fall. I en grupp på fem fall kunde annars ett hoppigt fall dölja att ett annat blev 12 % långsammare.
- Mer data får aldrig göra en brusnivå snävare. När en andra mätkörning gjorde en gräns striktare ändrade vi regeln.
- Räkna arbetet, inte bara tiden. När en tid ser sämre ut räknar vi processorinstruktionerna. Det skiljer en verklig försämring från ett brusigt ögonblick.
Regel 3: en tyst maskin, annars ingen mätning
Vår mätmaskin går dygnet runt. Andra tunga jobb, som våra egna simuleringar av hela anläggningar, startar ibland på den. En vakt håller utkik efter dem. Den väntar tills maskinen har varit tyst i tio minuter, och om något tungt körde under en mätning kastar den mätningen och gör om den.
Regel 4: riktiga hem, inte bara testsatser
Testsatser är påhittade. Hem är det inte. Därför testar vi också varje release på:
- 500 riktiga omplaneringar inspelade i ett hem i drift, uppspelade genom gammal och ny version sida vid sida;
- en Raspberry Pi 4, samma hårdvara som många FTW-hem använder, med strikta gränser så att testet aldrig stör hemmet det kör bredvid;
- FTW:s egen validerare, som spelar upp varje plan mot hemmets fysik, precis som i drift.
Regel 5: skriv ner målen först
Innan en fartrelease börjar skriver vi in dess mål i repot: hur många fler planer som ska vara bevisat optimala, hur mycket snabbare, hur mycket mindre arbete. Vi mäter varje mål mot den släppta versionen, och vi skriver dem innan någon ser ett resultat. Ingen kan ändra ett mål efter att ha sett utfallet.
Regel 6: beta, bevaka, sedan stabil
En ny Energyplan släpps först i FTW:s betakanal. I minst en vecka bevakar vi avbrottssignalerna:
- planer som valideraren underkänner;
- reservkörningar med kärnans egen planerare;
- överskridna tidsbudgetar;
- krascher.
Vi jämför dem med veckorna före. Vi förbereder och övar en återgång till den förra versionen före releasen, inte efter.
Runt planeraren
En plan betyder något först när hela anläggningen gör rätt med den. Därför har planeraren en testvärld runt sig:
- En simulator av en hel anläggning. Den kör FTW mot simulerade mätare, batterier, växelriktare och laddare, med en värmemodell av huvudsäkringen. En full körning täcker 30 scenarier.
- En fältmatris. Den kör 314 fall genom kontrollslingan och listar varje känt fel tills en rättning gör det grönt.
- En katalog över det som har gått fel. I slutet av oktober innehöll den 840 kända fel, enhetsbeteenden och hårdvaruprov. Vi gör om vart och ett till ett scenario.
Inget av det skriver en plan. Det är därför vi kan tro på en.
Teamet: människor och många agenter
AI-agenter gör en stor del av arbetet, organiserade ungefär som ett disciplinerat ingenjörsteam.
- En orkestrerare håller planen, fattar de beslut en människa har delegerat och frågar människan om allt annat. Releaser, publika pull requests och taggar kräver alltid ett mänskligt ja.
- Spåragenter äger varsin arbetslinje i sin egen isolerade kopia av koden. De skriver testet först, sedan ändringen, sedan mätningarna.
- Granskningsagenter angriper varje ändring från två håll: "är det korrekt och robust?" och "gör det det planen säger, och är det verkligen snabbare?" Allvarliga fynd går tillbaka för rättning, och inget slås ihop förrän granskarna är nöjda.
- Oberoende granskare kontrollerar själva mätverktygen. I november hittade en av dem en kontroll som kunde ha släppt igenom ett föråldrat undantag. Vi rättade den, test först, innan det spelade någon roll.
Vi använder modeller från mer än en leverantör. Claude Opus 5.5 gjorde det mesta av releasearbetet, med Claude Sonnet 5.5 på granskning, test och mätning. GPT-6 Astra, GPT-6 Luna och GPT-6.1 Sol genom Codex gjorde det mesta av forskningen. Claude Fable 5 och 5.1 är också en del av arbetet. Före dem använde vi dagens bästa modeller, ända från början.
Del 1 har hela räkningen: cirka 50 miljarder tokens och cirka 235 000 verktygsåtgärder i loggarna vi har kvar. Bara den senaste releasen, från 27 oktober till 8 november på vår huvudsakliga byggmaskin:
| Bearbetade tokens | cirka 6,4 miljarder |
| Skrivna tokens (kod, tester, granskningar, rapporter) | cirka 29 miljoner |
| Agentkörningar | 396, i 8 vågor med flera agenter |
| Modellanrop / verktygsåtgärder | cirka 31 900 / 33 400 |
| Mätsteg | över 830 |
Agenter gör misstag, precis som människor. En agent höll en gång den delade mätkön i timmar medan den väntade på sitt eget nästa steg, och alla andra mätningar stod still bakom den. Nu finns en regel: vänta aldrig medan du håller ett lås. Vi väntar oss inte perfektion. Vi väntar oss att misstag fångas, skrivs ner och blir regler.
Varför det här är svårt att kopiera
Tokens är den billiga delen. Agenter kan vem som helst köra. Det har tagit oss år att bygga det de körs mot: forskningen bakom modellerna, prognoserna, testsatserna, brusnivåerna, uppspelningarna av riktiga hem, riggen med Raspberry Pi, anläggningssimulatorn, valideraren, de övade återgångarna, och plattformen och firmwaren på våra gateways som når riktiga batterier. Utan dem ger ett team av agenter kod som ingen kan lita på. Med dem ger det releaser som riktiga hem kan köra.
Det är också därför Energyplan är proprietär. FTW:s kod är öppen, och det vill vi att den ska vara. Planeraren, och det vi har lärt oss av att bygga den, är vår att licensiera.
Varför det spelar roll för dig
Inget av det här kommer du att se. Du ser ett batteri som är fullt när priset toppar, en bil som är klar klockan sju och en plan du kan kontrollera.
Så tänker vi bygga världens bästa planerare för hemmets energi: ett mätt steg i taget.
Energyplan är Sourcefuls proprietära planerare. Den följer med FTW, vars kärna, klienter och drivrutiner är öppen kod under AGPLv3. Energyplan har en egen licens: gratis för ditt eget privata hushåll med FTW, och med skriftlig licens från Sourceful för kommersiellt bruk eller för att paketeras med andra produkter. Hör av dig om du vill ha den i din.