← Tillbaka till Om metoden

Fördjupning

Backtest mot valet 2022

Fördjupning till avsnittet om osäkerhet. Alla tal på den här sidan kommer ur en och samma körning: valet 2022 spelas upp distrikt för distrikt i den ordning distrikten faktiskt rapporterade den kvällen, och prognosmodellen körs vid varje steg med samma inställningar som skulle använts på valnatten — 1 000 bootstrapdragningar för riksdagsvalet, 300 per regionval och 200 per kommunval. Läget som redovisas är blint: familjeprofilernas α sätts till noll och β till ett, som om modellen inte visste något alls om ett enskilt distrikts historik. Det är den ärliga mätningen — de skarpa profilerna är skattade på just den förändring som här mäts, och att kalibrera mot dem hade varit att låta modellen se facit i förväg.

Täckningsgrad och medelabsolutfel per nivå

tackning_90 är andelen (valområde, parti) där facit 2022 låg inom prognosens 90-procentsintervall; valkrets_90 är samma sak räknad per valkrets. Riksdagsvalet är ett enda valområde med nio partier — bara nio observationer per nivå — så den täckningsgraden kan bara anta värdena 0, 1/9, 2/9 och så vidare; valkretsraden bygger på 29 × 9 = 261 observationer och säger därför mer om hur väl intervallen håller i riksdagsvalet. mandattackning_90 mäts mot mandatfördelningen vid fullständigt räknat i samma partiuniversum.

Riksdagsvalet

Regionvalen (20 valområden per nivå)

Kommunvalen (290 valområden per nivå)

Råräkningen som baslinje

Råräkningen är partiets andel av bara de röster som räknats i valområdet just nu — ingen skattning, ingen viktning, ingen poststratifiering. Den är den naturliga baslinjen: allt modellen gör måste vara bättre än att läsa av det som redan kommit in. Talen nedan kommer ur samma körning som tabellerna ovan.

Uppspelningen är körd både med och utan den prior modellen har klockan 20 — vallokalsundersökningen, partisympatiundersökningen och de sammanvägda opinionsmätningarna. Riksdagstabellen visar bådadera, så att det går att se vad de i sig tillför: mycket i kvällens första timmar, ingenting när en fjärdedel är räknad. Region- och kommunvalens tal är identiska i de två varianterna, eftersom källorna bara mäter riksdagsvalet. Kalibreringen av hur mycket vikt varje källa ska få är skattad på alla val utom det som spelas upp.

I ett valområde utan en enda räknad röst finns ingen råräkning alls — den är odefinierad där, inte noll — medan modellen alltid har ett svar. Modellens kolumner är därför räknade på precis de valområden och partier där råräkningen går att bilda, aldrig på samtliga. För kommunvalen gör det verklig skillnad tidigt på kvällen, och de talen är alltså inte desamma som medelabsolutfelet över alla 290 kommunval i tabellerna ovan. Kolumnen Områden i jämförelsen säger hur många områden som ingår vid varje nivå. Nivån är andelen av distrikten, inte andelen räknade röster.

Riksdagsvalet

Regionvalen

Kommunvalen

Modellen har lägre fel än råräkningen vid samtliga elva nivåer i riksdags- och kommunvalen, i båda lägena och med som utan priorn. Undantaget är regionvalen i blint läge, där råräkningen är marginellt bättre vid femtio procent räknat (0,330 mot 0,348) och vid sextio (0,246 mot 0,253); med profiler leder modellen även där på samtliga nivåer. Marginalen är över huvud taget liten sent på kvällen: i riksdagsvalet vid femtio procent räknat skiljer det 0,108 mot 0,105 procentenheter i blint läge, alltså knappt någonting.

Priorn klockan 20 gör nästan hela skillnaden tidigt och ingen alls sedan. Innan ett enda distrikt räknats sjunker det blinda felet från 1,239 till 0,261 procentenheter med den; vid två procent räknat från 0,737 till 0,475; vid en fjärdedel är det 0,261 mot 0,260, alltså samma tal. Från fyrtio procent och framåt kostar den en hårsmån — 0,144 mot 0,142 — vilket är vad man ska vänta sig av en källa som fortsätter väga något när de räknade rösterna redan vet bättre.

Kurvan med profiler faller inte jämnt: felet är större vid fem procent räknat än vid två (0,342 mot 0,306). Så snart de första distrikten kommer in väger de ned priorn, och just de distrikten är kvällens skevaste. Det är samma fenomen som avsnittet om skevheten i de först räknade distrikten beskriver, sett från andra hållet.

Aggregatet döljer också att modellen inte vinner för varje parti. I den blinda uppspelningen av riksdagsvalet hade råräkningen mindre fel än modellen för Socialdemokraterna vid samtliga elva nivåer, för Sverigedemokraterna från omkring femton till sextio procent räknat och för Centerpartiet från tio procent och kvällen ut; för Moderaterna gällde motsatsen med stor marginal hela kvällen. Samma mönster finns i läget med profiler, fast svagare för Socialdemokraterna: där är modellen bättre än råräkningen för partiet vid två procent räknat och från sextio procent och framåt, men sämre däremellan. Modellen flyttar alltså fel mellan partier samtidigt som den minskar det totalt.

Kurvan med profiler är mätt mot precis det val profilerna är skattade på och är därför en optimistisk gräns, inte en förväntan; den blinda kurvan är den ärliga. Diagrammet över de tre kurvorna står i metodsidans avsnitt om osäkerhet.

Röstetalsfelet

Räknat- och prognossektionerna visar aldrig ett skattat röstetal — bara andelar, mandat och intervall. Men modellen bygger internt upp ett eget röstetal per valområde, för att kunna skala valdeltagandet och den återstående röstmängden i distrikt som ännu inte räknats. Röstfel mäter hur rätt modellen har om just det: prognosens totala röstetal mot det facit som faktiskt kom in 2022, i procent och utan tecken. Det säger något om valdeltagandeledet specifikt och om inget annat — en gemensam felskala för hela valområdets röstetal påverkar varken andelar, mandat eller intervall, eftersom den flyttar alla partier lika mycket. Talen nedan är medelabsolutfelet ur samma körning som tabellerna ovan.

Konfidenskurvan

Metodsidans avsnitt om konfidenssiffran säger att kurvan är byggd så att lika konfidens betyder lika fel. Den skattas mot råpoängen — talet innan kurvan tillämpas, inte den siffra som till slut visas. Så här ser sambandet ut i den blinda uppspelningen, i bins om 467 observationer (466 i de fyra sista):

Det andra binet består uteslutande av observationer med exakt samma konfidenssiffra, 3,454: binets lägsta, högsta och genomsnittliga konfidens är alla det talet. Samma siffra står dessutom som högsta värde i binet under och som lägsta värde i binet över, så observationerna med just den konfidensen fyller ett helt bin och sträcker sig in i binen på var sida.

Orsaken är att ett valområde där ingenting ännu räknats alltid får exakt den siffran. Täckningen, stratumtäckningen och nyckeldistrikten är då noll och lyfts alla till samma golv, medan modellöverensstämmelsen får full poäng eftersom det inte finns någon räknad avvikelse att mäta emot — sammanvägningen blir därför densamma oavsett vilket valområde det gäller. Vid nivån inget räknat är samtliga 311 valområden i det läget, och vid två procent räknat ytterligare 220 av dem. Det är tillsammans fler än de 467 observationer som ryms i ett bin, och ett bin kan då inte skilja dem åt. Att medelfelet inte faller strikt mellan de tre understa binsen är alltså en egenskap hos indelningen just där, inte en motsägelse i sambandet.

Kurvan planar ut vid höga råpoäng, av ett skäl som ligger i rapporteringsordningen snarare än i modellen: i den ordning resultat faktiskt kommer in en valnatt ligger inget valområde någonsin långt före de andra, så råpoängen når aldrig upp mot sitt teoretiska tak. Kurvan är skattad över precis det intervall av råpoäng som faktiskt förekommer, och planar därför ut där den verkliga rapporteringsordningen slutar bidra med nya observationer att skatta emot.

Den kurva modellen faktiskt använder är isotoniserad ur mätpunkterna ovan (monoton per konstruktion, så att en högre konfidens aldrig kan svara mot ett sämre förväntat fel). Varje omkalibrering skattas från grunden mot facit och mot råpoängen, aldrig mot kurvans egen tidigare utsignal — annars skulle varje ny körning lägga sig ovanpå den föregående och gradvis komprimera skalan utan att något i modellen ändrats. Med i övrigt oförändrade förhållanden ger en omkalibrering därför samma kurva igen.

← Tillbaka till Om metoden