Predicting Power System Imbalances with Machine Learning

A real world example of using machine learning in the power sector

Machine Learning is a big buzzword within many business communities, and the Nordic power market is no exception. There seems to be a lot of talking and tweeting about machine learning and its potential, but the tweeting is sparser when it comes to practical real world examples. Through this project update, I will try provide a concrete example of how machine learning can be used within the power sector and illustrate how we in Optimeering currently are working together with Statnett and academia to use machine learning to better handle imbalances in the Nordic power system.

Project background – the imbalance problem

Electric power is a perishable commodity – it must be produced the moment it is consumed. For all of us to have a stable and reliable supply of power, production and consumption must always be balanced with great precision.

Statnett has the balancing responsibility in Norway and together with Svenska Kraftnät they also have the balancing responsibility for the Nordic synchronous area. Their starting point is a power system that is planned (by the invisible hand of the day-ahead and intraday market) to be in balance, but since no one really knows exactly how strong the wind will blow or when people brew their morning coffee, imbalances occurs. Their means of dealing with these imbalances are reserves. These reserves can be divided into automatic reserves – which are activated instantaneously in the event of imbalances, and manual reserves – which Statnett can activate through manual activation. The volume of automatic reserve is limited, the quality and security of supply of power therefore depends on how well Statnett can counteract imbalances using manual reserve activation. This requires good short term predictions for the upcoming imbalance. Based on experience and internal prognosis, Statnett has a good understanding of the short-term imbalances in today’s system and how to handle them, but also suspects that there is a significant potential in using the vast amount of available data to increase prediction accuracy. Furthermore, the power system and thus the magnitude of imbalances are changing with a rapid pace as market coupling and the share of variable power generation is increasing. Understanding how this will affect imbalances, and thus imbalance prediction is a prerequisite for making use of renewables without degrading the quality and security of supply.

The project’s target model – developing a prototype machine learning model

In this Norwegian Research Council ENERGIX-funded project we, in close collaboration with Statnett, University of Liège and NTNU, are developing a machine learning model that can predict short-term imbalances within the operating phase of the market – that is after the market participant’s deadline for updating production and consumption plans have been reached. The prediction made is intended to be used by the balancing responsible – Statnett and Svenska Kraftnät – as a decision support tool when deciding to activate manual reserves, either to free up in-use primary reserves or to prevent large area control errors. The whole Nordic synchronous area has the same frequency and the aggregate imbalance for the synchronous area is of therefore the main focus. However, as the balancing responsible must also insure that manual measures taken are not hindered by bottlenecks in the grid, imbalance on an area level is also of importance.

Model development

Gathering data, pre-processing, feature engineering, selecting and testing a wide range of algorithms as well as finding the appropriate way to minimize the cost/learning function is all part of the project “magic” that we are currently working on. Not all our thinking can be explained here, but the following problem aspects are worth mentioning:

Data and domain expertise

Whereas machine learning is most often categorized as a data driven modelling technique, domain knowledge is highly important in this project. Several physical limitations are present and there is extensive prior knowledge available. Using this domain knowledge will help the project overcome limitations in the training data, and ease the feature selection. To which extent the final model will rely on domain knowledge or “machine learnt” knowledge will also depend on the test results, as the final model, or ensemble of models could range from regression based methods requiring extensive feature engineering, to “deeper” methods such as recurrent neural nets that extracts its own features.

Input variables part 1 – complex interdependencies

Gathering and pre-processing data is always a challenge in a machine learning project, but an additional challenge in this project is the complex interdependencies between the input variables. Regressions and other linear models treat input variables as independent of each other and thus do not utilize the information present in these interdependencies (unless such variables are engineered), and are sensitive to multicollinearity. For this reason, interdependencies between the input variables must be sorted out in the pre-learning phase (again, unless purely relying on “deeper” methods). Furthermore, complex non-linear interdependencies also make statistical pre-processing procedures such as Principal Component Analysis less useful. Overall, handling these complex interdependencies is far from straightforward when we are working with variables such as temperature, wind speed, and hydrology with a 10 to 60-minute resolution at multiple geographical locations.

Input variables part 2 – sequential and non-sequential information

Textbook examples of machine learning are arguably often based on either non-sequential variables to classify a label – e.g. predict whether a tumour is malignant or benign based on number of input variables, or univariate time series to predict the ”H” next values based on trend, season, level and a regressive error-term.

For the imbalance problem, the input variables include both non-sequential information and sequential patterns that is expected to improve the prediction accuracy. Furthermore, some of these sequential patterns are present in time series that have seasonality’s with irregular calendar effects (such as Easter) that also need to be taken care of. Again, relevant approaches can range from “simple” time series models with repressors (for example ARIMAX or Facebooks newly released Prophet), or a “deeper” RNN-method known from speech recognition.

Interested in learning more?

If interested in learning more about the project, make suggestions, or learn how we use machine learning in other projects, please do not hesitate to contact project leader Karan Kathuria.

Hvor viktig var første serierunde?

Tre serierunder på etterskudd kommer bloggopddateringen som ble lovet etter første runde. I bloggposten fra 16 mars predikerte vi hvordan serietabellen ville se ut etter fem runder. Kort oppsummert brukte vi Tippeliga-historikk fra 2009 til å sette opp en modell som predikerte tabellen etter runde 5 basert på resultatet i runde 1. Videre rangerte vi lag basert på hvor bra lagene hadde gjort det i treningskampene i 2016.

Dersom vi ser på modellprediksjonen uten lagnavn, kun tabellplassering etter fem runder gitt antall poeng i første runde, ser vi at modellen ikke gjør det så aller værst. Tendensen er klart at dersom du fikk 3 poeng i første runde havner du høyere enn om du fikk 0 eller 1 poeng.

picture01

Vi ser at vi klarte 6 av 16 riktige. Rosenborg ødelegger stort med tap i første, men førsteplass etter fem runder. Også resultatene nedover på tabellen er relativt gode.

Verdien av denne prediksjonen er ikke særlig høy, da vi ikke vet hvilke lag som havner hvor, men (f.eks.) kun hvilke plasser som får lag som tok 3, 1 eller 0 poeng i første runde.

Ser vi derimot på prediksjonen vår med lagnavn hvor vi også tok hensyn til treningskamphistorikk i 2016, blir ikke modellen like imponerende. Modellen klarte ikke predikere en eneste plassering korrekt. Det nærmeste vi kom var Tromsø som vi tippet på 9’ende plass, men som endte på 11.

Picture2

Kan vi konkludere med at resultat fra første runde har betydning for plassering etter 5 runder, men at resultat fra treningskampene ikke har mye å si?

La oss se nærmere på andre «modeller».
Dersom vi kan finne en måte å måle modellfeilen, kan vi videre forsøke å sammenligne vår modell med andre modeller. Vi har valgt å definere feil som summen av den absolutte forskjellen mellom predikerte og faktiske verdier for alle 16 lag. Da vil vår supermodell oppnå en feil på 92. Andre måter å måle på kan være å si at det er i gjennomsnitt 5.75 plasser feil per lag, eller at medianfeilen er 5.5 plasseringer.

Deretter er det interessant å se hvordan andre «modeller» vil gjøre det i konkurranse med vår modell. Først gjør vi 10 000 tilfeldige simuleringer av tabellen. Da får vi en gjennomsnittlig feil på 85, minimum feil på 28 og maksimum på 128. Ved en tilfeldig trekking av tabell vil vi ved 6530 av 10000 ganger få bedre resultat enn vår supermodell. Eller sagt på en annen måte vil det i 65.3 % av de tilfeldige trekkene være bedre å velge trekke tilfeldig enn å velge modellen vår.

picture3

Vi har så sett på fire ulike modeller. Alfabetmodellen, befolkningsmodellen, maratonmodellen og lengdegradsmodellen.
– Alfabetmodellen sier at resultatet etter fem runder vil være lik en alfabetisk sortert liste over lagene. Det vil si at Bodø/Glimt ligger øverst og Ålesund nederst (med norsk alfabet i hvert fall).
– Befolkningsmodellen vil sette laget fra byen med høyest innbyggertall øverst og byen/tettstedet med færrest innbyggere neders.
– Maratonmodellen plassere laget med flest poeng i øverste ligå siden 1949 øverst
– Lengdegradsmodellen vil plassere laget som er geografisk lengst mot nord øverst

Resultatene fra disse fire modellene er gitt i tabellen under:

picture4

picture5

Disse modellene gjør det relativt bra, med alfabetmodellen som vinneren (det må sies at alfabetmodellen gjør det klart bedre på norsk enn på engelsk, ettersom Ålesund/Aalesund ligger nest sist på den faktiske tabellen). Mens vår modell ser på kortsiktig historikk, ser maratonmodellen på langsikig historikk. Vi ser at i dette tilfellet ville det vært bedre å se på langsiktig historikk enn resultat fra treningskamper og første runde.

Konklusjonen er vel at tipping av fotballtabeller er særdeles vanskelig. F.eks. er det 16! antall mulige varianter av tabellen (eller 2.09 e+19 sagt på en mer forståelig måte), noe som gjør det relativt vanskelig å treffe «spot on» selv om innsikt og historikk om de ulike lagene vil kunne hjelpe oss litt på vei. Selv med 10 000 tilfeldige trekk, klarte vi ikke å få færre enn 28 tabellplasseringsfeil.

Frokostmøte om elsertifikatmarkedet — fredag 29.april

I forbindelse med lanseringen av vår agentbaserte markedsmodell av elsertifikatmarkedet inviterer vi alle interessenter til en felles presentasjon av modellresultatene, modellen, og tjenestene vil tilbyr, fredag 29.april kl 08:00-09:00, i Tollbugata 35 i Oslo. Her blir det anledning til å stille spørsmål samt å møte andre interessenter over en kopp kaffe.

For dem som er interessert vil vi da, blant annet, kunne forklare hvordan investeringsbeslutningen på Fosen kan øke risikoen for svært høye sertifikatpriser i 2020.

Bakgrunnsinformasjon

Modellen som ligger til grunn for markedsanalysene (MARC) er utviklet av Optimeering og Thema, og finansiert av Forskningsrådet, Innovasjon Norge, samt en rekke private og offentlige aktører, deriblant NVE, Energimyndigheten, ENOVA, BKK og Statkraft.  Overordnet informasjon om modellen og våre modellbaserte analysetjenester finnes i denne brosjyren, mens en detaljert beskrivelse av MARC-modellen finner du her.

Agentbasert modell av elsertifikatmarkedet (MARC) klar for lansering

MARC – Multi-Agent Renewable Certificate model

Etter over 2 års utvikling er vår agentbaserte modell av sertifikatmarkedet (MARC) klar for lansering. Utviklingsprosjektet har hatt en ramme på nesten 3 millioner kroner og vært finansiert av et dusin private og offentlige aktører, og har etter alle solemerker oppnådd målet, nemlig å utvikle verdens første agentbaserte markedsmodell for et kvotemarked.

Bakgrunn

Elsertifikatprisen styres i stor grad av dagens sertifikatbalanse og forventinger om framtidig sertifikatbalanse. Etter hvert som markedet nærmer seg balanseperioden vil prisene i enda mindre grad vil styres av utbyggingskostnadene og i større grad av forventinger om framtidig sertifikatbalanse. For å bedre forstå hvordan markedet vil kunne utvikle seg fram mot balanseperioden lanserer vi, sammen med Thema Consulting Group, endelig en agentbasert markedsmodell av elsertifikatmarkedet.

Fram til i dag har fundamentale likevektsmodeller hovedsakelig vært benyttet til å analysere markedet. Slik modeller er basert på kostnadsdekning på tilbudssiden og har egnet seg godt til å analysere investeringsfasen av markedet, men etter hvert som vi nærmer oss slutten av denne fasen er det sannsynlig at prisene i større grad avvike fra utbyggingskostnadene. Skal man da kunne si hvor markedet vil ta vei trengs en tilnærming som tar høyde for aktørenes strategier og forventninger.

Agentbasert modellering har opprinnelig røtter fra spillteori og kybernetikk, men har i økende grad blitt bruk til å studere markeder hvor en likevekt har vist seg vanskelig å oppnå. Modelltilnærmingen skiller seg fra en standard likevektstilnærming vet at den ikke bygger på en overordnet antakelse om kostnadsdekning, men heller tar utgangspunkt i å fange de individuelle aktørenes adferd og la utfallet bestemmes av deres interaksjoner. Utfordringen er å beskrive markedsaktørenes adferd og modellere dette dynamisk. Utviklingen har derfor vært en tidkrevende prosess og strukket seg over 3 år.

Vi skrev i 2014, da prosjektet startet, en blogpost om hvorfor vi mente en agentbasert modell er bedre egnet til å modellere markedet for elsertifikater enn fundamentale likevektsmodeller. Disse punktene er kanskje enda mer aktuelle i dag og det er en glede å endelig kunne lansere denne modellen vår.

Modellen er utviklet av Optimeering og Thema, og finansiert av Forskningsrådet, Innovasjon Norge, samt en rekke private og offentlige aktører, deriblant NVE, Energimyndigheten, ENOVA, BKK og Statkraft. En forenklet beskrivelse av MARC-modellen finner du her.

Hva vi tilbyr

Markedsanalyser basert på MARC-modellen vil i all hovedsak være tilgjengelig gjennom deltakelse i vårt Sertifikatmarkedsforum EMF (El-Certificate Market Forum), som er et felles samlingssted for aktører i bransjen. Alle deltakerne i forumet møtes jevnlig for å diskutere mulige endringer i elsertifikatmarkedet og se nærmere på deres mulige innvirkning på sertifikatmarkedet ved hjelp av MARC-modellen.

Mer informasjon om modellen og våre modellbaserte analysetjenester finnes i denne flyeren. For øvrig informasjon ta kontakt med Karan Kathuria.

Cops with guns – should an increase in armed incidents mean we should arm the police?


Currently in the two countries closest to my heart – New Zealand and Norway – there is an ongoing debate about arming the police. The arguments for this are a little different in each country, and are complex. However without too much effort they can be simplified (over-simplified?) to

“there are more armed incidents (of whatever type), therefore the police need to be armed to protect themselves and the public.”

My aim here is not to argue the merits (or otherwise) of arming the police – that is far too much for a mere Optimeering blog entry. Instead I want to examine one of the pillars of the argument: that an increased number of incidents means the world is a more dangerous place. That is, can we say “things are worse than before”, simply because the number of armed incidents over the past couple of months/years/whatever time interval has increased?

The “it’s getting worse” argument is not just used when discussing arming the police. It appears often in other crime statistics (e.g. burglary), accident statistics, or similar. In all cases, we need to ask a simple question – is what we are seeing a real change, or is it just random variation (with the corollary that things are not actually getting worse)?

As this is an Optimeering blog, it’s clear what I am going to say – let’s look at what the numbers (and models) can tell us. Let us assume for a moment that the world is not getting worse – that is, that the expected number of armed incidents in any given year is not changing, but is the same year-to-year. How would the number of incidents year-on-year then vary? Would we see, for example, periods of upwards trend (or downwards trend) that may make it look like things are getting worse (or better)?

To do this, I built a small model of armed incident occurrence. In the model, I have assumed that we have a fixed average number of armed incidents per year, and that each armed incident is independent (meaning, for example, that the number of armed incidents next year is unrelated to the number that occurred this year, or that an incident occurring last week does not change the chance of one occurring next week). The expected time to the next armed incident does not depend on when the last one was, but just on the rate (e.g. if the average were 6 per year, we would expect one incident to occur in the next 2 months). For those of you into this sort of thing, I’ve assumed what we have here is a (stationary) Poisson process.

This may seem wrong – you may say, for example, that more armed incidents encourage copy-cat acts, and thus one incident is not independent of another. In fact, many processes we see day-to-day actually do often behave like this – including the goals scored in football games, the number of calls received by a call-centre per hour, and the incidents of the flu in different towns and cities. And in any case, what I am doing here is saying: wait, lets assume a world that is not getting more violent. In this world, we have the same expected number of armed incidents per year, although the actual number in a given year and their timing will vary (randomly). Each incident is independent, and the number occurring next year is independent of the number that occurred this year. That is, things are not getting any worse, but staying the same. In such a world, what could the pattern of armed incidents look like?

Running the model through once for a 10 year period and assuming an average of 6 armed incidents per year gives the results below. The first graph shows when each incident occurs over the 10 year period, and the second graph shows how many incidents occur per year.

AIgraph 1

Now, remember that this is all random – we have the same chance of events occurring in each year, and each event occurs randomly and independently of the previous event. In the model things are not getting worse, and one event does not cause (or inspire) more events. Even given this, we see what look like patterns – both trends (more incidents over time) and clusters (e.g. lots of events in years 8 and 9 very close to each other – it’s a crime wave!). In this example the number of incidents really do look like they are increasing – and the calls for a response (tougher laws, more surveillance, armed police, or whatever) could be expected to grow alongside. However, thinking that things are getting worse is actually wrong – in this example world, things are just the same as they’ve always been, and any variation is just down to plain chance.

Running the model for the next 10 years shows this clearly:

AIgraph 2

The number of incidents in falls from 9 in year 10 to 4 in year 11 and stays pretty low for 5 years afterwards, before a (completely random) uptick in year 17, 18 and 19.

So, a completely random process, where events (the armed incidents) are unrelated to each other, and where the chance of an event occurring does not change, produces something that looks like it has patterns. Where we see patterns, we tend to see meaning, and tend to try to produce a story to explain why. However, often there is no underlying reason – its all just chance. I could easily imagine a politician in year 9 or 10 campaigning to arm police (now!) to stop this dangerous development, and then to claim victory a couple of years later because, well, the number of armed incidents has of course gone down. And of course it is just rubbish – the changes were just due to luck, not the actions of the politician.

And in that case, making policy decisions, and especially fundamental decisions such as whether or not we should arm our police, on seemingly convincing patterns in the data record – such as a few years of increases in armed incidents – is misguided at best. It can be very tempting to try to find a reason why something is occurring, or to belive a reason you are given, but always, always be sceptical. It is often very, very hard to determine whether what you are seeing in the data is real or not (and just due to random chance). And its not just policy where we see this – it occurs in many walks of life, from picking prices in the oil or stock market, to justifying high wealth because I’m better in some way (rather than just lucky).

The point is not per se that it is random, its just that it is extremely hard to tell if it is or not. In that case, we should be very careful about basing big decisions on something that may simply just be an illusion.

Modell for framtidig kraftetterspørsel i alminnelig forsyning

Vi har nylig avsluttet et prosjekt for Statnett som er har hatt som mål å utvikle en modell som kan benyttes til å framskrive kommunal kraftetterspørsel i alminnelig forsyning, per time, fram mot 2035. Dette er en utfordrende oppgave, blant annet, fordi det er mange faktorer som påvirker kraftforbruket og siden disse faktorene i tur påvirker hverandre. Her gis en kort oppsummering av hvordan vi har løst oppgaven.

For å beregne det framtidige kommunale kraftforbruket kreves ett modellverktøy inkluderer de viktigste driveren av forbruket og som tar hensyn til gjensidige forhold mellom disse driverne og dermed gjør det mulig å utforme og beregne utfallet av konsistente framtidsscenarioer. Eksempelvis kan man i ett framtidsscenario legge til grunn en signifikant vekst i elbilforbruket basert på dagens elbilandel (>12 % av nybilsalget i 2015), dagens utskiftningsrater for personbiler, og elbilers forventede ladebehov. Dette vil utvilsom medføre en vekst i kraftetterspørselen, spesielt på kvelden. Det er isolert sett. I virkeligheten er det godt mulig at veksten i antall elbiler som skal lades på kvelden får nettselskapene til å etablere tiltak som gir husholdninger insentiver til å distribuere kraftforbruket sitt jevnere utover døgnet. Nordmenn har tradisjonelt lite overs for å endre vaner for å spare noen øre, men at elbilen trekker strøm ved midnatt i istedenfor på kvelden spiller lite rolle så lenge bilen er fulladet til morgenen. Videre er det sannsynlig at nye vindparker og kraftkabler til utlandet gjør strømproduksjonen, og dermed kraftprisen, mer volatil. Dette kombinert med introduksjonen av Smart Grid gir insentiver til å flytte kraftforbruket fra dyre timer til billige timer. Hva predikere hva kraftetterspørselen på Askøy vil være 7.mars kl 19:00 i 2035 er ikke lett, men har man et modellverktøy som tar hensyn til de viktigste driverne og gjør det enklere å bygge konsistente framtidsscenarioer så kan man i hvert fall gjøre kvalifiserte forsøk.

Vår tilnærming

Figuren under viser i korte trekk vår tilnærming til oppgaven.Alle figurer2

Vi delte problemet inn i to deloppgaver; 1 – utvikling i aggregert årsforbruk, og 2 – utvikling i forbruksprofilen (andel av årsforbruk som faller i hver av de 8760 timene i året).

Steg 1 – Forstå dagens kraftforbruk (aggregert forbruk og forbruksprofil)

Skal man modellere og framskrive dagens kraftforbruk er det også vesentlig å forstå hva dagens kraftforbruket går med til og hva som driver det. Ettersom det aggregerte årsforbruket i alminnelig forsyning består av flere forbruksgrupper og hver av disse gruppene har ulike drivere er det vesentlig å se på forbruket i hver av disse gruppene hver for seg. En vesentlig del av hensikt med modellen er nettopp å kunne gjøre antakelser på mer detaljert nivå og se hva dette betyr for utviklingen. Her er forbruksgruppen det første nivået i detaljeringen. Videre har hver av forbruksgruppene ulike drivere og ulike prioritet av disse. Eksempelvis er forbruket i boliger drevet av hvor mange boliger som installerer varmepumper eller hva de framtidige TEK-kravene vil si om boligenes energibruk. I tillegg til forbruksgruppen boliger, har vi hytter og fritidshus, persontransport, offentlig transport, elforbruket i tjenestebygg, industribygg osv.

På tilsvarende måte som man må forstå driverne av det aggregerte årsforbruket må også driverne av forbruksprofilen for de ulike forbruksgruppene forstås. I den grad det var mulig, gitt de (nett)dataene vi hadde tilgjengelig, var det hensiktsmessig å beregne representative forbruksprofiler for hver forbruksgruppe, for hver kommune slik at man ved å framskrive veksten i det aggregerte årsforbruket i hvert forbruksgruppe kunne sammenstille en samlet forbruksprofil for en kommune ved å vekte de respektive profilene for hver forbruksgruppe etter andel at det totale aggregerte årsforbruket i kommunen. En utfordringen her er selvsagt at forbruksprofilen for en forbruksgruppe varierer geografisk grunnet værforhold. Videre variere også deler av årsprofilen, for eksempel døgnprofilen, med årstidene og dagtypen (se figuren under for relevante dimensjoner i analysen av døgnprofilen). For å komme fram til ett sett representative forbruksprofiler for de respektive forbruksgruppene for ulike deler av landet, basert på det utvalget historiske forbruksdata vi hadde tilgjengelig, ble metadata fra SSB knyttet inn. Ved å så benytte maskinlæringsalgoritmer (C4.5 beslutningstrær og K-means clustering), ble ett antall representative forbruksprofiler utarbeidet. Disse utarbeidete profilene kunne således benyttes som byggeklosser som for en gitt kommune kunne settes sammen til en samlet forbruksprofil for den kommunen. Profilbyggeklossene gjorde det også mulig å håndtere profilframskrivningen (steg 3).

Alle figurer i prosjektet

Steg 2 – Forstå driverne og bygge modellverktøyet

Delvis relatert til steg 1, men med fokus på å forstå de viktigste driveren innenfor hver forbruksgruppe ble et bredt utvalg av eksperter på området intervjuet og faglitteratur gjennomgått. Viktig kilder har blant annet vært NVE, SSB og Direktoratet for byggkvalitet. Ettersom en modell kun er en forenklet representasjon av virkeligheten er det vesentlig å kun inkludere de viktigste driverne av forbruket i modellen. Flere parametere betyr mindre transparens og brukervennlighet, så det ble vurdert om ulike forbruksdrivere var vesentlige nok til å bli inkludert i modellen.

Steg 3 – Gjøre framskrivninger og modellere utviklingen i forbruksprofilene

For hver av driverne som ble inkludert i modellen ble det gjort kvalifiserte framskrivninger basert på historisk utvikling, vedtatt politikk og egne vurderinger. Driverne i modellen påvirker enten det aggregerte årsforbruket og/eller forbruksprofilene. Elbilandelen og klima påvirker for eksempel både samlet forbruk og når på året forbruket faller, mens for eksempel laststyringsmekanismer kun påvirker når forbruket oppstår og i liten grad det aggregerte forbruket.

En vesentlig del av steg 3 var å utvikle nye modelleringsverktøy for å beregne nettoeffekten av eventuelle laststyringsmekanismer som vil oppstår og introduksjonen av Smart Grid. Disse ble håndtert med to selvstendige optimeringsmodeller. I tillegg er det også utviklet en modell for hvordan klima og byggkvalitet påvirker forbruket over året. Alle disse er videre benyttet til å framskrive de representative forbruksprofilene.

Steg 4 – Resultatet

Resultatet er to delt. Fra del 1 av problemet har vi framskrivninger av aggregert normalårsforbruk for de respektive forbruksgruppene, per kommune. Fra del 2 av problemet har vi framskrevne forbruksprofiler per forbruksgruppe gitt den geografiske hvor i landet forbruket finner sted. Ved å slå sammen dette i ett oppslag som henter riktig forbruksprofil for riktig gruppe og geografisk plassering og vekter dette riktig sammen, beregnes samlede forbruksprofiler for hver kommune.

Ettersom modellen er på kommunenivå kan videre aggregerte profiler for større områder, enten fylke eller spot pris område beregnes ved hjelp av dette.

Optimeering growing further with Mattias Svensson

MattiasWe are pleased announce that Mattias Svensson joined our team as a modelling analyst in October 2015. Mattias holds a M.Sc. in Industrial Economics from Linköping University with a specialization in computer science and mathematical optimization, more specifically in using approximate dynamic programming for portfolio optimization.

Prior to joining Optimeering Mattias worked for the Swedish Navy and did something few others dare doing. He crossed the European and African continent from Stockholm to Cape Town by car. Selecting the optimal route for this 30 000-kilometer journey is what we call real world problem solving.

Mattias will undoubtedly strengthen our team in terms of quantitative analysis and durability.

RWC Round 4

Ratings

Plugging the round 3 results into the model gives us the following ratings:

Ratings 5oct15

Not so much change this round, apart from the Australia’s surge into 2nd position. Australia are the clear form team of the RWC so far – their rating has increased 6 points since round 1. Interestingly, their home advantage score has declined, meaning that they are becoming are more formidable unit away from home (note that some of their headline rating increase is a result of this – ratings points shifting from the home advantage to the general rating as they have improved their away results). Ireland have also dropped 3 points following their narrow win over Italy.

Finally, NZ have not changed much at all, even despite being heavily criticised for their performance against Georgia. In fact, the result against Georgia was not too bad – the model picked a 41 point margin, whereas the final margin was 33 points (almost a “Green” result, actually). The so called minnows are not as bad as people expected – this is borne out in the results as well as the ratings (i.e. the general result that “minnow” games are closer than previous RWCs should not really have come as a surprise).

Form

One interesting result of the model is that it can give us some indication of the home & away performance of the teams compared to their overall rating, and also (perhaps) of each team’s form. Looking at the prediction errors on the model’s training set, we can see that the ratings for some teams appear to over- or under-rate either their home or away performance somewhat. This is partially a result of the way the model fits ratings to results – the squared error means that big errors are penalised proportionally more than small ones, and the model may forgo symmetry in order to avoid big errors, even if this means that it gets some games slightly more wrong (the idea being that one big error is worse than several small ones).

This is very indicative only – it is really not much more than a intuitive interpretation of the model residuals (errors) and has nothing very scientific or statistical behind it. None-the-less it is interesting I think. Examining the results from the training set (which included all RWC games thus far), we see that most teams are rated fine for both home and away. However, for some teams the ratings may be skewed slightly. England for example, may be under-rated away – that is, they perform away slightly better (win by a little more or lose by a little less) than they should given their rating over the 2014-2015 period. Australia does the opposite.

form 5oct15

Note that, as the RWC games are double weighted, some of what we see here in the Away column (except for England) may result from this, with good wins in recent games providing the skew. That is, the away column could be interpreted as an indicator of recent form, with “Over” indicating that the round 3 rating is better than the earlier 2014-2015 results suggest, and “Under” the opposite. In that case, Australia and to a lesser extent Scotland are the form teams and Ireland is somewhat out of form.

Don’t put much emphasis on this – as I said this has very little solid behind it – but it can provide at least some more useful information when interpreting the model results and predictions.

Predictions

And so to the final round predictions:

RWC Pool Round 4 Predictions

This round we have a model first – a draw prediction in the first game between Canada and Romania. The model really can’t decide between these two teams, so a draw it is…

Otherwise, in key match-ups deciding the QFs South Africa to comfortably beat the USA, Scotland to deal with Samoa, Australia to beat Wales (just), and Ireland to beat France (I disagree with the model on this one, but we’ll see). And England to go out on a win against Uruguay.

Rugby World Cup – Round 2 Review and Round 3 Picks

Just a quick update this time, as I am travelling. To recap round 2:

RWC Pool Round 2 Results

Again, not too bad. The model really only got one result badly wrong – Japan vs. Scotland, where it had picked a Japan win (albeit narrow). This highlights one of the downsides of this type of analysis – we do not really have that much data to go on for some teams, and so single results can have a big impact. Remember we are only using results from the past 2 seasons – going further back in time gives us more data to work with, but runs the risk of said data being out of date and not reflective of the teams’ rating now. We also picked the England-Wales game incorrectly, although that was always going to be close. The key difference (or so the model thought) should have been the home advantage to England – as it turned out, it may have been a disadvantage on the day…

Round 3 ratings and picks

The model has updated the ratings based on the results from round 2 (remember, RWC games count double):

Ratings 29sep15

The big changes are largely with the minnows shifting up or down depending on whether they lost by more or less than the model predicted in round 2. Scotland have improved by 4 points, although the model does not think this will be enough to save them against South Africa (see below). Japan drops by 9 – again, this is due to the limited data (number of games) to base the ratings on, which adds a certain amount of volatility. Interestingly, Argentina is continuing to improve, and is now rated just shy of Australia, England and Wales.

So, for the upcoming Round 3 games, the model’s picks are:

RWC Pool Round 3 Predictions

So, according to the model, the key games to watch are Samoa vs. Japan, and England vs. Australia. Again, the points difference for England is coming from the home advantage rating, suggesting a very close match is in store. Wales vs. Fiji may also be closer than the model suggests – it of course does not take account of injuries affecting a team’s rating.

Let’s see next week how things have gone!

RWC – Round 1 Review

If you recall, last week we published the predictions for round 1 of the RWC from our (fairly basic) rugby model. Let’s look how things went…

RWC Pool Round 1 Results

I’ve decided to group the predictions into 3 classes: green for those where the model picks the right winner and the margin prediction was within 7 points (i.e. a converted try) of the actual margin; blue for those where the right winner is picked, but the predicted margin is wrong by more than 7 points; and red for those where the model predicts the wrong winner (irrespective of margin). There is no great science behind this, but it provides us with an OK indicator of model accuracy without getting bogged down in too many numbers. Given the model itself is fairly approximate, it’s about right that the measurement of its effectiveness is fairly approximate too.

Apart from one glaring match, the model did not do too badly. Half of the games were rated green, and we even got one game bang on (USA v. Samoa). The model did not make the same mistake as many journalist pundits did (and continue to do) of under-rating Argentina – the model got that one pretty much right (and it would have been even better had the ABs not bombed so many tries…).

Of the two rated blue, the Ireland Canada game was difficult because of the large gulf between the teams’ ratings and the final score – any model will struggle to get a blow-out to within 7 points. And the model was actually out by only 9 – pretty close to green actually.

The two games the model did not predict accurately were the two surprises of the round – Tonga v. Georgia and the biggie, Japan v. South Africa. The model was not alone in not correctly predicting the Japan game – and I include the South African management in that.

So, a pretty good start. Round 2 starts tonight – I will update the model to take account of the round 1 games, and make some more predictions!