Optimeering granted research funds for major machine learning project

We are very pleased to announce that Optimeering has been granted funding from the Research Council of Norway for a substantial new project to develop new machine learning algorithms for forecasting power grid imbalance volumes. The project kicks-off in Q1 2017, with a budget of approximately 7 MNOK. The funding is part of the Council`s ENERGIX-program, and our project is among the few commercial projects fortunate enough to have been successful in this funding round. Optimeering’s team will undertake the project in close collaboration with Statnett and researchers from the University of Liège and the Norwegian University of Science and Technology.

This is the third time Optimeering has been granted research funding from ENERGIX, but today’s grant is by far the largest and represents a significant and positive development for the company. The two former grants (from 2013 and 2014) have both resulted in the development and subsequent commercialization of decision support models for the power sector, namely MARC (an agent based el-certificate market model) and PUMA (a fundamental stochastic power market model). Similarly, our new project will result in commercial models and tools for imbalance volume prognosis, for use by electricity grid operators in Norway and internationally.

The project, “Machine learning prognosis for system imbalance volumes”, aims to develop new and efficient machine learning algorithms for forecasting short-term imbalances in the power grid. Statnett, like all grid operators, faces high costs for managing real-time imbalances between supply and demand of power throughout its transmission network. Further, the number and size of these imbalances, which drive grid frequency deviations and thus negatively impact power quality, have increased steadily over the past decade. The drivers behind the increase in costs – higher intermittent production from renewables and tighter integration with surrounding countries – are expected to become stronger going forward. Therefore, being able to forecast system imbalance volumes has a great value to grid operators such as Statnett as well as other TSOs around the world.

We are of course very grateful to have the Research Council onboard yet again, and for their recognition of the significant potential – both commercially and for society more generally – of this project. We will be publishing details of our progress on our blog on a regular basis, so keep checking back for more info and updates!

Agentbasert modell av elsertifikatmarkedet (MARC) klar for lansering

MARC – Multi-Agent Renewable Certificate model

Etter over 2 års utvikling er vår agentbaserte modell av sertifikatmarkedet (MARC) klar for lansering. Utviklingsprosjektet har hatt en ramme på nesten 3 millioner kroner og vært finansiert av et dusin private og offentlige aktører, og har etter alle solemerker oppnådd målet, nemlig å utvikle verdens første agentbaserte markedsmodell for et kvotemarked.

Bakgrunn

Elsertifikatprisen styres i stor grad av dagens sertifikatbalanse og forventinger om framtidig sertifikatbalanse. Etter hvert som markedet nærmer seg balanseperioden vil prisene i enda mindre grad vil styres av utbyggingskostnadene og i større grad av forventinger om framtidig sertifikatbalanse. For å bedre forstå hvordan markedet vil kunne utvikle seg fram mot balanseperioden lanserer vi, sammen med Thema Consulting Group, endelig en agentbasert markedsmodell av elsertifikatmarkedet.

Fram til i dag har fundamentale likevektsmodeller hovedsakelig vært benyttet til å analysere markedet. Slik modeller er basert på kostnadsdekning på tilbudssiden og har egnet seg godt til å analysere investeringsfasen av markedet, men etter hvert som vi nærmer oss slutten av denne fasen er det sannsynlig at prisene i større grad avvike fra utbyggingskostnadene. Skal man da kunne si hvor markedet vil ta vei trengs en tilnærming som tar høyde for aktørenes strategier og forventninger.

Agentbasert modellering har opprinnelig røtter fra spillteori og kybernetikk, men har i økende grad blitt bruk til å studere markeder hvor en likevekt har vist seg vanskelig å oppnå. Modelltilnærmingen skiller seg fra en standard likevektstilnærming vet at den ikke bygger på en overordnet antakelse om kostnadsdekning, men heller tar utgangspunkt i å fange de individuelle aktørenes adferd og la utfallet bestemmes av deres interaksjoner. Utfordringen er å beskrive markedsaktørenes adferd og modellere dette dynamisk. Utviklingen har derfor vært en tidkrevende prosess og strukket seg over 3 år.

Vi skrev i 2014, da prosjektet startet, en blogpost om hvorfor vi mente en agentbasert modell er bedre egnet til å modellere markedet for elsertifikater enn fundamentale likevektsmodeller. Disse punktene er kanskje enda mer aktuelle i dag og det er en glede å endelig kunne lansere denne modellen vår.

Modellen er utviklet av Optimeering og Thema, og finansiert av Forskningsrådet, Innovasjon Norge, samt en rekke private og offentlige aktører, deriblant NVE, Energimyndigheten, ENOVA, BKK og Statkraft. En forenklet beskrivelse av MARC-modellen finner du her.

Hva vi tilbyr

Markedsanalyser basert på MARC-modellen vil i all hovedsak være tilgjengelig gjennom deltakelse i vårt Sertifikatmarkedsforum EMF (El-Certificate Market Forum), som er et felles samlingssted for aktører i bransjen. Alle deltakerne i forumet møtes jevnlig for å diskutere mulige endringer i elsertifikatmarkedet og se nærmere på deres mulige innvirkning på sertifikatmarkedet ved hjelp av MARC-modellen.

Mer informasjon om modellen og våre modellbaserte analysetjenester finnes i denne flyeren. For øvrig informasjon ta kontakt med Karan Kathuria.

Modell for framtidig kraftetterspørsel i alminnelig forsyning

Vi har nylig avsluttet et prosjekt for Statnett som er har hatt som mål å utvikle en modell som kan benyttes til å framskrive kommunal kraftetterspørsel i alminnelig forsyning, per time, fram mot 2035. Dette er en utfordrende oppgave, blant annet, fordi det er mange faktorer som påvirker kraftforbruket og siden disse faktorene i tur påvirker hverandre. Her gis en kort oppsummering av hvordan vi har løst oppgaven.

For å beregne det framtidige kommunale kraftforbruket kreves ett modellverktøy inkluderer de viktigste driveren av forbruket og som tar hensyn til gjensidige forhold mellom disse driverne og dermed gjør det mulig å utforme og beregne utfallet av konsistente framtidsscenarioer. Eksempelvis kan man i ett framtidsscenario legge til grunn en signifikant vekst i elbilforbruket basert på dagens elbilandel (>12 % av nybilsalget i 2015), dagens utskiftningsrater for personbiler, og elbilers forventede ladebehov. Dette vil utvilsom medføre en vekst i kraftetterspørselen, spesielt på kvelden. Det er isolert sett. I virkeligheten er det godt mulig at veksten i antall elbiler som skal lades på kvelden får nettselskapene til å etablere tiltak som gir husholdninger insentiver til å distribuere kraftforbruket sitt jevnere utover døgnet. Nordmenn har tradisjonelt lite overs for å endre vaner for å spare noen øre, men at elbilen trekker strøm ved midnatt i istedenfor på kvelden spiller lite rolle så lenge bilen er fulladet til morgenen. Videre er det sannsynlig at nye vindparker og kraftkabler til utlandet gjør strømproduksjonen, og dermed kraftprisen, mer volatil. Dette kombinert med introduksjonen av Smart Grid gir insentiver til å flytte kraftforbruket fra dyre timer til billige timer. Hva predikere hva kraftetterspørselen på Askøy vil være 7.mars kl 19:00 i 2035 er ikke lett, men har man et modellverktøy som tar hensyn til de viktigste driverne og gjør det enklere å bygge konsistente framtidsscenarioer så kan man i hvert fall gjøre kvalifiserte forsøk.

Vår tilnærming

Figuren under viser i korte trekk vår tilnærming til oppgaven.Alle figurer2

Vi delte problemet inn i to deloppgaver; 1 – utvikling i aggregert årsforbruk, og 2 – utvikling i forbruksprofilen (andel av årsforbruk som faller i hver av de 8760 timene i året).

Steg 1 – Forstå dagens kraftforbruk (aggregert forbruk og forbruksprofil)

Skal man modellere og framskrive dagens kraftforbruk er det også vesentlig å forstå hva dagens kraftforbruket går med til og hva som driver det. Ettersom det aggregerte årsforbruket i alminnelig forsyning består av flere forbruksgrupper og hver av disse gruppene har ulike drivere er det vesentlig å se på forbruket i hver av disse gruppene hver for seg. En vesentlig del av hensikt med modellen er nettopp å kunne gjøre antakelser på mer detaljert nivå og se hva dette betyr for utviklingen. Her er forbruksgruppen det første nivået i detaljeringen. Videre har hver av forbruksgruppene ulike drivere og ulike prioritet av disse. Eksempelvis er forbruket i boliger drevet av hvor mange boliger som installerer varmepumper eller hva de framtidige TEK-kravene vil si om boligenes energibruk. I tillegg til forbruksgruppen boliger, har vi hytter og fritidshus, persontransport, offentlig transport, elforbruket i tjenestebygg, industribygg osv.

På tilsvarende måte som man må forstå driverne av det aggregerte årsforbruket må også driverne av forbruksprofilen for de ulike forbruksgruppene forstås. I den grad det var mulig, gitt de (nett)dataene vi hadde tilgjengelig, var det hensiktsmessig å beregne representative forbruksprofiler for hver forbruksgruppe, for hver kommune slik at man ved å framskrive veksten i det aggregerte årsforbruket i hvert forbruksgruppe kunne sammenstille en samlet forbruksprofil for en kommune ved å vekte de respektive profilene for hver forbruksgruppe etter andel at det totale aggregerte årsforbruket i kommunen. En utfordringen her er selvsagt at forbruksprofilen for en forbruksgruppe varierer geografisk grunnet værforhold. Videre variere også deler av årsprofilen, for eksempel døgnprofilen, med årstidene og dagtypen (se figuren under for relevante dimensjoner i analysen av døgnprofilen). For å komme fram til ett sett representative forbruksprofiler for de respektive forbruksgruppene for ulike deler av landet, basert på det utvalget historiske forbruksdata vi hadde tilgjengelig, ble metadata fra SSB knyttet inn. Ved å så benytte maskinlæringsalgoritmer (C4.5 beslutningstrær og K-means clustering), ble ett antall representative forbruksprofiler utarbeidet. Disse utarbeidete profilene kunne således benyttes som byggeklosser som for en gitt kommune kunne settes sammen til en samlet forbruksprofil for den kommunen. Profilbyggeklossene gjorde det også mulig å håndtere profilframskrivningen (steg 3).

Alle figurer i prosjektet

Steg 2 – Forstå driverne og bygge modellverktøyet

Delvis relatert til steg 1, men med fokus på å forstå de viktigste driveren innenfor hver forbruksgruppe ble et bredt utvalg av eksperter på området intervjuet og faglitteratur gjennomgått. Viktig kilder har blant annet vært NVE, SSB og Direktoratet for byggkvalitet. Ettersom en modell kun er en forenklet representasjon av virkeligheten er det vesentlig å kun inkludere de viktigste driverne av forbruket i modellen. Flere parametere betyr mindre transparens og brukervennlighet, så det ble vurdert om ulike forbruksdrivere var vesentlige nok til å bli inkludert i modellen.

Steg 3 – Gjøre framskrivninger og modellere utviklingen i forbruksprofilene

For hver av driverne som ble inkludert i modellen ble det gjort kvalifiserte framskrivninger basert på historisk utvikling, vedtatt politikk og egne vurderinger. Driverne i modellen påvirker enten det aggregerte årsforbruket og/eller forbruksprofilene. Elbilandelen og klima påvirker for eksempel både samlet forbruk og når på året forbruket faller, mens for eksempel laststyringsmekanismer kun påvirker når forbruket oppstår og i liten grad det aggregerte forbruket.

En vesentlig del av steg 3 var å utvikle nye modelleringsverktøy for å beregne nettoeffekten av eventuelle laststyringsmekanismer som vil oppstår og introduksjonen av Smart Grid. Disse ble håndtert med to selvstendige optimeringsmodeller. I tillegg er det også utviklet en modell for hvordan klima og byggkvalitet påvirker forbruket over året. Alle disse er videre benyttet til å framskrive de representative forbruksprofilene.

Steg 4 – Resultatet

Resultatet er to delt. Fra del 1 av problemet har vi framskrivninger av aggregert normalårsforbruk for de respektive forbruksgruppene, per kommune. Fra del 2 av problemet har vi framskrevne forbruksprofiler per forbruksgruppe gitt den geografiske hvor i landet forbruket finner sted. Ved å slå sammen dette i ett oppslag som henter riktig forbruksprofil for riktig gruppe og geografisk plassering og vekter dette riktig sammen, beregnes samlede forbruksprofiler for hver kommune.

Ettersom modellen er på kommunenivå kan videre aggregerte profiler for større områder, enten fylke eller spot pris område beregnes ved hjelp av dette.

Optimeering to support Nordic TSOs in joint reserve market project

Optimeering was recently awarded a major project on behalf of the four Nordic TSOs, Statnett, Svenska kraftnät, Fingrid and Energinet.dk, due to its core competance in numerical optimisation.

The four Nordic TSO are planning to implement a common Nordic capacity market for FRR-A (automatic frequency restoration reserves), and as a part of this work an optimisation tool for bid selection for a common Nordic market needs to be developed. Given that the bidding rules are quite complex (bids can be linked upwards, downwards, and in time, marked as indivisible, and be asymmetrical, to mention some) and the requirement to ensure that the market operates in a socio-economically efficient manner, the TSOs have asked Optimeering to provide external expertise to help develop the FRR-A clearing algorithm.

The problem itself is what we call a combinatorial optimization problem or (mixed) integer program. The linking and non-divisibility of bids is a critical and fundamental characteristic of the bid selection problem that means traditional clearing methods based on price alone are insufficient. Given the size of the problem (hourly bids in multiple bidding zones), checking every single possible combination of bids is also not a feasible approach. Instead, a solution algorithm is needed to select bids for the FRR-A capacity market that accounts for the complex bid structures via the use of advanced mathematical optimization techniques.

It is very encouraging to see that our core competence in modelling and algorithm development is well understood and highly valued by our clients, says Optimeering CEO Gavin Bell. It is critical for this market (as with many others) that bids are selected in an efficient, timely and transparent manner, and we are well-placed to deliver on this goal.

Optimeering granted model development funds from The Research Council of Norwegian

Optimeering has been successful in its application to the Research Council of Norway for funding for the R&D project “A New Model for Power Markets Under Uncertainty”. The project’s goals are to develop improved practical approaches to account for uncertainty in power market modelling, and ultimately to develop a new power market model for the Nordic power market based on the approaches developed. The project has a 2-year timeline and is the biggest project so far in Optimeering´s history.

Existing power market models generally tend to focus on one “key” uncertainty only – with this being hydrology (specifically, hydro inflow) in most Nordic-focused models. Unfortunately, this tends to mean such models miss out on capturing both the much wider range of uncertainty that occurs in reality and its impact on the market, as well as the interaction between the various sources of uncertainty and what this means for plant operation, market prices, and market development.  Often such models are also difficult and complex to use, as they attempt to capture this single key uncertainty in high detail (whilst ignoring the rest).

Our project will have two goals – usability and breadth. We will examine a broader range of uncertainties than just hydrology, including demand, intermittent production, fuel prices and the development of new technologies. We will also be focusing on usability – ensuring the model is straight forward to use, and does not get bogged down in overly-detailed modelling of complex behaviour, but rather on a more universal capturing of the impact of uncertainties on market operation and out-turns.

The model will be assessed in the project by performing a long-run analysis of the Nordic power market, which will be supplied to the commercial project participants. If you are interested in participating in the project, please do not hesitate to contact us for more information on participation, the project structure, goals and proposed approaches.

Alternative_Energies