PUMA Analytic Framework

Most of the models we build use quite a lot of data, and especially time series or time-stamped data. However, many of them don’t use huge, enormous petabytes of data. A data lake, not a data ocean. Handling this can be a bit tricky – spreadsheets are much too limited, and relational databases are generally too slow to read and (especially) write even moderate volumes of time series data. At the other end of the scale, large no-sql data solutions are just too complex and unwieldy, like trying to crack a nut with a hammer.

We needed something that could read and write time series and time-stamped data quickly; could classify, group and tag series (“inflow series”, “cases” or “scenarios”); could extract series even with missing or incomplete data; and had an overhead low enough that it could be installed on a desktop and accessed via the python tools we use every day.

We couldn’t find it, so we decided to build our own – the Puma Analytic Framework, for the flexible and rapid storage, retrieval, visualisation and manipulation of time series and time-stamped data. Implemented as a python package, the Framework uses a combination of a relational database and fast flat file storage and retrieval to create a tool to easily and cheaply store pretty large data volumes on the desktop, and use them in your data analysis and models. Being a python package, you have immediate access to all your usual python tools, such as numpy, scipy, pandas and Jupyter Notebooks.

The Framework makes developing new models and analytic tools easier and faster, by providing data in a readily accessible, standardised format. We use the Framework to store and prepare data for our own PUMA Algorithms power market model, and in the same way it can be fully integrated with your own existing and 3rd party power market modelling tools. This is one of the big advantages of the PUMA Analytic Framework in our opinion – it enables you to have a single, consistent database for all your models.

The PUMA Analytic Framework is in locked alpha testing and will be made available in Beta shortly, after which you will be able to download the package and documentation from our website for free. Email us in the meantime if you are interested in finding out more.

Happy new year!

All of us at Optimeering wish our clients, partners, friends and supporters a happy new year! Thanks to all of you for your support, advice and – not least – great projects in 2016, and we wish you all a prosperous and inspiring 2017!

All the best,
Gavin and the rest of the Optimeering team.

Optimeering granted research funds for major machine learning project

We are very pleased to announce that Optimeering has been granted funding from the Research Council of Norway for a substantial new project to develop new machine learning algorithms for forecasting power grid imbalance volumes. The project kicks-off in Q1 2017, with a budget of approximately 7 MNOK. The funding is part of the Council`s ENERGIX-program, and our project is among the few commercial projects fortunate enough to have been successful in this funding round. Optimeering’s team will undertake the project in close collaboration with Statnett and researchers from the University of Liège and the Norwegian University of Science and Technology.

This is the third time Optimeering has been granted research funding from ENERGIX, but today’s grant is by far the largest and represents a significant and positive development for the company. The two former grants (from 2013 and 2014) have both resulted in the development and subsequent commercialization of decision support models for the power sector, namely MARC (an agent based el-certificate market model) and PUMA (a fundamental stochastic power market model). Similarly, our new project will result in commercial models and tools for imbalance volume prognosis, for use by electricity grid operators in Norway and internationally.

The project, “Machine learning prognosis for system imbalance volumes”, aims to develop new and efficient machine learning algorithms for forecasting short-term imbalances in the power grid. Statnett, like all grid operators, faces high costs for managing real-time imbalances between supply and demand of power throughout its transmission network. Further, the number and size of these imbalances, which drive grid frequency deviations and thus negatively impact power quality, have increased steadily over the past decade. The drivers behind the increase in costs – higher intermittent production from renewables and tighter integration with surrounding countries – are expected to become stronger going forward. Therefore, being able to forecast system imbalance volumes has a great value to grid operators such as Statnett as well as other TSOs around the world.

We are of course very grateful to have the Research Council onboard yet again, and for their recognition of the significant potential – both commercially and for society more generally – of this project. We will be publishing details of our progress on our blog on a regular basis, so keep checking back for more info and updates!

Optimeering welcomes Penélope

penelopeWe are pleased to announce the appointment of Penélope Aguiar Melgarejo as an Operations Research specialist at Optimeering. Penélope holds a Ph.D. in Computer Science from INSA Lyon and a master’s degree in Operations Research from ENSTA ParisTech. As both INSA Lyon and ENSTA belong to the family of Grandes Écoles d’Ingénieurs, those who know a bit about the French education system would suspect Penélope to be fairly sharp. We can happily confirm that, by adding that Penélope is probably the sharpest student we have ever met.

Differently from the rest of the Optimeering team, Penélope is born south of the equator. Whilst other Brazilian children were out working on their dribbling skills, Penélope found it more interesting to work on math puzzles. Her desire to solve math puzzles led her on to study Applied Mathematics in Rio and when Brazil could not feed her hunger for puzzles anymore, she moved to the country who considers mathematics as the most important subject in the education system – France. Following six years in France, joining Optimeering was the obvious next step.

 

Modell for framtidig kraftetterspørsel i alminnelig forsyning

Vi har nylig avsluttet et prosjekt for Statnett som er har hatt som mål å utvikle en modell som kan benyttes til å framskrive kommunal kraftetterspørsel i alminnelig forsyning, per time, fram mot 2035. Dette er en utfordrende oppgave, blant annet, fordi det er mange faktorer som påvirker kraftforbruket og siden disse faktorene i tur påvirker hverandre. Her gis en kort oppsummering av hvordan vi har løst oppgaven.

For å beregne det framtidige kommunale kraftforbruket kreves ett modellverktøy inkluderer de viktigste driveren av forbruket og som tar hensyn til gjensidige forhold mellom disse driverne og dermed gjør det mulig å utforme og beregne utfallet av konsistente framtidsscenarioer. Eksempelvis kan man i ett framtidsscenario legge til grunn en signifikant vekst i elbilforbruket basert på dagens elbilandel (>12 % av nybilsalget i 2015), dagens utskiftningsrater for personbiler, og elbilers forventede ladebehov. Dette vil utvilsom medføre en vekst i kraftetterspørselen, spesielt på kvelden. Det er isolert sett. I virkeligheten er det godt mulig at veksten i antall elbiler som skal lades på kvelden får nettselskapene til å etablere tiltak som gir husholdninger insentiver til å distribuere kraftforbruket sitt jevnere utover døgnet. Nordmenn har tradisjonelt lite overs for å endre vaner for å spare noen øre, men at elbilen trekker strøm ved midnatt i istedenfor på kvelden spiller lite rolle så lenge bilen er fulladet til morgenen. Videre er det sannsynlig at nye vindparker og kraftkabler til utlandet gjør strømproduksjonen, og dermed kraftprisen, mer volatil. Dette kombinert med introduksjonen av Smart Grid gir insentiver til å flytte kraftforbruket fra dyre timer til billige timer. Hva predikere hva kraftetterspørselen på Askøy vil være 7.mars kl 19:00 i 2035 er ikke lett, men har man et modellverktøy som tar hensyn til de viktigste driverne og gjør det enklere å bygge konsistente framtidsscenarioer så kan man i hvert fall gjøre kvalifiserte forsøk.

Vår tilnærming

Figuren under viser i korte trekk vår tilnærming til oppgaven.Alle figurer2

Vi delte problemet inn i to deloppgaver; 1 – utvikling i aggregert årsforbruk, og 2 – utvikling i forbruksprofilen (andel av årsforbruk som faller i hver av de 8760 timene i året).

Steg 1 – Forstå dagens kraftforbruk (aggregert forbruk og forbruksprofil)

Skal man modellere og framskrive dagens kraftforbruk er det også vesentlig å forstå hva dagens kraftforbruket går med til og hva som driver det. Ettersom det aggregerte årsforbruket i alminnelig forsyning består av flere forbruksgrupper og hver av disse gruppene har ulike drivere er det vesentlig å se på forbruket i hver av disse gruppene hver for seg. En vesentlig del av hensikt med modellen er nettopp å kunne gjøre antakelser på mer detaljert nivå og se hva dette betyr for utviklingen. Her er forbruksgruppen det første nivået i detaljeringen. Videre har hver av forbruksgruppene ulike drivere og ulike prioritet av disse. Eksempelvis er forbruket i boliger drevet av hvor mange boliger som installerer varmepumper eller hva de framtidige TEK-kravene vil si om boligenes energibruk. I tillegg til forbruksgruppen boliger, har vi hytter og fritidshus, persontransport, offentlig transport, elforbruket i tjenestebygg, industribygg osv.

På tilsvarende måte som man må forstå driverne av det aggregerte årsforbruket må også driverne av forbruksprofilen for de ulike forbruksgruppene forstås. I den grad det var mulig, gitt de (nett)dataene vi hadde tilgjengelig, var det hensiktsmessig å beregne representative forbruksprofiler for hver forbruksgruppe, for hver kommune slik at man ved å framskrive veksten i det aggregerte årsforbruket i hvert forbruksgruppe kunne sammenstille en samlet forbruksprofil for en kommune ved å vekte de respektive profilene for hver forbruksgruppe etter andel at det totale aggregerte årsforbruket i kommunen. En utfordringen her er selvsagt at forbruksprofilen for en forbruksgruppe varierer geografisk grunnet værforhold. Videre variere også deler av årsprofilen, for eksempel døgnprofilen, med årstidene og dagtypen (se figuren under for relevante dimensjoner i analysen av døgnprofilen). For å komme fram til ett sett representative forbruksprofiler for de respektive forbruksgruppene for ulike deler av landet, basert på det utvalget historiske forbruksdata vi hadde tilgjengelig, ble metadata fra SSB knyttet inn. Ved å så benytte maskinlæringsalgoritmer (C4.5 beslutningstrær og K-means clustering), ble ett antall representative forbruksprofiler utarbeidet. Disse utarbeidete profilene kunne således benyttes som byggeklosser som for en gitt kommune kunne settes sammen til en samlet forbruksprofil for den kommunen. Profilbyggeklossene gjorde det også mulig å håndtere profilframskrivningen (steg 3).

Alle figurer i prosjektet

Steg 2 – Forstå driverne og bygge modellverktøyet

Delvis relatert til steg 1, men med fokus på å forstå de viktigste driveren innenfor hver forbruksgruppe ble et bredt utvalg av eksperter på området intervjuet og faglitteratur gjennomgått. Viktig kilder har blant annet vært NVE, SSB og Direktoratet for byggkvalitet. Ettersom en modell kun er en forenklet representasjon av virkeligheten er det vesentlig å kun inkludere de viktigste driverne av forbruket i modellen. Flere parametere betyr mindre transparens og brukervennlighet, så det ble vurdert om ulike forbruksdrivere var vesentlige nok til å bli inkludert i modellen.

Steg 3 – Gjøre framskrivninger og modellere utviklingen i forbruksprofilene

For hver av driverne som ble inkludert i modellen ble det gjort kvalifiserte framskrivninger basert på historisk utvikling, vedtatt politikk og egne vurderinger. Driverne i modellen påvirker enten det aggregerte årsforbruket og/eller forbruksprofilene. Elbilandelen og klima påvirker for eksempel både samlet forbruk og når på året forbruket faller, mens for eksempel laststyringsmekanismer kun påvirker når forbruket oppstår og i liten grad det aggregerte forbruket.

En vesentlig del av steg 3 var å utvikle nye modelleringsverktøy for å beregne nettoeffekten av eventuelle laststyringsmekanismer som vil oppstår og introduksjonen av Smart Grid. Disse ble håndtert med to selvstendige optimeringsmodeller. I tillegg er det også utviklet en modell for hvordan klima og byggkvalitet påvirker forbruket over året. Alle disse er videre benyttet til å framskrive de representative forbruksprofilene.

Steg 4 – Resultatet

Resultatet er to delt. Fra del 1 av problemet har vi framskrivninger av aggregert normalårsforbruk for de respektive forbruksgruppene, per kommune. Fra del 2 av problemet har vi framskrevne forbruksprofiler per forbruksgruppe gitt den geografiske hvor i landet forbruket finner sted. Ved å slå sammen dette i ett oppslag som henter riktig forbruksprofil for riktig gruppe og geografisk plassering og vekter dette riktig sammen, beregnes samlede forbruksprofiler for hver kommune.

Ettersom modellen er på kommunenivå kan videre aggregerte profiler for større områder, enten fylke eller spot pris område beregnes ved hjelp av dette.

Optimeering to support Nordic TSOs in joint reserve market project

Optimeering was recently awarded a major project on behalf of the four Nordic TSOs, Statnett, Svenska kraftnät, Fingrid and Energinet.dk, due to its core competance in numerical optimisation.

The four Nordic TSO are planning to implement a common Nordic capacity market for FRR-A (automatic frequency restoration reserves), and as a part of this work an optimisation tool for bid selection for a common Nordic market needs to be developed. Given that the bidding rules are quite complex (bids can be linked upwards, downwards, and in time, marked as indivisible, and be asymmetrical, to mention some) and the requirement to ensure that the market operates in a socio-economically efficient manner, the TSOs have asked Optimeering to provide external expertise to help develop the FRR-A clearing algorithm.

The problem itself is what we call a combinatorial optimization problem or (mixed) integer program. The linking and non-divisibility of bids is a critical and fundamental characteristic of the bid selection problem that means traditional clearing methods based on price alone are insufficient. Given the size of the problem (hourly bids in multiple bidding zones), checking every single possible combination of bids is also not a feasible approach. Instead, a solution algorithm is needed to select bids for the FRR-A capacity market that accounts for the complex bid structures via the use of advanced mathematical optimization techniques.

It is very encouraging to see that our core competence in modelling and algorithm development is well understood and highly valued by our clients, says Optimeering CEO Gavin Bell. It is critical for this market (as with many others) that bids are selected in an efficient, timely and transparent manner, and we are well-placed to deliver on this goal.

Optimeering welcomes Giulio Gola

GiulioGolaWe are pleased announce that Giulio Gola will be joining our team shortly. Giulio holds a PhD in Nuclear Engineering from Polytechnic of Milan/OECD Halden Reactor Project, Norway. His previous work experience includes General Electric, Institute for Energy Technology (IFE) and FirstSensing AS.

He has a spent a major part of his career developing complex computer systems for condition monitoring, system diagnostics and maintenance optimization within the energy sector. These systems consist of using (among others) ensembles of data-driven models (auto-associative neural networks, PCA, clustering) for fault detection and both empirical and stochastic methods for forecasting remaining lifetime for use in maintenance optimisation.

Giulio will undoubtedly strengthen Optimeerings competence in terms of analytics, data-driven prediction and optimisation.

 

 

 

Optimeering med kommentar i DN

For den ikke fult så observante DN-leser kan vi informere om vårt innslag til fornybardebatten i DN. Innlegget var en kort generell kommentar til debatten om fornybarsubsider, eller snarer en kommentar til argumentene for og i mot fornybarsubsidiering.

dn

Saken var på trykk i papiravisen 1. april.

 

Optimeering granted model development funds from The Research Council of Norwegian

Optimeering has been successful in its application to the Research Council of Norway for funding for the R&D project “A New Model for Power Markets Under Uncertainty”. The project’s goals are to develop improved practical approaches to account for uncertainty in power market modelling, and ultimately to develop a new power market model for the Nordic power market based on the approaches developed. The project has a 2-year timeline and is the biggest project so far in Optimeering´s history.

Existing power market models generally tend to focus on one “key” uncertainty only – with this being hydrology (specifically, hydro inflow) in most Nordic-focused models. Unfortunately, this tends to mean such models miss out on capturing both the much wider range of uncertainty that occurs in reality and its impact on the market, as well as the interaction between the various sources of uncertainty and what this means for plant operation, market prices, and market development.  Often such models are also difficult and complex to use, as they attempt to capture this single key uncertainty in high detail (whilst ignoring the rest).

Our project will have two goals – usability and breadth. We will examine a broader range of uncertainties than just hydrology, including demand, intermittent production, fuel prices and the development of new technologies. We will also be focusing on usability – ensuring the model is straight forward to use, and does not get bogged down in overly-detailed modelling of complex behaviour, but rather on a more universal capturing of the impact of uncertainties on market operation and out-turns.

The model will be assessed in the project by performing a long-run analysis of the Nordic power market, which will be supplied to the commercial project participants. If you are interested in participating in the project, please do not hesitate to contact us for more information on participation, the project structure, goals and proposed approaches.

Alternative_Energies

Optimeering Aqua tildelt midler fra NTNU Discovery

Tirsdag 4.11 var en gledens dag for det nyetablerte datterselskapet, Optimeering Aqua, eid av Optimeering, NTNU Technology Transfer, Professor Asgeir Tomasgard fra institutt for industriell økonomi og teknologiledelse ved NTNU. Selskapet var nemlig blandt de heldige som fikk tildelt midler fra såkornforndet NTNU Discovery.

– Det blir spennende å se hva vi får til her, kommenterer fungerende daglig leder for selskapet, Erlend Torgnes.