Optimeering’s Erlend Torgnes as “page 13” boy in Bergens Tidende

An interview of Optimeering’s Erlend Torgnes can be found in today’s version of Bergens Tidende. Luckily, he is more dressed than the traditional “page 3” girls and has something meaningful to say.

In short, SkatteFUNN is important to us and Optimeering Aqua is not fare from having a market-ready product.

FullSizeRender

 

Hvor viktig var første serierunde?

Tre serierunder på etterskudd kommer bloggopddateringen som ble lovet etter første runde. I bloggposten fra 16 mars predikerte vi hvordan serietabellen ville se ut etter fem runder. Kort oppsummert brukte vi Tippeliga-historikk fra 2009 til å sette opp en modell som predikerte tabellen etter runde 5 basert på resultatet i runde 1. Videre rangerte vi lag basert på hvor bra lagene hadde gjort det i treningskampene i 2016.

Dersom vi ser på modellprediksjonen uten lagnavn, kun tabellplassering etter fem runder gitt antall poeng i første runde, ser vi at modellen ikke gjør det så aller værst. Tendensen er klart at dersom du fikk 3 poeng i første runde havner du høyere enn om du fikk 0 eller 1 poeng.

picture01

Vi ser at vi klarte 6 av 16 riktige. Rosenborg ødelegger stort med tap i første, men førsteplass etter fem runder. Også resultatene nedover på tabellen er relativt gode.

Verdien av denne prediksjonen er ikke særlig høy, da vi ikke vet hvilke lag som havner hvor, men (f.eks.) kun hvilke plasser som får lag som tok 3, 1 eller 0 poeng i første runde.

Ser vi derimot på prediksjonen vår med lagnavn hvor vi også tok hensyn til treningskamphistorikk i 2016, blir ikke modellen like imponerende. Modellen klarte ikke predikere en eneste plassering korrekt. Det nærmeste vi kom var Tromsø som vi tippet på 9’ende plass, men som endte på 11.

Picture2

Kan vi konkludere med at resultat fra første runde har betydning for plassering etter 5 runder, men at resultat fra treningskampene ikke har mye å si?

La oss se nærmere på andre «modeller».
Dersom vi kan finne en måte å måle modellfeilen, kan vi videre forsøke å sammenligne vår modell med andre modeller. Vi har valgt å definere feil som summen av den absolutte forskjellen mellom predikerte og faktiske verdier for alle 16 lag. Da vil vår supermodell oppnå en feil på 92. Andre måter å måle på kan være å si at det er i gjennomsnitt 5.75 plasser feil per lag, eller at medianfeilen er 5.5 plasseringer.

Deretter er det interessant å se hvordan andre «modeller» vil gjøre det i konkurranse med vår modell. Først gjør vi 10 000 tilfeldige simuleringer av tabellen. Da får vi en gjennomsnittlig feil på 85, minimum feil på 28 og maksimum på 128. Ved en tilfeldig trekking av tabell vil vi ved 6530 av 10000 ganger få bedre resultat enn vår supermodell. Eller sagt på en annen måte vil det i 65.3 % av de tilfeldige trekkene være bedre å velge trekke tilfeldig enn å velge modellen vår.

picture3

Vi har så sett på fire ulike modeller. Alfabetmodellen, befolkningsmodellen, maratonmodellen og lengdegradsmodellen.
– Alfabetmodellen sier at resultatet etter fem runder vil være lik en alfabetisk sortert liste over lagene. Det vil si at Bodø/Glimt ligger øverst og Ålesund nederst (med norsk alfabet i hvert fall).
– Befolkningsmodellen vil sette laget fra byen med høyest innbyggertall øverst og byen/tettstedet med færrest innbyggere neders.
– Maratonmodellen plassere laget med flest poeng i øverste ligå siden 1949 øverst
– Lengdegradsmodellen vil plassere laget som er geografisk lengst mot nord øverst

Resultatene fra disse fire modellene er gitt i tabellen under:

picture4

picture5

Disse modellene gjør det relativt bra, med alfabetmodellen som vinneren (det må sies at alfabetmodellen gjør det klart bedre på norsk enn på engelsk, ettersom Ålesund/Aalesund ligger nest sist på den faktiske tabellen). Mens vår modell ser på kortsiktig historikk, ser maratonmodellen på langsikig historikk. Vi ser at i dette tilfellet ville det vært bedre å se på langsiktig historikk enn resultat fra treningskamper og første runde.

Konklusjonen er vel at tipping av fotballtabeller er særdeles vanskelig. F.eks. er det 16! antall mulige varianter av tabellen (eller 2.09 e+19 sagt på en mer forståelig måte), noe som gjør det relativt vanskelig å treffe «spot on» selv om innsikt og historikk om de ulike lagene vil kunne hjelpe oss litt på vei. Selv med 10 000 tilfeldige trekk, klarte vi ikke å få færre enn 28 tabellplasseringsfeil.

Frokostmøte om elsertifikatmarkedet — fredag 29.april

I forbindelse med lanseringen av vår agentbaserte markedsmodell av elsertifikatmarkedet inviterer vi alle interessenter til en felles presentasjon av modellresultatene, modellen, og tjenestene vil tilbyr, fredag 29.april kl 08:00-09:00, i Tollbugata 35 i Oslo. Her blir det anledning til å stille spørsmål samt å møte andre interessenter over en kopp kaffe.

For dem som er interessert vil vi da, blant annet, kunne forklare hvordan investeringsbeslutningen på Fosen kan øke risikoen for svært høye sertifikatpriser i 2020.

Bakgrunnsinformasjon

Modellen som ligger til grunn for markedsanalysene (MARC) er utviklet av Optimeering og Thema, og finansiert av Forskningsrådet, Innovasjon Norge, samt en rekke private og offentlige aktører, deriblant NVE, Energimyndigheten, ENOVA, BKK og Statkraft.  Overordnet informasjon om modellen og våre modellbaserte analysetjenester finnes i denne brosjyren, mens en detaljert beskrivelse av MARC-modellen finner du her.

Flere bomringer og flere elbiler

Denne uken har sakene om rushtidsavgiften i Bergen og dieselforbudet i Oslo hyppig gjestet mediebildet. Som en illustrasjon på effekten av pisk og gulrot har jeg laget en figur som viser hvor tett bomstasjoner og elbilandel er relatert i Norge.

20160119

Vi lærte tidlig på skolen at selv om man ser flere drukningsulykker når salget av is er på topp, så betyr ikke det at is reduserer svømmeteften. Samme resonnement kan vel også benyttes i dette tilfelle, men jeg velger å lese ut i fra dette at økonomiske insentiver virker. Spør du meg så tror jeg elbilforhandlerne i Bergen går en lys tid i møte.

Others downsize, we welcome Jo Vederhus onboard

We are very happy announce that Jo Vederhus started his carrier at Optimeering today. Not surprisingly, like the majority of our employees, Jo holds a master in Industrial Economics and Technology Management from NTNU. Jo has previously worked for Markedskraft and DNB Markets, and for the past couple of years been a reoccurring figure the European Startup community.

Jo will undoubtedly increase our competence in terms of programming and data analysis, and be a valuable creative source in developing new solutions. Being a merited chess player in his youth (rumors has it that he has outplayed Magnus Carlsen), Jo will also add great strength to our notorious chess team.

bildeJo

RWC Round 4

Ratings

Plugging the round 3 results into the model gives us the following ratings:

Ratings 5oct15

Not so much change this round, apart from the Australia’s surge into 2nd position. Australia are the clear form team of the RWC so far – their rating has increased 6 points since round 1. Interestingly, their home advantage score has declined, meaning that they are becoming are more formidable unit away from home (note that some of their headline rating increase is a result of this – ratings points shifting from the home advantage to the general rating as they have improved their away results). Ireland have also dropped 3 points following their narrow win over Italy.

Finally, NZ have not changed much at all, even despite being heavily criticised for their performance against Georgia. In fact, the result against Georgia was not too bad – the model picked a 41 point margin, whereas the final margin was 33 points (almost a “Green” result, actually). The so called minnows are not as bad as people expected – this is borne out in the results as well as the ratings (i.e. the general result that “minnow” games are closer than previous RWCs should not really have come as a surprise).

Form

One interesting result of the model is that it can give us some indication of the home & away performance of the teams compared to their overall rating, and also (perhaps) of each team’s form. Looking at the prediction errors on the model’s training set, we can see that the ratings for some teams appear to over- or under-rate either their home or away performance somewhat. This is partially a result of the way the model fits ratings to results – the squared error means that big errors are penalised proportionally more than small ones, and the model may forgo symmetry in order to avoid big errors, even if this means that it gets some games slightly more wrong (the idea being that one big error is worse than several small ones).

This is very indicative only – it is really not much more than a intuitive interpretation of the model residuals (errors) and has nothing very scientific or statistical behind it. None-the-less it is interesting I think. Examining the results from the training set (which included all RWC games thus far), we see that most teams are rated fine for both home and away. However, for some teams the ratings may be skewed slightly. England for example, may be under-rated away – that is, they perform away slightly better (win by a little more or lose by a little less) than they should given their rating over the 2014-2015 period. Australia does the opposite.

form 5oct15

Note that, as the RWC games are double weighted, some of what we see here in the Away column (except for England) may result from this, with good wins in recent games providing the skew. That is, the away column could be interpreted as an indicator of recent form, with “Over” indicating that the round 3 rating is better than the earlier 2014-2015 results suggest, and “Under” the opposite. In that case, Australia and to a lesser extent Scotland are the form teams and Ireland is somewhat out of form.

Don’t put much emphasis on this – as I said this has very little solid behind it – but it can provide at least some more useful information when interpreting the model results and predictions.

Predictions

And so to the final round predictions:

RWC Pool Round 4 Predictions

This round we have a model first – a draw prediction in the first game between Canada and Romania. The model really can’t decide between these two teams, so a draw it is…

Otherwise, in key match-ups deciding the QFs South Africa to comfortably beat the USA, Scotland to deal with Samoa, Australia to beat Wales (just), and Ireland to beat France (I disagree with the model on this one, but we’ll see). And England to go out on a win against Uruguay.

Rugby World Cup – Round 2 Review and Round 3 Picks

Just a quick update this time, as I am travelling. To recap round 2:

RWC Pool Round 2 Results

Again, not too bad. The model really only got one result badly wrong – Japan vs. Scotland, where it had picked a Japan win (albeit narrow). This highlights one of the downsides of this type of analysis – we do not really have that much data to go on for some teams, and so single results can have a big impact. Remember we are only using results from the past 2 seasons – going further back in time gives us more data to work with, but runs the risk of said data being out of date and not reflective of the teams’ rating now. We also picked the England-Wales game incorrectly, although that was always going to be close. The key difference (or so the model thought) should have been the home advantage to England – as it turned out, it may have been a disadvantage on the day…

Round 3 ratings and picks

The model has updated the ratings based on the results from round 2 (remember, RWC games count double):

Ratings 29sep15

The big changes are largely with the minnows shifting up or down depending on whether they lost by more or less than the model predicted in round 2. Scotland have improved by 4 points, although the model does not think this will be enough to save them against South Africa (see below). Japan drops by 9 – again, this is due to the limited data (number of games) to base the ratings on, which adds a certain amount of volatility. Interestingly, Argentina is continuing to improve, and is now rated just shy of Australia, England and Wales.

So, for the upcoming Round 3 games, the model’s picks are:

RWC Pool Round 3 Predictions

So, according to the model, the key games to watch are Samoa vs. Japan, and England vs. Australia. Again, the points difference for England is coming from the home advantage rating, suggesting a very close match is in store. Wales vs. Fiji may also be closer than the model suggests – it of course does not take account of injuries affecting a team’s rating.

Let’s see next week how things have gone!

RWC – Round 1 Review

If you recall, last week we published the predictions for round 1 of the RWC from our (fairly basic) rugby model. Let’s look how things went…

RWC Pool Round 1 Results

I’ve decided to group the predictions into 3 classes: green for those where the model picks the right winner and the margin prediction was within 7 points (i.e. a converted try) of the actual margin; blue for those where the right winner is picked, but the predicted margin is wrong by more than 7 points; and red for those where the model predicts the wrong winner (irrespective of margin). There is no great science behind this, but it provides us with an OK indicator of model accuracy without getting bogged down in too many numbers. Given the model itself is fairly approximate, it’s about right that the measurement of its effectiveness is fairly approximate too.

Apart from one glaring match, the model did not do too badly. Half of the games were rated green, and we even got one game bang on (USA v. Samoa). The model did not make the same mistake as many journalist pundits did (and continue to do) of under-rating Argentina – the model got that one pretty much right (and it would have been even better had the ABs not bombed so many tries…).

Of the two rated blue, the Ireland Canada game was difficult because of the large gulf between the teams’ ratings and the final score – any model will struggle to get a blow-out to within 7 points. And the model was actually out by only 9 – pretty close to green actually.

The two games the model did not predict accurately were the two surprises of the round – Tonga v. Georgia and the biggie, Japan v. South Africa. The model was not alone in not correctly predicting the Japan game – and I include the South African management in that.

So, a pretty good start. Round 2 starts tonight – I will update the model to take account of the round 1 games, and make some more predictions!