Evaluad

Van accountability naar predictability

Contact

Wilt u meer weten over Evaluad, stuur een berichtje naar: info@evaluad.nl

André Koster, Frontier Marketeer


(Foto: Erik Hijweege)


Publicaties


Laatste artikel over predictive modeling in de Adformatie.















Het laatste Effie-boek besteedde ruimschoots aandacht aan het Evaluad model:


Integrale tekst: 


VAN ACCOUNTABILITY NAAR PREDICTABILITY

Wat zou het mooi zijn als je, voordat je met een campagne de straat op gaat, met aan zekerheid grenzende waarschijnlijkheid het resultaat kunt voorspellen. Onderzoeker André Koster beweert dat dit mogelijk is, mits we maar willen leren van het verleden.

Na studies in Nijmegen en Boston, na werk aan zowel opdrachtgeverskant (DHL, AkzoNobel) als bureaukant (PPGH-JWT, Etcetera) had André Koster het gevoel dat de effecten van marketingcommunicatie minder onvoorspelbaar zijn dan vaak wordt aangenomen. Maar wetenschappelijk bewijs voor dat vermoeden was er niet, dus besloot hij dat zelf te gaan produceren: data verzamelen en analyseren en op basis daarvan een voorspellend model maken. Koster is niet verbonden aan een universiteit, maar werkt wel samen met Edwin Boezeman, lecturer aan de sectie Sociale en Organisatiepsychologie van de Universiteit Leiden en John Koster (zijn broer), hoogleraar marketing aan Nyenrode Business Universiteit en voorzitter van Holland Consulting Group.

Onderzoeksmethode

Startpunt voor zijn onderzoek waren 243 Effie-juryrapporten van wel en niet prijswinnende campagnes sinds 2004, plus aanvullend cijfermateriaal van de ingezonden cases. Koster: ‘Al snel herkende ik terugkerende patronen in de jurering en resultaten. Er is altijd een oordeel over aspecten als doelstellingen, strategie, media-inzet, awareness, creatie, executie, budget. Die gegevens heb ik gecodeerd en als variabelen in het model opgenomen. Met achterliggende cijfers erbij is dat vrij exact te doen. Met de aanduiding ‘de awareness is licht gestegen’ kan ik niet veel. Maar als er staat de awareness is van 40% naar 50% gestegen’, kan ik dat exact coderen. Hoe beter de data, des te sterker het model.’

Per campagne heeft Koster tegen de 70 variabelen benoemd; basale variabelen als: de sector, de gewonnen prijs en wel of geen tv-inzet, maar ook gedetailleerdere data zoals: awareness, kwaliteit van de strategie, marktaandeelstijging (gerelateerd aan de competitiviteit in de markt), propositie en brand preference. De proposities uit de 243 onderzochte cases bleken ook al snel niet 243 onderscheidende proposities te zijn, ze zijn terug te brengen tot een stuk of tien categorieën (bijvoorbeeld gericht op value-for-money, functionaliteit of kwaliteit). Waar essentiële data ontbraken, heeft Koster elders gegevens verzameld (internet, andere vakprijzen zoals de Esprix en de SAN). Zo heeft hij voor de 243 cases in totaal ruim 15.000 (geanonimiseerde) getallen gedetecteerd: ‘Ruim voldoende om wetenschappelijke conclusies te kunnen trekken.’

Stap één om op basis van deze 15.000 getallen een werkbaar voorspellend model te creëren, is de ruis er zoveel mogelijk uithalen: ‘Door een multivariate regressie-analyse uit te voeren, waarin de waarde van variabelen getoetst wordt, kom je erachter welke variabelen het verschil maken. Uiteindelijk zijn dat er tien à twaalf die echt voorspellende waarde voor het resultaat hebben. Daarbij geldt ook dat variabelen elkaar kunnen beïnvloeden. Uit het model blijkt bijvoorbeeld dat de strategie van grotere invloed is op het succes van een campagne dan creatie. Tegelijkertijd is het zo dat de creatie een sterke strategie wel kan versterken of verprutsen, waarbij het creatieve idee meer effect heeft op het resultaat dan de executie. Zo zitten er allerlei gradaties en lagen in het model die in meer of mindere mate van invloed zijn op het resultaat.’

Sommige variabelen in het model zijn lastig te meten bij de analyse van toekomstige campagnes. Budget is een hard cijfer dat betrouwbaar in verhouding tot het competitieniveau van de markt is te plaatsen. Maar hoe beoordeel je bijvoorbeeld de kwaliteit van creatie? Koster: ‘Daar heb ik ander onderzoek voor gebruikt, want ik wil geen subjectieve oordelen in het model, zoals ‘de creatie van deze campagne komt op mij over als een zeven’. Wat een betrouwbare indicator is, is de stopping power van een campagne, door eyetracking movements. Daar zijn algoritmes voor beschikbaar die je online kunt inkopen. Dat geldt ook voor de kwaliteit van de strategie, ook daar heb ik aanvullend onderzoek voor gebruikt om tot betrouwbare meetinstrumenten te komen. Zo probeer ik elke subjectieve interpretatie uit te sluiten.’

Resultaten uit het verleden

En zo ligt er een model waarmee het succes van campagnes volgens Koster te voorspellen is. Het is wel een ‘winnaarsmodel’, de data betreffen vooral het neusje van de zalm, en zelfs de niet-prijswinnende inzendingen zijn over het algemeen van hoog niveau. Met andere woorden: als je middelmatig scoort op dit model, dan doe je het nog best goed. Koster had ook graag data van minder succesvolle campagnes gehad, maar die zijn zelden beschikbaar.

Neemt niet weg dat zijn model tegelijkertijd benchmark als succes-voorspeller is. Resultaten uit het verleden bieden nu wel degelijk een garantie voor de toekomst: ‘Je kunt de succeskans van een campagne verhogen als je meer kijkt naar het verleden. Accountability is rekenschap afleggen achteraf. Met predictability kun je onverstandige investeringen voorkomen. In veel bedrijfstakken is dat modus. Niemand maakt meer een vierkante auto, in windtunneltests is onomstotelijk bewezen dat dit niet handig is. Maar op de een of andere manier heerst in de communicatiewereld de gedachte dat het goed is om geheel blanco te beginnen. Ik denk dat strategen en creatieven er verstandig aan doen wat vaker terug te kijken, naar wat wel en niet heeft gewerkt. De kans is namelijk klein dat je op een inzicht of creatief idee komt dat de afgelopen jaren niet al in enige vorm bedacht is. Je kunt dus terugvinden of jouw idee wel of niet werkt. Er wordt ook vaak met focusgroepen gewerkt. Prima, maar de resultaten van tien meningen kun je niet zomaar extrapoleren naar miljoenen Nederlanders. Dit model biedt daar op een aanvulling.

Opvallende conclusies

De benchmark van Koster laat een aantal opvallende zaken zien. Zo blijkt bijvoorbeeld dat het ambitieniveau mede bepalend is voor het succes: hoe hoger de lat ligt, des te beter het resultaat. Koster kan het niet verklaren, maar het blijkt zonneklaar uit de benchmark. Verder blijkt (minder verrassend) dat consistentie een positief effect heeft op het resultaat. En weer een onverwachte conclusie: B2C campagnes die veel online middelen inzetten scoren minder goed. Koster denkt dit te kunnen verklaren uit het feit dat de inzet van online vaak ten koste gaat van traditionele massamediale inzet. De benchmark toont aan dat online media geen vervanger kunnen zijn van massamedia. Verder blijkt dat proposities die inzetten op variatie en value for money over het algemeen goed scoren en proposities die op status en premium inzetten minder goed.

Ook een mooie conclusie: de onderliggende cijfers tonen aan dat er over de jaren heen zeer consistent is gejureerd. Of je nu kijkt naar het Juryrapport of de cijferanalyse, de uitkomsten zijn vrijwel gelijk. Maak je daarmee de Effie-jury niet overbodig? Koster: ‘Ik kan inderdaad wel behoorlijk goed voorspellen of een campagne een Effie kan winnen. Als je zonder dit model op basis van de inzendingen een voorspelling doet, heb je misschien vijftig procent goed. Met dit model kom ik tot ruim tachtig procent juiste voorspelling van prijswinnaars. Niet honderd procent, want er zit altijd ruis in. De Effie is een optelsom van veel facetten die een rol spelen in het resultaat. Het model biedt een richtlijn voor het maken van een succesvolle campagne en daarmee vergroot je ook de kans om een Effie te scoren. Het is geen handleiding voor het winnen van een Effie.’

Eind van dit jaar gaat Koster in een wetenschappelijk tijdschrift zijn onderzoek publiceren (met de co-auteurs Boezeman en de andere Koster). Uiteraard wil hij zijn model daarna commercieel aanwenden: campagne-ideeën benchmarken met de ruim 240 sterke campagnes. Wellicht dat het model ook een bijdrage kan leveren aan de verdere professionalisering van het kennisinstituut Effie: ‘In de VS werken  grote bedrijven met dit soort software en modellen. Maar de inzichten worden zelden gedeeld. Ik zou het leuk vinden om mijn bevindingen te delen, vooral omdat de benchmark elk jaar in kracht groeit omdat elk jaar nieuwe Effie-data oplevert. De conclusies die we kunnen trekken worden dus steeds betrouwbaarder, en daarmee het inzicht om succesvolle campagnes te ontwikkelen.’

1. Mythe - 2. Realiteit

1. Voorzichtige doelstellingen leveren een beter resultaat op.

2. Hoe hoger het ambitieniveau hoe beter het resultaat.

1. Met sterke online inzet en social media kun je massamedia vervangen.

2. In de B2C-sector lijkt succes niet zonder massamedia haalbaar.

1. Creatie bepaalt in hoge mate het succes van een campagne.

2. De strategie en het inzicht zijn belangrijker voor het resultaat.

1. Blanco beginnen, zonder historische context, levert de beste ideeën op.

                                    

2. De effectiviteit is groter als geleerd wordt van het verleden.






Adformatie 18 nov, 2016

"WINNAARSMODEL" HET SUCCES VAN RECLAME KUN JE VOORSPELLEN

 

Wat zou het mooi zijn als je, voordat je met een campagne de straat op gaat, met aan zekerheid grenzende waarschijnlijkheid het resultaat kunt voorspellen. Onderzoeker en strateeg André Koster beweert dat dit mogelijk is, mits we maar willen leren van het verleden. 

Door RUUD SLIERINGS

Na een doctoraal Communicatiewetenschap, Nima A,B en C, en na werk aan zowel opdrachtgeverskant (DHL, AkzoNobel) als bureaukant (PPGH-JWT, Etcetera) had André Koster het gevoel dat de effecten van marketingcommunicatie minder onvoorspelbaar zijn dan vaak wordt aangenomeHet was hem opgevallen dat in bedrijfstakken als industrieel design en metereologie al decennialang gebruikt wordt gemaakt van predictive modeling: het verzamelen van data uit het verleden, het vinden van patronen en het ontwikkelen van voorspellende algoritmes om die patronen te voorspellen.

Je zou denken dat een dergelijke aanpak ook voor reclame kan werken. Of is reclame is nog steeds het domein van de magie en blijft het creatieve idee de heilige graal? Maar als algoritmes voorspellen wat onze smaak in muziek is, welk boek we bij Amazon bestellen en welke track een hit wordt in Spotify, waarom zouden we het effect van reclame dan niet kunnen voorspellen?

Wetenschappelijk bewijs voor dat vermoeden was er niet, dus besloot Koster dat zelf te produceren: data verzamelen en analyseren en op basis daarvan een voorspellend model maken. Koster is zelf niet verbonden aan een universiteit, maar werkt samen met Edwin Boezeman, lecturer aan de sectie Sociale en Organisatiepsychologie van de Universiteit Leiden en John Koster, hoogleraar marketing aan Nyenrode Business Universiteit en voorzitter van Holland Consulting Group.

Startpunt voor zijn onderzoek waren 243 Effie-juryrapporten van wel- en niet-prijswinnende campagnes sinds 2004, plus aanvullend cijfermateriaal van de ingezonden cases, uitslagen van andere prijzen en online-uitingen van campagnes.‘Al snel herkende ik terugkerende patronen in de jurering en resultaten. Er is altijd een oordeel over aspecten als doelstellingen, strategie, media-inzet, awareness, creatie, executie, budget. Die gegevens heb ik gecodeerd en als variabelen in het model opgenomen. Met achterliggende cijfers erbij is dat vrij exact te doen. Met “de awareness is licht gestegen’ kan ik niet veel. Maar als er staat: “de awareness is van 40 naar 50 procent gestegen”, kun je dat exact coderen. Hoe beter de data, des te sterker het model.’

Per campagne heeft Koster tegen de 70 variabelen benoemd; basale variabelen als sector, gewonnen prijs en wel of geen tv-inzet; maar ook gedetailleerdere data, zoals awareness, kwaliteit van de strategie, marktaandeelstijging (gerelateerd aan de competitiviteit in de markt), propositie en brand preference.

Zo’n 90 procent van die variabelen bestaat uit harde, meetbare cijfers, dit om het model zou objectief mogelijk te houden.  Reclamesucces blijkt uiteindelijk goed te definiëren en te meten door een combinatie van awareness, brand preference en brand consideration-cijfers. Marktaandeel- en omzetcijfers blijken minder betrouwbaar als indicator van succes omdat er te veel andere zaken invloed op hebben, naast het effect van communicatie.

De proposities uit de 243 onderzochte cases bleken ook al snel niet 243 onderscheidende proposities te zijn, maar zijn terug te brengen tot een stuk of tien categorieën (bijvoorbeeld gericht op value-for-money, functionaliteit of kwaliteit). Waar essentiële data ontbraken, heeft Koster elders gegevens verzameld (internet, andere vakprijzen zoals de Esprix en de SAN). Zo heeft hij voor de 243 cases in totaal ruim 15.000 (geanonimiseerde) getallen gedetecteerd: ‘Ruim voldoende om wetenschappelijke conclusies te kunnen trekken.’

Stap één om op basis van deze 15.000 getallen een werkbaar voorspellend model te creëren, is de ruis er zoveel mogelijk uitgehaald. Door een multivariate regressieanalyse uit te voeren, waarin de waarde van variabelen getoetst wordt, kwam Koster erachter welke variabelen het verschil maken. Dataspecialisten van firma QNH hebben dezelfde dataset geanalyseerd aan de hand alternatieve, non-linaire analysetechnieken. De uitkomsten bleken grotendeels te matchen. Koster: ‘Dit gaf extra vertrouwen in de analyse, en we hadden direct het idee dat we dus zinvolle onderliggende patronen hadden gevonden in de data.’

 Uiteindelijk resteren er twaalf variabelen die echt voorspellende waarde voor het resultaat hebben. Maar er liggen wel meer relaties aan ten grondslag dan verwacht: de analyse toont namelijk aan dat variabelen elkaar ook kunnen beïnvloeden. ‘Uit het model blijkt bijvoorbeeld dat de strategie van grotere invloed is op het succes van een campagne dan creatie. Tegelijkertijd is het zo dat de creatie een sterke strategie wel kan versterken of verprutsen, waarbij het creatieve idee meer effect heeft op het resultaat dan de executie. Zo zitten er allerlei gradaties en lagen in het model die in meer of mindere mate van invloed zijn op het resultaat.’ Uiteindelijk heeft het model een hoge fit met de data. Dit geeft aan dat het model een hoge voorspellende waarde heeft.

Het model is op zichzelf nog geen analyse tool. Want hoe ga je toekomstige campagnes scoren op de relevante variabelen in het model? Veel variabelen zijn betrouwbaar en objectief te meten bij de evaluatie van toekomstige campagnes; budgetcijfers, samenstelling van de mediamix en ook de doelstellingen zijn goed te vangen in harde cijfers. Maar bij sommige variabelen is dat een stuk lastiger. Hoe beoordeel je bijvoorbeeld de kwaliteit van creatie? Koster: ‘Daar heb ik ander onderzoek voor gebruikt, want ik wil geen subjectieve oordelen in het model, zoals “de creatie van deze campagne komt op mij over als een zeven”. Wat een betrouwbare indicator is, is de stopping power van een campagne, door onder andere eyetracking movements. Daar zijn algoritmes voor beschikbaar die je online kunt inkopen. Zelfs voor copy geldt dat er indicaties zijn uit bestaand onderzoek waaraan het getoetst kan worden. Bevat de copy de benefit die gebaseerd is op een helder klantinzicht? Uit hoeveel woorden bestaat de heading? Uit wetenschappelijk onderzoek weten we vrij exact wat werkt en wat niet.’

Eenzelfde aanpak is gehanteerd voor de strategie. ‘Ook daar heb ik aanvullend onderzoek voor gebruikt om tot betrouwbare meetinstrumenten te komen. Zo probeer ik elke subjectieve interpretatie uit te sluiten.’Uiteindelijk resulteren de twaalf variabelen uit het model in wel 70 subvariabelen die nodig zijn om de twaalf hoofdvariabelen betrouwbaar en valide te meten.

En zo ligt er uiteindelijk een model waarmee het succes van campagnes volgens Koster te voorspellen is. Het is wel een ‘winnaarsmodel’, de data betreffen vooral het neusje van de zalm, en zelfs de niet-prijswinnende inzendingen zijn over het algemeen van hoog niveau. Met andere woorden: als je middelmatig scoort op dit model, doe je het nog best goed. Koster had ook graag data van minder succesvolle campagnes gehad, maar die zijn zelden beschikbaar.

Neemt niet weg dat Kosters model tegelijkertijd benchmark als succesvoorspeller wil zijn. Resultaten uit het verleden bieden volgens hem nu wel degelijk een garantie voor de toekomst: ‘Je kunt de succeskans van een campagne verhogen als je meer kijkt naar het verleden. Accountability is rekenschap afleggen achteraf. Met predictability kun je onverstandige investeringen voorkomen. In veel bedrijfstakken is dat modus. Niemand maakt meer een vierkante auto, in windtunneltests is onomstotelijk bewezen dat dit niet handig is. Maar op de een of andere manier heerst in de communicatiewereld de gedachte dat het goed is om geheel blanco te beginnen.

‘Ik denk dat strategen en creatieven er verstandig aan doen wat vaker terug te kijken, naar wat wel en niet heeft gewerkt. De kans is namelijk klein dat je op een inzicht of creatief idee komt dat de afgelopen jaren niet al in enige vorm bedacht is. Je kunt dus terugvinden of jouw idee wel of niet werkt. Er wordt ook vaak met focusgroepen gewerkt. Prima, maar de resultaten van tien meningen kun je niet zomaar extrapoleren naar miljoenen Nederlanders. Dit model biedt daarop een aanvulling.

Het model is, benadrukt Koster, tegelijkertijd een campagne-analyse tool waarmee je campagnes in diverse fasen van ontwikkeling kunt toetsen aan de benchmark van het model, van briefing tot strategie, creatie en executie. ‘Dit biedt grote voordelen ten opzichte het testen van campagnemateriaal dat al bijna definitief is. Het model behoedt dus marketeers en bureaus tijd voor eventuele grote missers.

Opvallende learnings

De benchmark van Koster laat een aantal opvallende zaken zien. Zo laat het model zien dat een goede campagne begint met een effectieve strategie. Slechte strategische uitgangspunten kunnen niet meer goed worden gemaakt door creatie, hoe geweldig idee en uitvoering ook zijn. Omgekeerd bewijst het model wel dat een goede strategie versterkt of verzwakt kan worden door de kwaliteit van het creatieve idee en de uitvoering. Strategie heeft dus een rechtstreekse invloed op succes, terwijl creatie een indirecte invloed heeft op succes, via het effect van de strategie.

Ook blijkt bijvoorbeeld dat het ambitieniveau mede bepalend is voor het succes: hoe hoger de lat ligt, des te beter het resultaat. Koster kan het niet verklaren, maar het blijkt zonneklaar uit de benchmark. Verder blijkt (minder verrassend) dat consistentie een positief effect heeft op het resultaat. En weer een onverwachte conclusie: B2C campagnes die veel online middelen inzetten scoren minder goed. Koster denkt dit te kunnen verklaren uit het feit dat de inzet van online vaak ten koste gaat van traditionele massamediale inzet. De benchmark toont aan dat online media geen vervanger kunnen zijn van massamedia. Verder blijkt dat proposities die inzetten op variatie en value for money over het algemeen goed scoren en proposities die op status en premium inzetten minder goed.

Ook een mooie conclusie: de onderliggende cijfers tonen aan dat er over de jaren heen zeer consistent is gejureerd door de Effie. Of je nu kijkt naar het Juryrapport of de cijferanalyse, de uitkomsten zijn vrijwel gelijk. Maak je daarmee de Effie-jury niet overbodig? Koster: ‘Ik kan inderdaad wel behoorlijk goed voorspellen of een campagne een Effie kan winnen. Als je zonder dit model op basis van de inzendingen een voorspelling doet, heb je misschien vijftig procent goed. Met dit model kom ik tot ruim tachtig procent juiste voorspelling van prijswinnaars. Niet honderd procent, want er zit altijd ruis in. De Effie is een optelsom van veel facetten die een rol spelen in het resultaat. Het model biedt een richtlijn voor het maken van een succesvolle campagne en daarmee vergroot je ook de kans om een Effie te scoren. Het is geen handleiding voor het winnen van een Effie. Dat was ook niet mijn doel. De uitdaging is om het effect van reclame te verhogen. Door toepassing van wetenschappelijke methoden in dit geval’.

Eind van dit jaar gaat Koster in een wetenschappelijk tijdschrift zijn onderzoek publiceren (met de co-auteurs Boezeman en de andere Koster). Uiteraard wil hij zijn model daarna commercieel aanwenden: campagne-ideeën benchmarken met de ruim 240 sterke campagnes. Wellicht dat het model ook een bijdrage kan leveren aan de verdere professionalisering van het kennisinstituut Effie: ‘In de VS werken  grote bedrijven met dit soort software en modellen. Maar de inzichten worden zelden gedeeld. Ik zou het leuk vinden om mijn bevindingen te delen, vooral omdat de benchmark elk jaar in kracht groeit omdat elk jaar nieuwe Effie-data oplevert. De conclusies die we kunnen trekken worden dus steeds betrouwbaarder, en daarmee het inzicht om succesvolle campagnes te ontwikkelen. Ik daag iedere adverteerder of bureau uit om het model eens te proberen om campagnes tot een hoger plan te brengen.”


QNH toetst voorspelmethode voor creatieve sector

 Gepubliceerd op 05 december 2016.

Als ICT dienstverlener voeren wij met onze oplossing ‘predictive maintenance’ regelmatig analyses uit om zo voorspelbaar onderhoud toe te kunnen passen. ‘Predictive analytics‘ is in veel branches dan ook al een bekend begrip. Maar hoe zit dat in de creatieve sector, waar creativiteit nog als heilige graal wordt beschouwd?

Onderzoeker en strateeg André Koster had het gevoel dat de effecten van marketingcommunicatie minder onvoorspelbaar zijn dan vaak wordt aangenomen. Ook hem was opgevallen dat in bedrijfstakken als industrieel design en metereologie al decennialang gebruikt wordt gemaakt van predictive modeling: het verzamelen van data uit het verleden, het vinden van patronen en het ontwikkelen van voorspellende algoritmes om die patronen te voorspellen.

Wat zou het mooi zijn als je, voordat je met een campagne de straat op gaat, met aan zekerheid grenzende waarschijnlijkheid het resultaat kunt voorspellen. Wetenschappelijk bewijs voor dat vermoeden was er niet, dus besloot André Koster dat zelf te produceren: data verzamelen en analyseren en op basis daarvan een voorspellend model maken. Hij onderzocht hiervoor 243 Effie-juryrapporten van wel- en niet-prijswinnende campagnes, plus aanvullend cijfermateriaal van de ingezonden cases, uitslagen van andere prijzen en online-uitingen van campagnes.  Hij  detecteerde hiermee in totaal ruim 15.000 (geanonimiseerde) getallen. Ruim voldoende om wetenschappelijke conclusies te kunnen trekken.

QNH toetst voorspelmethode

Door een multivariate regressieanalyse uit te voeren, waarin de waarde van variabelen getoetst wordt, kwam André erachter welke variabelen het verschil maken. Daarnaast hebben onze dataspecialisten, die al veel ervaring hebben met het analyseren van data en ontwikkelen van voorspelmethodes,  dezelfde dataset geanalyseerd.  Dit deden we aan de hand alternatieve, non-lineaire analysetechnieken. Wat bleek? Onze uitkomsten bleken grotendeels te matchen met de uitkomsten van André.

 ‘Dit gaf extra vertrouwen in de analyse, en we hadden direct het idee dat we dus zinvolle onderliggende patronen hadden gevonden in de data.’ – André Koster

Eind van dit jaar gaat André Koster in een wetenschappelijk tijdschrift zijn onderzoek publiceren. Daarna wil hij zijn model daarna commercieel aanwenden: campagne-ideeën benchmarken met de ruim 240 sterke campagnes.

We zijn trots dat wij met QNH een bijdrage hebben kunnen leveren aan dit onderzoek, en daarmee wellicht  een opening hebben gecreëerd voor voorspelmethodes  binnen de creatieve sector. Natuurlijk wensen we André veel succes met het verloop hiervan!

Meer lezen over André zijn onderzoek?

Het interview met André staat digitaal op Adformatie.nl of in print in de Adformatie.


Column Adformatie over Evaluad

De Evaluad methode brengt duidelijk discussies los binnen het reclamevak!

Lees hieronder de mening van columnist Harry Obdeijn en mijn reactie daar op.


http://www.adformatie.nl/opinie/wat-de-effies-met-de-maginotlinie-te-maken-hebben

 

 














Evaluad in MarketingTribune











Door beta-testing, sterkere analytics tools en het meten van directe conversie naar sales is steeds beter te herleiden wat de marketingeuro online oplevert. Maar nog wel onvoldoende. Gemiddeld over 12% van het totale budget, zo blijkt uit Nielsen-onderzoek. Hoe kunnen we nog meer zekerheid krijgen over de effectiviteit van de totale bestedingen? De mediakeuzes zijn veelal goed cijfermatig onderbouwd door betrouwbare bereikscijfers. Maar wat heb je aan een goed bereik als de impact en effectiviteit achterblijven? Onderzoeker en strateeg André Koster ontwikkelde samen met Edwin Boezeman, lecturer aan de sectie Sociale en Organisatiepsychologie van de Universiteit Leiden en John Koster, hoogleraar marketing aan Nyenrode Business Universiteit en voorzitter van Holland Consulting Group, een model dat de effectiviteit van een campagne kan voorspellen. Het zogenoemde Evaluad model is een combinatie van algoritmes gebaseerd op de data van zo’n 240 Effie-campagnes. 

Winnaarsmodel

Door middel van multivariate regressie en machinelearning werden belangrijke keuzes in de strategie, creatie en executie van campagnes gekoppeld aan harde cijfers zoals awareness, brand preference en brand consideration. De statistisch significante correlaties werden gebruikt voor de ontwikkeling van diverse algoritmes met voorspellende waarde. Daarbij werd ook gebruikgemaakt van bestaand wetenschappelijk onderzoek en eerder ontwikkelde eye-tracking algoritmes. Zo ontstaat een Winnaarsmodel waarmee je campagnes in ontwikkeling al kan benchmarken aan het model, en daarmee de succes- en faalfactoren in kaart kan brengen voordat een groot deel van budget besteed is.

Gedeelde interesse

Joost van de Loo, Strategy Director van creatief bureau Energize, was getriggerd door de innovatieve aanpak en stelde voor het Evaluad model in te zetten voor de Kom Verder-campagne van klant BLG Wonen, een hypotheekverstrekker (onderdeel van de Volksbank). Van de Loo vroeg zich af of het model een belangrijke bijdrage kan leveren in de ontwikkeling van de campagne. Het sprak het bureau aan om strategie en creatie al in de ontwikkelingsfase te benchmarken en zo eventuele kansen voor verbetering te ontdekken. Natuurlijk waren er ook bedenkingen: hoe past deze test in het creatieve proces? Gaat het ons niet te veel beperken en richting standaardoplossingen sturen? Hoe past het in de dynamiek met de klant? Vanessa Flink, marketingmanager van BLG Wonen, was vooral benieuwd hoe je de input van het model kunt gebruiken bij de allocatie van middelen in jaarplannen. Vanuit het perspectief van Koster, onderzoeker en ontwikkelaar, was de BLG Wonen campagne naar eigen zeggen ‘een geweldige kans om de theorie in praktijk te brengen en waar nodig verfijningen in het model aan te brengen.’Volgens Koster was het even puzzelen in het begin, maar uiteindelijk bleken de verschillende invalshoeken van onderzoeker, bureau en klant toch op één lijn te komen. Zo ontstond er een gedeelde interesse: Kunnen we een data-gedreven model gebruiken om een goedlopende campagne verder te verbeteren?

Over BLG Wonen en de Kom Verder campagne  

BLG Wonen is een onbekende speler op de hypotheekmarkt, ondanks het feit dat het bedrijf 60 jaar geleden startte in Limburg. Toen besloten de gemeentes Geleen, Stein, Limbricht en Munstergeleen het Bouwfonds Limburgse Gemeenten (BLG) op te richten, zodat ook mijnwerkers een huis konden kopen – ondanks hun ‘ongewone’ profiel. Deze oorsprong vind je terug in de identiteit van het merk. BLG Wonen wil de meest persoonlijke en deskundige financiële dienstverlener van Nederland zijn. Met financiële oplossingen die verder kijken dan de papieren realiteit en aansluiten op het échte leven van mensen. In de Kom Verder campagne introduceerde het merk vorig jaar de volgende belofte: Een hypotheek die je situatie begrijpt. Deze claim wordt  waargemaakt met specifieke proposities voor persoonlijke situaties, zoals: Er opeens alleen voor staan, tijdelijk contract, Verliefd op een ander, Meer ruimte nodig, ook als je huis onder water staat.

Van strategie tot executie

‘Normaal gesproken zou het model stapsgewijs - van briefing tot executie - worden ingezet, zodat je gaandeweg de ontwikkeling van een campagne steeds kan bijsturen,’ zegt Koster. ‘De Kom Verder campagne was echter al begin 2016 gestart. We hebben met deze testrit dus feitelijk een demo gedraaid alsof we middenin de campagneontwikkeling zaten. Wat feitelijk ook zo is. Energize en BLG Wonen zijn de Kom Verder campagne nog volop aan het uitbouwen, en een datamodel zoals Evaluad kan dan helpen bij het maken van keuzes.’Aan de hand van een korte checklist werden door bureau en klant gegevens over doelstellingen, concurrentie, strategie en mediakeuzes aangeleverd. Voor het creatieve deel en de executie werden conceptschetsen, key visuals, online, print, out of home-uitingen en de thematische tv commercial gescand. 

Benchmarking

Na de cijfermatige analyse en toepassing van de eye-tracking algoritmes van het model kon de balans worden opgemaakt. De eerste stap was een verkenning naar het competitieniveau in de markt en de bijbehorende doelstellingen en ambities. Koster: ‘Uit het model blijkt dat een flink deel van de hypotheekmarkt verdeeld is onder een beperkt aantal grote partijen. Dit leidt doorgaans tot een weinig beweeglijke markt. Er is echter wel veel concurrentie bij klanten die niet met hun huisbank zaken doen, dit leidt toch weer tot de nodige ambitie in de markt.’ 

Kan het nog beter?

Omdat in eerste analyse met niet definitieve designs was gewerkt  is de analyse twee keer uitgevoerd: één keer met concepten en één met de definitieve middelen. Hieruit blijkt dat het model goed reageert op de gewijzigde input: de logaritmes laten positievere scores zien voor de uiteindelijke, verbeterde layout. Koster: ‘De overall-score kwam in eerste instantie op zo’n 75% van de benchmark uit. Er was dus nog ruimte voor verbetering, al moet je wel in ogenschouw nemen dat de benchmark de beste campagnes van de afgelopen jaren zijn. Met andere woorden: 75% is al erg hoog. Eén van de verbeterpunten was al opgelost: de stopping power van de branding. Daarmee kwam de totaalscore op zo’n 85%.’ Mogelijke overgebleven verbeterpunten in de campagne liggen volgens Koster op het gebied van meer zichtbare branding in de commercial, het toevoegen van een promotionele pijler en het verder verhogen van de consistentie in copy.

Conclusies

Voor klant en bureau is de eerste ervaring met Evaluad veelbelovend. Het model blijkt in staat te zijn om een aantal verbeterpunten in de campagne op te sporen die anders wellicht over het hoofd waren gezien. Vanessa Flink: ‘Ik vind het een interessante tool. Het geeft waardevolle inzichten over de campagne en waar we kunnen tweaken.’ Verder gaf deze test ook aanleiding om het model zelf verder te optimaliseren. Joost van de Loo: ‘Het model draait op vaste aannames, maar voor samenwerking met creatie zou Evaluad iets flexibeler mogen worden. Zo geeft de data in het model een hoge score voor het strak doorvoeren van één key visual, maar bij moderne campagnes is dat misschien niet altijd de beste oplossing.’

Koster in een reactie hierop: ‘Consistentie is belangrijk, maar met die flexibiliteit gaan we zeker aan de slag. De oplossing zit hem waarschijnlijk in een verfijning van het algoritme, zodat het consistentie ook kan herkennen wanneer er verschillende thematische visuals worden gebruikt. Ook leidde de analyse van Kom Verder campagne tot een verbetering van het algoritme als het gaat om het voorspellen van awareness-groei bij merken met een relatief klein marktaandeel.’ De deelnemers aan de testrit gaan binnenkort met elkaar om de tafel. Een mogelijke vervolgstap wordt het terugkoppelen van toekomstige resultaten van de BLG campagne naar Evaluad, om zo de voorspellende kracht van het model verder te vergroten. Koster: ‘Want dat is ook een belangrijke conclusie van deze testrit: het trainen van een algoritme is nog altijd mensenwerk.’


Hieronder de belangrijkste conclusies die Evaluad bij de BLG campagne heeft opgeleverd:

Doelstellingen en ambities

De doelstellingen van de BLG Wonen campagne zijn helder en ambitieus te noemen. Qua awareness is de ambitie ongeveer gelijk aan de maximale score in het model. De awareness benchmark  (402%) ligt zo hoog omdat het model onderkent dat de awareness van BLG Wonen nu nog beperkt is. De doelstelling voor brand preference is zelfs ‘off the chart’, zo’n 35% hoger dan de benchmark in het model. De doelstelling qua marktaandeel is nog ambitieuzer. Het ambitieniveau van deze campagne ligt dus hoog. Dit is gunstig, omdat uit de analyse blijkt dat een hoog ambitieniveau positief doorwerkt in de resultaten van een campagne. Als je kijkt naar het budget, ligt de share of voice wat onder de benchmark. Ook hier geldt weer dat, in verhouding met het kleine marktaandeel, de investering door het model toch als substantieel wordt beoordeeld. Het working/non-working mediapercentage ligt keurig rond de benchmark van 85%. 

Strategie

De BLG Wonen campagne scoort maximaal op de strategie benchmark. Er zijn heldere klantinzichten, die relevant zijn voor de verschillende doelgroepen. Deze worden zo goed als één op één door vertaald in het aanbod en de key messages. De Kom Verder campagne is een duidelijke themacampagne. Het model geeft aan dat het toevoegen van een promotioneel element de campagne nog net iets sterker zou kunnen maken. De gekozen propositie ‘persoonlijk aanbod’ is een sterk element. In het model scoort deze propositie op 90% van de benchmark. Binnen de thematiek van de campagne valt hieraan weinig meer te verbeteren. 

Creatie en executie  

De stopping power van de key visual is hoog, de stopping power van de headline is voldoende, respectievelijk zo’n 80% en 68% van de benchmark. De stopping power van de branding is eveneens voldoende, ruim 60% vergeleken met de benchmark. Deze score is nog ruim voldoende voor snelle herkenning. De BLG Wonen campagne is op consistente wijze uitgevoerd, dit geldt vooral voor de branding. Er valt nog iets winst te behalen op het nog consistenter communiceren van de key visual en de key message. Het model geeft eveneens aan dat er voldoende aandacht besteed is aan internal branding. De relevantie, effectiviteit, motivatie en het energielevel van de messaging is erg goed, hier wordt steeds de benchmark van het model gehaald. De tv commercial scoort 63% op de recall & persuasion index en heeft voldoende branding elementen, die ook goed verspreid zijn over de commercial. 

Media

De mediamix is divers en scoort hiermee rond de benchmark. De online bestedingen zijn iets boven de benchmark. En iets hogere inzet van massamedia (ten koste van online) zou de kans op succes nog iets kunnen vergroten. De benchmark van het model geeft in dit geval een ideale verhouding van 15-20% van online bestedingen op het totale budget aan.

 

                  

Evaluad is eigendom van Frontier Marketeer