MMM und Budget­optimierung für Österreich

Fragestellung

Die Frage ist jene, die jedes werbetreibende Unternehmen an seinen Mediaplan stellt: Welche Kanäle haben inkrementell beigetragen, wie weit lagen die von den Plattformen ausgewiesenen Zahlen daneben, und was bringt es tatsächlich, dasselbe Budget umzuschichten? Die Vergleichseinheit ist der Deckungsbeitrag, nicht der Umsatz. Ein Kanal, dessen Return on Ad Spend (ROAS, Umsatz je eingesetztem Werbe-Euro) unter dem Breakeven-ROAS (der Gewinnschwelle) liegt, vernichtet Marge, wie hoch sein ausgewiesener Umsatz auch erscheint.

Daten

„Für Österreich“ im Titel bezeichnet das Umfeld, für das das Modell gebaut ist, nicht die Daten dahinter: Wochenraster, der österreichische Feiertagskalender als Kontrollvariable, Euro und eine Logik auf Basis des Deckungsbeitrags. Es wurden keine Daten österreichischer Kunden verwendet. Das Modell läuft in drei Layern (Ebenen), und der erste muss bestehen, bevor der zweite zählt:

• Layer P, ein generiertes werbetreibendes Unternehmen mit offengelegten wahren Parametern: 156 Wochen, fünf Kanäle (TV, Radio, Print, Paid Search und Paid Social, also bezahlte Such- und Social-Media-Werbung).
• Layer R, Metas öffentliche Robyn-Demodatei (MIT-Lizenz): simulierte Wochendaten für fünf benannte Kanäle, Umsatz in den eigenen Geldeinheiten der Datei, Umsätze der Mitbewerber als Kontrollvariable.
• Layer D, die A-posteriori-Verteilung (Posterior) aus Layer R, übergeben an einen Budgetoptimierer unter einer schriftlich festgelegten Entscheidungsregel.

Die Priors (A-priori-Verteilungen) sind schwach informativ und für alle Kanäle gleich, damit die Schätzungen aus den Daten kommen und nicht aus einer Annahme, die die Antwort schon kennt.

Methode

Die Validierung kommt vor jeder Entscheidung; die Schritte laufen daher in dieser Reihenfolge:

1. Das Modell wird in PyMC angepasst und mit NUTS (No-U-Turn Sampler; nutpie) gesampelt: zwei Ketten mit je 1.000 Tuning-Schritten und 1.000 Ziehungen, Ziel-Akzeptanzrate 0,9, nach Divergenzen über eine protokollierte Stufenfolge angehoben (die berichteten Anpassungen liefen mit 0,95 und 2.000 Ziehungen je Kette).
2. Ein Fit zählt nur bei einem R-hat unter 1,01, einer effektiven Stichprobengröße über 400 und null Divergenzen. Jeder Fit legt diese Diagnosewerte neben sich ab.
3. Auf Layer P muss der Sampler die Wahrheit wiederherstellen, die ihm vorgegeben wurde, und die plattformartige Attribution wird an derselben Wahrheit gemessen.
4. Das Modell wird auf beiden Layern an einem Holdout (zurückgehaltener Testzeitraum) von 26 Wochen gegen zwei Vergleichsmodelle geprüft: eine Ridge-Regression und eine saisonal naive Prognose.
5. Die Posterior aus Layer R geht an den Optimierer, unter einer Entscheidungsregel, die vor seinem Lauf festgelegt wird; der Umverteilungsgewinn wird über 500 Posterior-Ziehungen gelesen.

Ergebnis

Validierung auf Layer P

Der Sampler muss die Wahrheit wiederherstellen, die ihm vorgegeben wurde. Die Kurvenabdeckung beträgt 91 % (die wahren Reaktionskurven innerhalb des Posterior-Bands, über den beobachteten Ausgabenbereich), und 26 von 28 wahren Parameterwerten liegen innerhalb ihrer Intervalle zu 90 %. Die Abweichungen folgen einem bekannten Zielkonflikt, nicht einem Fehler: Alle fünf Effektgrößen und alle fünf Halbsättigungspunkte haben Mediane über der Wahrheit, weil eine Kurve, die höher steigt, aber später sättigt, dieselben Wochen erklärt. Die Wiederherstellung wird daher an Kurven und Anteilen beurteilt, also an dem, was eine Budgetentscheidung verwendet.

An derselben Wahrheit gemessen, rechnet der plattformartige Bericht Paid Search 45 % zu viel zu (von der Plattform ausgewiesener gegenüber wahrem inkrementellem Umsatz) und den Offline-Kanälen gar nichts.

Umverteilung auf Layer R

Auf dem öffentlichen Datensatz bringt dasselbe gesamte Wochenbudget, nach der Entscheidungsregel umverteilt, im Median 15,1 % des derzeitigen Deckungsbeitrags der Medien. Das 10. Perzentil liegt bei 8,8 %, und keine der 500 verwendeten Posterior-Ziehungen zeigt einen Verlust.

Wochenausgaben je Kanal, derzeit und laut Empfehlung, in den Geldeinheiten des Datensatzes:

Der marginale ROAS, den die Regel prüft, bei den derzeitigen Ausgaben: der Median und das Intervall zu 90 %, dessen Untergrenze das Breakeven-Kriterium liest.

Das Breakeven-Kriterium ist es, das Print und Search auf dem derzeitigen Niveau hält. Ihre Mediane sind hoch, aber die Untergrenzen ihrer Intervalle liegen unter 2,50, daher wird kein Budget zu ihnen verschoben. Bei der Außenwerbung liegt das gesamte Intervall unter 2,50. Die Beträge sind in den eigenen Geldeinheiten des Datensatzes angegeben, nicht in Euro; Anteile, ROAS-Verhältnisse und die Breakeven-Prüfung sind die Größen, die sich übertragen lassen.

Holdout

Auf einem Holdout von 26 Wochen gegen zwei Vergleichsmodelle hatte das Modell auf Layer P den geringsten mittleren absoluten prozentualen Fehler (MAPE): 3,0 %, gegenüber 4,7 % für die Ridge-Regression und 9,6 % für eine saisonal naive Prognose. Auf Layer R unterlag es mit 7,9 % gegenüber 5,1 % für die Ridge-Regression. Das wird so berichtet, wie es ausgefallen ist. Das Argument für das MMM ist, dass es mit Intervallen angibt, welcher Kanal den Umsatz erwirtschaftet hat; das können die Vergleichsmodelle nicht. Auf Layer P lagen 85 % der Holdout-Wochen innerhalb seiner Intervalle zu 90 %: etwas zu eng, das Modell ist also etwas zu selbstsicher.

Grenzen

Was diese Arbeit nicht belegt:

• Echte Daten eines Werbetreibenden. Layer R ist ein simulierter öffentlicher Datensatz in nicht benannten Geldeinheiten. Der Austausch gegen echte Daten eines werbetreibenden Unternehmens ist geplant, nicht erfolgt.
• Die Modellform. Eine einzige Modellform wird angenommen (geometrischer Adstock, Hill-Sättigung, additive Basislinie). Die Wiederherstellung auf Layer P zeigt, dass der Sampler diese Form wiederfindet, nicht, dass die Wirklichkeit sie hat.
• Kanäle, die sich gemeinsam bewegen. Wöchentliche nationale Daten können Kanäle, deren Ausgaben sich gemeinsam bewegen, nicht trennen; die Intervalle werden entsprechend breiter.
• Verhalten bei neuen Ausgabenniveaus. Der Optimierer nimmt an, dass die Reaktionskurven bei neuen Ausgabenniveaus gelten und dass Mitbewerber nicht reagieren.

Entscheidung

Nach der schriftlich festgelegten Regel wird Budget zu TV und Facebook verschoben und von der Außenwerbung abgezogen; Print und Search bleiben unverändert, denn zu einem Kanal, dessen Intervall-Untergrenze unter dem Breakeven-ROAS von 2,50 liegt, wird kein Budget verschoben. Die Entscheidung beruht auf einem simulierten öffentlichen Datensatz in nicht benannten Geldeinheiten; der Austausch gegen echte Daten eines werbetreibenden Unternehmens ist geplant, nicht erfolgt.

Code, Berichte und das Entscheidungsmemo liegen im Repository. Die Zahlen in seiner README werden aus den Berichtsdateien erzeugt, und ein Test prüft, dass beide übereinstimmen.

Entstehung

47 Commits und 10 gemergte Pull-Requests an 8 Tagen zwischen 4. Aug. 2026 und 27. Okt. 2026. Merge-Commits und Bots sind nicht gezählt; Zeiten in Wiener Zeit.

#marketing#media-mix-modelling#budgetoptimierung