7 typische Backtesting-Fehler, die deine Ergebnisse ruinieren
Die häufigsten Backtesting-Fehler sind Overfitting, Survivorship Bias, ignorierte Transaktionskosten, Look-Ahead Bias, zu kleine Stichproben, Curve Fitting und Tests in nur einem Marktregime. Beschränke Strategien auf höchstens 2-4 Parameter, strebe mindestens 100 Trades an und decke mindestens zwei vollständige Marktzyklen ab.
Ein Backtest kann dir alles erzählen, was du hören willst. Der Unterschied zwischen einem nützlichen und einem irreführenden Backtest liegt in der Methodik. Diese sieben Fehler stecken hinter den meisten Strategien, die auf dem Papier spektakulär aussehen und in dem Moment zerfallen, in dem echtes Geld auf dem Spiel steht.
1. Overfitting an historische Daten
Overfitting (Überanpassung) ist der häufigste und gefährlichste Backtesting-Fehler. Er tritt auf, wenn deine Strategie zu viele Parameter oder Regeln hat, die perfekt auf historische Daten abgestimmt sind, aber keinerlei Vorhersagekraft für die Zukunft besitzen. Eine Strategie mit 10 einstellbaren Parametern lässt sich an fast jede Preisreihe anpassen – und sie zeigt außergewöhnliche Backtest-Renditen, die völlig bedeutungslos sind.
So vermeidest du ihn: Halte Strategien einfach. Eine robuste Strategie sollte höchstens 2-4 Parameter haben. Teste die Parameterstabilität – wenn eine Änderung eines Parameters um 20% die Ergebnisse zerstört, liegt Overfitting vor. Nutze die Walk-Forward-Analyse: Optimiere auf einem Zeitraum, teste auf dem nächsten und wiederhole das. Ist die Out-of-Sample-Performance dramatisch schlechter als die In-Sample-Performance, liegt Overfitting vor.
2. Survivorship Bias
Survivorship Bias (Überlebensirrtum) entsteht, wenn dein Datensatz nur Assets enthält, die heute noch existieren, und solche ausschließt, die delistet wurden, pleitegingen oder übernommen wurden. Wenn du eine Aktienauswahl-Strategie auf den aktuellen Mitgliedern des S&P 500 über 20 Jahre zurück testest, testest du nur Unternehmen, die überlebt haben – eine verzerrte Stichprobe, durch die jede Strategie besser aussieht, als sie tatsächlich ist.
So vermeidest du ihn: Verwende Daten ohne Survivorship Bias, die auch delistete Wertpapiere enthalten. Wenn solche Daten nicht verfügbar sind, weise in deinen Ergebnissen zumindest auf diese Einschränkung hin. Der Effekt ist am stärksten bei Strategien, die minderwertige oder notleidende Aktien kaufen, bei denen die Wahrscheinlichkeit eines Delistings am höchsten ist. Bei Strategien auf Indexebene (Backtesting auf SPY, QQQ) ist der Survivorship Bias minimal, weil der Index selbst regelmäßig neu zusammengesetzt wird.
3. Transaktionskosten ignorieren
Eine Strategie, die häufig handelt, kann ohne Transaktionskosten hochprofitabel und mit realistischen Kosten tief unprofitabel aussehen. Zu den Transaktionskosten gehören Kommissionen (für Privatanleger oft nahe null, bei institutionellen Größenordnungen aber weiterhin relevant), der Bid-Ask-Spread (die versteckten Kosten, die die meisten Einsteiger übersehen), Slippage (die Differenz zwischen deinem beabsichtigten Preis und der tatsächlichen Ausführung) und der Market Impact (relevant bei größeren Positionen).
So vermeidest du es: Berücksichtige in deinem Backtest immer Transaktionskosten. Für US-Aktien setze mindestens 0.05% pro Seite bei liquiden Large Caps und 0.2-0.5% bei Small Caps an. Bei Krypto sind 0.1% pro Seite für Taker-Orders an großen Börsen realistisch. Führe eine Sensitivitätsanalyse durch: Wenn deine Strategie unprofitabel wird, sobald du die angenommenen Transaktionskosten verdoppelst, ist der Edge zu dünn, um ihn sicher zu handeln.
4. Look-Ahead Bias
Look-Ahead Bias (Vorausschau-Verzerrung) entsteht, wenn deine Strategie Informationen nutzt, die zum Zeitpunkt der Handelsentscheidung noch nicht verfügbar gewesen wären. Die häufigste Form: Man nutzt den Schlusskurs einer Kerze, um ein Signal zu erzeugen, und führt dann zu genau diesem Schlusskurs aus – in Wirklichkeit kennst du den Schlusskurs erst, nachdem die Kerze geschlossen hat, und kannst dann nur noch zur Eröffnung der nächsten Kerze ausführen.
So vermeidest du ihn: Führe Signale immer auf der Kerze nach ihrer Entstehung aus. Verwende Point-in-Time-Daten für fundamentale Faktoren – Gewinne, die nach Börsenschluss gemeldet werden, sollten deiner Strategie erst am nächsten Handelstag zur Verfügung stehen. Sei besonders vorsichtig mit bereinigten Kursen: Split- und dividendenbereinigte Reihen werden rückwirkend neu berechnet, was auf subtile Weise Look-Ahead Bias einführen kann. Ausführlicher behandelt das unser ausführlicher Leitfaden zum Look-Ahead Bias.
5. Zu kleine Stichprobe
Eine Strategie, die in 5 Jahren 12 Trades mit 75% Trefferquote erzeugt hat, ist statistisch nicht aussagekräftig. Bei nur 12 Beobachtungen ist das Konfidenzintervall um diese Trefferquote so breit, dass die wahre Trefferquote leicht irgendwo zwischen 45% und 95% liegen könnte. Verlässliche Schlüsse kannst du daraus nicht ziehen.
So vermeidest du es: Strebe mindestens 100 Trades in deinem Backtest an. Wenn deine Strategie selten handelt, verlängere entweder den Zeitraum, teste über mehrere Assets hinweg (achte dabei auf Korrelationen) oder nutze einen kürzeren Timeframe. Gib Konfidenzintervalle zusammen mit den Punktschätzungen an – eine Sharpe Ratio von 1.2 mit einem 95%-Konfidenzintervall von [0.4, 2.0] erzählt eine ganz andere Geschichte als 1.2 mit einem Intervall von [1.0, 1.4].
6. Curve Fitting
Curve Fitting ist ein enger Verwandter des Overfittings, wirkt aber auf einer anderen Ebene. Während es beim Overfitting um zu viele Parameter in einer einzelnen Strategie geht, geht es beim Curve Fitting darum, zu viele Strategien auf denselben Daten zu testen und die beste auszuwählen. Wenn du 100 verschiedene Strategien testest und die beste berichtest, ist der Gewinner mit 99% Wahrscheinlichkeit ein statistisches Artefakt und kein echter Edge.
So vermeidest du es: Beginne mit einer Hypothese, die in der Marktmikrostruktur oder der Behavioral Finance verankert ist, und teste sie dann – beginne nicht damit, Daten nach Mustern zu durchwühlen. Wenn du mehrere Strategien testest, wende eine Korrektur für multiples Testen an, um deine Signifikanzschwellen anzupassen. Die Bonferroni-Korrektur teilt dein Alpha durch die Anzahl der Tests: Wenn du 20 Strategien testest, brauchst du einen p-Wert unter 0.0025 (nicht 0.05), um Signifikanz zu beanspruchen.
7. Keine Tests über verschiedene Marktregime
Viele Strategien sind regimeabhängig: Sie funktionieren in Bullenmärkten, versagen aber in Bärenmärkten, oder sie funktionieren bei niedriger Volatilität und brechen ein, wenn die Volatilität sprunghaft steigt. Wenn dein Backtest-Zeitraum nur ein einziges Regime abdeckt (z. B. 2012-2021, ein nahezu ununterbrochener Bullenmarkt), lassen sich deine Ergebnisse nicht verallgemeinern.
So vermeidest du es: Stelle sicher, dass dein Backtest mindestens zwei vollständige Marktzyklen abdeckt – einen Bullenmarkt, einen Bärenmarkt und idealerweise eine Seitwärtsphase. Schlüssele deine Ergebnisse nach Jahren oder Regimen auf und prüfe, ob die Strategie in den schlechtesten Phasen Geld verdient (oder zumindest nicht katastrophal verloren) hat. Eine Strategie mit einer Sharpe Ratio von 1.5, die im Crash 2020 50% verloren hat, ist nicht dasselbe wie eine mit einer Sharpe Ratio von 1.2, die nur einen Drawdown von 15% hatte. Die aggregierte Kennzahl verbirgt entscheidende Informationen über das Tail Risk.
Probier es selbst
Am besten verinnerlichst du diese Fehler, wenn du ihnen selbst begegnest. Mit QuantPrompt kannst du Strategien schnell testen und sehen, wie empfindlich die Ergebnisse auf Transaktionskosten, Parameterwahl und Zeiträume reagieren. Teste dieselbe Strategie einmal auf 2015-2019 (Bullenmarkt), auf 2020-2022 (volatil) und auf 2023-2024 – wenn die Ergebnisse stark voneinander abweichen, hast du eine regimeabhängige Strategie, die weitere Arbeit braucht.
Beschreibe deine Strategie in einfacher Sprache, erhalte sofort Ergebnisse und iteriere. Das Ziel ist nicht, einen perfekten Backtest zu finden – sondern eine Strategie, die robust genug ist, um die Fehler zu überstehen, vor denen dieser Leitfaden warnt.
Häufige Fragen
Quellen
- Brown, S. J., Goetzmann, W., Ibbotson, R. G. & Ross, S. A. (1992). Survivorship Bias in Performance Studies. The Review of Financial Studies.
- Bailey, D. H., Borwein, J. M., López de Prado, M. & Zhu, Q. J. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the American Mathematical Society.
- Harvey, C. R., Liu, Y. & Zhu, H. (2016). ... and the Cross-Section of Expected Returns. The Review of Financial Studies.
- Novy-Marx, R. & Velikov, M. (2016). A Taxonomy of Anomalies and Their Trading Costs. The Review of Financial Studies.