Backtesting-Software wurde entwickelt, um zu simulieren, wie gut eine bestimmte Handelsstrategie in einem bestimmten vorherigen Zeitraum funktioniert hätte. Die Idee ist, einen Einblick zu geben, wie gut dieselbe Strategie in Zukunft funktionieren würde, obwohl dies per Definition nur eine Vorhersage sein kann. Zu den Schlüsseln bei der Auswahl der richtigen Backtesting-Software gehören die Vermeidung von postdiktiven Fehlern, die Suche nach Anpassungsoptionen und die Vermeidung von Software, die von denselben Leuten hergestellt wird, die ein Handelssystem verkaufen.
Die grundlegendste Regel bei der Auswahl von Backtesting-Software ist die Verwendung von Paketen, die es Ihnen ermöglichen, ausschließlich Daten zu verwenden, die zu diesem Zeitpunkt verfügbar gewesen wären. Wird dies nicht getan, entsteht ein statistisches Problem, das als postdiktiver Fehler bekannt ist, was bedeutet, dass die Analyse nicht widerspiegelt, wie ein Händler tatsächlich Entscheidungen bei der Umsetzung einer Strategie getroffen hätte. Ein Beispiel hierfür wäre, wenn die Software nur mit Schlusskursen arbeiten würde; Dies ist keine realistische Situation, denn zu dem Zeitpunkt, an dem der Preis für den hypothetischen Händler verfügbar war, um eine Entscheidung zu treffen, hätte der Markt geschlossen!
Der genaueste Weg, um postdiktive Fehler zu vermeiden, besteht darin, das Backtesting vollständig manuell durchzuführen. Da dies in der Regel praktisch nicht effizient ist, ist es wichtig, eine Software zu verwenden, die so viele Anpassungen wie möglich ermöglicht. Im Allgemeinen gilt: Je automatisierter und starrer die Software, desto wahrscheinlicher ist es, dass sie postdiktive Fehler enthält.
Eine weitere nützliche Möglichkeit, Backtesting-Software zu verwenden, besteht darin, nach Anwendungen zu suchen, die es einfach machen, die Analyse mit einer geänderten Variablen erneut auszuführen. Ein Händler könnte beispielsweise eine Strategie planen, die den Verkauf von Aktien beinhaltet, die 35 % ihres Wertes verloren haben. Eine gute Anwendung wird in der Lage sein, schnell zu zeigen, welcher Unterschied zu den Ergebnissen gemacht worden wäre, wenn der Händler stattdessen Aktien verkauft hätte, die 50% ihres Wertes verloren haben. Neben dem Testen, ob die Grundlagen einer Strategie solide erscheinen, erleichtert diese Anpassung es auch, eine Strategie an den Grenzen der menschlichen Natur zu testen. Während ein Trader glauben mag, dass der Rückgang um 35 % „objektiv“ der beste Zeitpunkt ist, um zu verkaufen, könnte er erkennen, dass er versucht wäre, die Aktie weiter fallen zu lassen, in der Hoffnung auf eine Erholung, einfach weil es schwer sein kann, eine Niederlage einzugestehen.
Händler sollten besonders vorsichtig mit Backtesting-Software sein, die von einem Unternehmen hergestellt wird, das auch Ratschläge zum zu verwendenden Handelssystem verkauft. Dies liegt zum Teil daran, dass solche Unternehmen versucht sind, ein Backtesting-Setup zu verwenden, das speziell darauf ausgelegt ist, zu zeigen, dass ihr System gut funktioniert. Aber selbst wenn Unternehmen nicht so zynisch agieren, kann es sein, dass die Einschränkungen der von ihnen verwendeten Backtesting-Software die Wahl der empfohlenen Handelsstrategie beeinflusst haben.