Existem três abordagens principais para estratégias de backtesting: usando dados de preços reais divididos em três grupos; bootstrap, que usa dados de preços reais, mas os reamostra; e simulação de Monte Carlo. Existem questões teóricas que dividem os criadores de sistemas sobre qual método é o melhor. O que é importante para o trader é que ele empregue corretamente pelo menos uma das estratégias de backtesting em seu sistema antes de confiar seu capital de negociação a ele. Uma questão crítica na escolha de uma estratégia de backtesting é o número de negociações geradas; pelo menos 1,000 negociações são necessárias em cada fase do trabalho do integrador do sistema.
Usar dados de preços reais, divididos em três partes, é o ponto de partida usual para a maioria dos integradores de sistemas. O sistema é criado usando o primeiro terço dos dados. Neste ponto, o construtor encontrou algoritmos que parecem gerar lucro suficiente com risco pequeno o suficiente para oferecer boas perspectivas. O segundo terço dos dados é usado para otimizar o sistema.
Depois que o sistema for otimizado, ele será aplicado ao terço restante dos dados. Isso é chamado de teste fora da amostra e é onde a maioria dos sistemas falha. Se o sistema ainda tiver bons resultados em pelo menos 1,000 negociações, o integrador do sistema tem um sistema viável. Se o sistema gerar menos de 1,000 negociações no teste fora da amostra, o construtor deve considerar outra estratégia de backtesting.
Bootstrapping é um método de extrair alguns dados do conjunto total, testar, colocar os dados de volta e extrair mais dados, ou reamostrar e testar novamente. O número ideal de reamostragens é nn, ou n elevado à enésima potência, onde n é o número de dados na amostra original. Para um comerciante que provavelmente está lidando com pelo menos 2,500 pontos de dados – 250 dias por ano durante 10 anos – isso não é prático. Felizmente, 100 reamostragens fornecerão um alto nível de confiança de que a amostra bootstrap espelhará os dados originais, tornando os resultados confiáveis. Se a obtenção de 100 reamostragens não fornecer as 1,000 negociações necessárias, o trader precisa continuar a reamostragem até que a meta seja alcançada se ele espera que o sistema, ao invés de apenas a reamostragem dos dados, seja confiável.
O último método de estratégias de backtesting é a simulação de Monte Carlo (MC). Este método usa um computador para gerar dados simulados e o sistema é então testado nesses dados. A vantagem da simulação MC é que se pode criar quantidades ilimitadas de dados, permitindo gerar 10,000 negócios ou qualquer outro número de negócios. Outra vantagem é que cada novo conjunto de dados está fora da amostra. Isso oferece a oportunidade de executar repetidas otimizações e testes; simplesmente otimize esse conjunto de dados e, em seguida, aplique esses parâmetros do sistema aos próximos dados que o computador gerar.
Uma desvantagem da simulação MC é que os dados podem não ter exatamente a mesma função de distribuição de probabilidade que os dados comerciais têm, o que pode distorcer os resultados. No melhor dos mundos possíveis, todas as três estratégias de backtesting devem ser usadas no processo de verificação do sistema. O sucesso em todos os três deve oferecer uma probabilidade muito alta de sucesso nas negociações do mundo real.