Armazenamento de dados históricos: o custo real de reproduzir um ano

Unidades de armazenamento em servidores usadas para armazenar e reproduzir dados históricos de mercado
Photo by Marta Branco on Pexels

Em quase toda configuração de trading, o histórico de mercado de um ano parece um problema de armazenamento até alguém tentar reproduzi-lo. Os arquivos comprimidos cabem no disco, mas um teste de estratégia, uma análise de incidente ou uma verificação de migração leva dias, porque a análise, a descompressão e o processamento de eventos não acompanham a velocidade de leitura. O custo de armazenamento e o custo de replay são orçamentos separados. Uma estimativa útil precisa considerar ambos.

Defina o que o arquivo contém

"Dados históricos" podem significar mensagens de mercado por ordem da bolsa, atualizações do top of book, preços de broker, eventos de ordens e execuções ou barras derivadas. Esses dados não são intercambiáveis. Um arquivo de barras é compacto e rápido para consultar, mas não consegue reproduzir mudanças na fila nem a sequência exata de cotações e negócios. Um arquivo de ticks preserva mais detalhes, a um custo maior de armazenamento e processamento.

Registre o contrato de dados antes de dimensionar qualquer coisa: bolsas e instrumentos, nível de profundidade, tipos de mensagem, timestamps, números de sequência, correções e calendário de sessões. Mantenha as mensagens brutas do fornecedor ou da bolsa quando a licença permitir e armazene separadamente os registros normalizados ou as visualizações derivadas. Se apenas a forma normalizada for preservada, uma mudança no parser pode dificultar a interpretação ou reconstrução de arquivos antigos.

Separe também os dados de mercado dos logs internos de eventos. Transições de estado de ordens, decisões de risco, rejeições e relatórios de execução podem ser menores que um feed movimentado de dados de profundidade, mas são essenciais para reconstruir o que o sistema sabia e em que momento. Verifique separadamente as regras de retenção, os controles de acesso e as regras de exclusão para cada classe.

Estime o volume anual e as cópias retidas

Os números abaixo são faixas típicas de mercado, não garantias de capacidade. Eles consideram dados comprimidos, retenção de um ano e o escopo indicado. O volume real depende da atividade da bolsa, da seleção de símbolos, da profundidade, da codificação e da manutenção de snapshots ou canais redundantes.

Carga de trabalho e escopo indicativoVolume anual comprimido típicoCapacidade com duas cópias retidas
Barras de um minuto, 500 símbolos2-20 GB4-40 GB
Top of book, 100 instrumentos líquidos0.1-1.5 TB0.2-3 TB
Profundidade completa, 10 contratos futuros líquidos1-15 TB2-30 TB
Eventos do ciclo de vida de ordens e de auditoria, 10,000 contas ativas0.2-3 TB0.4-6 TB

Use bytes medidos por sessão, não um único dia de pico multiplicado por 252. Colete dados de pelo menos 20 sessões representativas, incluindo dias voláteis e rolagens de contratos.

Multiplique o volume comprimido diário médio pelos dias efetivos de trading e, em seguida, acrescente snapshots, índices, versões de esquema e quaisquer eventos fora do horário de negociação. Mantenha uma estimativa separada de pico de capacidade para o planejamento.

A replicação altera a conta. As tarifas típicas de armazenamento de objetos hot ficam em torno de $15-30 por TB por mês, enquanto as camadas de arquivamento podem custar cerca de $1-5, antes das cobranças de recuperação, solicitações e rede.

Com 12 TB de dados anuais lógicos e duas cópias, 24 TB às tarifas hot implicam cerca de $360-720 por mês com a capacidade total ocupada. Se os dados chegarem de maneira uniforme ao longo do ano, o volume médio armazenado no primeiro ano será menor; a projeção de custo no fim do ano é a referência mais segura para um arquivo completo. Armazenamento NVMe ou em bloco costuma custar mais, mas pode permitir replays frequentes.

Calcule o custo do caminho de replay, não apenas do disco

O tempo de replay depende da taxa de eventos e do processamento, não apenas do tamanho dos arquivos. Um primeiro cálculo útil é dividir os bytes armazenados pela largura de banda de leitura sustentada. Para 12 TB, ler o arquivo comprimido em 24 horas exige uma entrada efetiva de cerca de 139 MB/s.

Esse é apenas o limite mínimo do armazenamento. Descompressão, decodificação, ordenação de timestamps, callbacks da estratégia e gravações nos armazenamentos de resultados também consomem capacidade.

Expresse a meta como tempo de mercado simulado por tempo de relógio. Reproduzir um ano-calendário em um dia significa cerca de 365 vezes o tempo real.

Em uma semana, são cerca de 52 vezes. Um leitor de feed isolado pode alcançar essas velocidades, mas uma estratégia realista, verificações de risco de portfólio ou a sincronização entre várias bolsas talvez não. O paralelismo só ajuda quando o teste pode ser dividido sem alterar a ordem dos eventos ou o estado compartilhado.

"Um benchmark de disco não é um benchmark de replay. Meça todo o caminho de eventos."

Meça pelo menos estes indicadores na mesma execução:

  • Bytes comprimidos lidos e bytes descomprimidos produzidos por segundo.
  • Mensagens decodificadas por segundo, separadas por tipo de mensagem e instrumento.
  • Uso de CPU, pressão de memória, profundidade da fila e tempo de espera do armazenamento.
  • Tempo simulado avançado por minuto de relógio, além de eventos descartados ou atrasados.
  • Gravações de resultados, tempo de checkpoint e tempo de espera por serviços subsequentes.

Informe as taxas medianas e do percentil 95, não apenas a execução mais rápida. Uma sessão tranquila pode ocultar um gargalo que aparece durante um pico de atualizações de cotações ou um grande leilão de abertura. Para informações mais amplas sobre infraestrutura e contexto de plataformas, consulte Trading Technology.

Crie um benchmark reproduzível

Faça o benchmark do formato exato do arquivo e da configuração de replay usados em produção. Inclua o código da estratégia ou do consumidor, as regras de risco, a camada de normalização e as gravações de saída.

Execute uma vez com o cache aquecido e outra pelo caminho de armazenamento a frio previsto. Registre se o teste usa um host, um cluster ou um serviço de armazenamento compartilhado. Sem esses detalhes, é difícil comparar ou reproduzir uma "velocidade de replay" informada.

  1. Escolha uma semana representativa, com sessões comuns e pelo menos uma sessão de alto volume.
  2. Faça o replay em 1x, 10x e na taxa desejada, usando código e configuração idênticos.
  3. Repita com o número esperado de tarefas simultâneas para identificar contenção.
  4. Registre contagens de eventos, bytes, tempo de CPU, tempo decorrido, erros e volume de saída.
  5. Repita após uma mudança de software ou esquema e compare os mesmos indicadores.

Use a taxa observada para estimar o ano completo e, em seguida, acrescente uma margem operacional para aquecimento, checkpoints e tarefas com falha. Se uma semana representativa contiver 5 per cent dos eventos anuais, o tempo de processamento medido pode ser projetado com base na contagem de mensagens, mas valide a estimativa com uma segunda amostra, mais movimentada. Inclua o custo do espaço de trabalho temporário: as tarefas de replay podem precisar de dados decodificados, índices e resultados além do arquivo.

Faça o orçamento refletir o uso

Mantenha os dados reproduzidos com frequência em uma camada de baixa latência e transfira sessões antigas, acessadas raramente, para um armazenamento mais barato somente depois de testar o tempo e as tarifas de recuperação. Uma arquitetura comum combina uma janela recente em armazenamento hot, um arquivo em armazenamento de objetos e uma segunda cópia em um domínio de falha separado. Não considere réplicas como proteção independente se elas compartilharem credenciais, uma região ou um caminho de exclusão.

Acompanhe quatro orçamentos separadamente: bytes retidos, recuperação e saída de dados, horas de processamento e tempo de operação. Defina um custo por sessão reproduzida e por replay de um ano completo e compare-o com o uso real. Se um teste de um ano completo for executado duas vezes por mês, otimizar o parser pode gerar uma economia maior do que transferir o arquivo para uma camada que acrescente várias horas de atraso na recuperação. Se for executado uma vez por ano, a camada mais barata pode ser adequada.

Revise as medições depois de adicionar bolsas, aumentar a profundidade ou mudar a compressão. O erro que a maioria dos leitores ainda cometerá depois de ler este artigo é fazer o orçamento apenas com base nos bytes comprimidos, em vez de usar a taxa de replay medida e as cópias retidas.

Perguntas frequentes

Quanto armazenamento é necessário para um ano de dados de ticks?

Depende dos instrumentos, da atividade da bolsa, da profundidade e da codificação. As faixas típicas de dados comprimidos podem variar de cerca de 0.1-1.5 TB para dados do top of book de 100 instrumentos líquidos a 1-15 TB para dados de profundidade completa de 10 contratos futuros líquidos.

Como calculo o custo de reproduzir um ano de dados de mercado?

Meça os bytes e as mensagens processados por segundo com o caminho de replay de produção, incluindo descompressão, lógica da estratégia e gravações de saída. Divida a contagem de mensagens do ano completo pela taxa sustentada medida e, em seguida, acrescente os custos de processamento, recuperação de armazenamento, saída de dados e espaço de trabalho temporário.

O que significa reproduzir um ano a 100x?

Significa que o replay avança pelo tempo de mercado simulado 100 vezes mais rápido que o tempo real. Um ano-calendário de dados levaria cerca de 3.65 dias a 100x, antes de considerar inicialização, checkpoints ou outros custos adicionais.

O armazenamento de objetos é adequado para dados históricos de mercado?

Pode ser adequado para arquivos acessados com pouca frequência, desde que a latência de recuperação, as tarifas por solicitação e os custos de saída de dados sejam compatíveis com o uso. Faça um benchmark de um replay real na camada escolhida antes de transferir dados que as equipes de operações ou research precisam acessar rapidamente.

Os dados de mercado e os logs de auditoria de ordens devem ter a mesma política de retenção?

Não necessariamente. Dados de mercado, eventos de estado de ordens e registros de execução têm requisitos diferentes de replay, compliance e acesso. Defina regras de retenção e exclusão para cada classe, preservando os timestamps e identificadores necessários para correlacioná-las.