Armazenar dados históricos encarece um ano de replay

Racks de servidores que representam o armazenamento de dados históricos e a reprodução de um ano de dados de trading
Photo by panumas nikhomkhai on Pexels

Dados históricos de mercado não são baratos só porque o armazenamento de objetos é barato.

Para um broker, os arquivos armazenados são apenas uma parte da conta. Os eventos de cotações e negócios de um ano precisam ser capturados, normalizados, indexados e retidos com contexto suficiente para reproduzir o que a plataforma viu.

Depois, alguém precisa executar os dados novamente por serviços que podem incluir precificação, risco, roteamento de ordens e execução. Esses trabalhos têm perfis de custo muito diferentes.

Considere um broker mult ativos representativo que processa cerca de 120 GB de eventos brutos de mercado por dia. Esse é um exemplo para planejamento, não um resultado auditado de uma empresa específica. Com aproximadamente 1.2 billion registros por dia e tamanho médio de registro próximo de 100 bytes, é uma carga de trabalho plausível para uma plataforma que captura atualizações frequentes de cotações em FX, metais, índices e algumas ações.

Comece pelo que a plataforma precisa capturar

Os arquivos de dados de mercado muitas vezes crescem porque as equipes retêm mais do que o preço e o horário necessários para um gráfico. Uma reprodução que precisa recriar uma decisão também pode exigir o mercado de origem, o mapeamento do instrumento, o número de sequência, os tamanhos de compra e venda, o status do feed, a versão da normalização e o relógio usado pelo serviço consumidor.

Separe os fluxos antes de estimar o armazenamento. Um inventário funcional costuma distinguir:

  • Mensagens brutas do feed, retidas como recebidas para investigações do feed e mudanças no parser.
  • Eventos normalizados de cotações e negócios, usados em replay e research de dados de mercado.
  • Eventos da plataforma, como solicitações de ordens, decisões de risco, rejeições e execuções, armazenados com identificadores de correlação.
  • Dados de configuração e referência, incluindo definições de símbolos, sessões de trading e precisão de preços.

Os dois últimos grupos são menores do que o arquivo de cotações em muitos sistemas, mas podem ser essenciais para que o replay faça sentido. Uma série de preços sem o mapeamento de instrumentos ou o calendário de sessões pode parecer completa e ainda assim produzir um resultado diferente do sistema ao vivo.

Para acompanhar operacionalmente as plataformas de brokers e suas dependências, a cobertura de infraestrutura da Trading Technology é um recurso útil para consultar junto com os runbooks internos.

Calcule o custo de um ano armazenado

A 120 GB por dia, 365 dias de dados brutos somam cerca de 44 TB. Uma compressão de 2.5:1 reduz o arquivo normalizado para cerca de 17.5 TB, dependendo da codificação, da repetição de campos e do uso de formato colunar. Manter também uma cópia bruta aumenta o volume retido. A replicação em duas regiões dobra o volume faturável, antes de índices, manifestos e saídas temporárias de replay.

A tabela apresenta faixas típicas indicativas de mercado para planejamento. As tarifas variam conforme o provedor, a região, o compromisso, a classe de armazenamento e o volume de solicitações. Use-as como um modelo inicial, não como uma cotação.

ItemVolume ou tarifa típicaCusto unitário típicoImplicação para o planejamento
Captura bruta de feed mult ativos50-200 GB por diaCerca de 18-73 TB por ano antes da compressãoMeça na fronteira das mensagens, não em exportações de dashboards
Arquivo de objetos comprimidoCompressão geralmente de 2:1-4:1US$0.015-US$0.025 por GB por mêsUma cópia de 17.5 TB custa cerca de US$260-US$440 por mês com retenção integral
Réplica regionalNormalmente mais 1x do volume armazenadoTarifa de armazenamento semelhante, mais transferência e solicitaçõesDuas cópias de 17.5 TB custam cerca de US$525-US$875 por mês com retenção integral
Cache de replay rápidoCerca de 0.5-2 TB para partições recentes ou ativasUS$0.06-US$0.12 por GB por mêsReserve aproximadamente US$30-US$240 por mês, dependendo do tamanho e do nível
Processamento de replay do ano inteiro4-8 workers com 16 vCPUs cadaCerca de US$0.60-US$1.20 por worker-horaUma execução de 300-1,200 horas pode custar cerca de US$1,000-US$12,000 antes da transferência

No exemplo, 17.5 TB em duas regiões equivalem a 35 TB. Com uma tarifa representativa de armazenamento de objetos de US$0.018 por GB-mês, isso corresponde a cerca de US$630 por mês quando o ano inteiro estiver armazenado.

Um cache rápido de 1.4 TB a US$0.08 por GB-mês acrescenta cerca de US$112. Portanto, o custo mensal com retenção integral fica em torno de US$740, sem incluir solicitações, transferência de dados, índices e qualquer arquivo bruto separado.

Esse não é o custo em dinheiro do primeiro ano. Se a retenção crescer gradualmente a partir de zero, o volume médio armazenado durante o primeiro ano será menor do que o saldo no fim do período. Essa diferença importa nas previsões orçamentárias, mas não ao dimensionar o sistema para a meta de retenção madura.

Replay é uma carga de processamento, não um download

Ler 17.5 TB a 1 GB por segundo levaria menos de cinco horas em teoria. Esse número diz pouco sobre um replay em produção. O trabalho pode exigir decodificar registros, preservar a ordem entre partições, aplicar regras de símbolos e sessões e alimentar cada evento em softwares projetados para tráfego ao vivo. Checksums, redefinições de estado e resultados reproduzíveis dão mais trabalho.

Um ano completo de trading de FX e CFD representa cerca de 6,000 horas de mercado. Se o replay usar um relógio virtual e rodar a 5-20 vezes o tempo registrado, o tempo de execução será de aproximadamente 300-1,200 horas, ou 12-50 dias.

Os sistemas reais variam. Uma ferramenta capaz de processar arquivos rapidamente ainda pode ficar limitada por uma partição ordenada de um instrumento ou pelos serviços downstream de risco e ordens.

Um armazenamento rápido reduz o tempo de leitura. Não torna paralelo um replay serial.

Antes de iniciar uma execução de um ano, defina o caminho de execução:

  1. Fixe as versões dos dados e dos softwares, incluindo mapeamentos de instrumentos, versões do normalizador e calendários de trading.
  2. Particione por instrumento ou outra chave segura, preservando a ordem dos eventos dentro de cada partição.
  3. Decida se os relógios dos serviços avançarão em tempo real ou sob um relógio virtual controlado.
  4. Registre throughput, atraso, CPU, memória e checksums de saída de uma semana representativa antes de ampliar a execução para um ano.

O paralelismo tem limites. Dividir por instrumento costuma ser mais seguro do que dividir em janelas de tempo arbitrárias, mas o estado compartilhado das contas, o risco entre instrumentos e os limites de portfólio podem exigir coordenação. Um replay projetado para testar o parsing de dados de mercado pode escalar bem. Um replay destinado a reproduzir decisões no nível da conta talvez não.

Escolha níveis de armazenamento com base no objetivo de recuperação

Manter tudo em armazenamento em bloco de alto desempenho é simples e caro. Manter tudo em um nível de arquivo profundo reduz as tarifas de armazenamento, mas introduz atrasos de recuperação e taxas de restauração. Uma arquitetura em níveis atende melhor a muitas cargas de trabalho de brokers:

  • Mantenha uma janela móvel curta em armazenamento local rápido ou em bloco para investigações rotineiras e replay recente.
  • Armazene o ano pesquisável em armazenamento de objetos, com partições e metadados que permitam aos trabalhos buscar apenas os instrumentos e as datas necessários.
  • Mova capturas brutas mais antigas para um nível mais frio somente se o tempo de restauração e as tarifas de recuperação forem compatíveis com o procedimento para incidentes.
  • Mantenha uma segunda cópia quando os requisitos de recuperação justificarem isso e teste o acesso a essa cópia, em vez de tratar a replicação como prova de que os dados podem ser recuperados.

Defina o objetivo de restauração com as equipes de operações e compliance. Um arquivo que leva horas para ser recuperado pode ser aceitável para research de modelos, mas não para um incidente ao vivo que exija uma comparação imediata com cotações registradas. Da mesma forma, uma segunda região pode proteger contra uma falha regional, mas o replay nessa região pode gerar tarifas de transferência ou exigir capacidade de processamento duplicada.

As equipes que acompanham dependências de plataformas pela Trading Technology devem aplicar a mesma disciplina ao próprio projeto de armazenamento: especificar o período de retenção, o objetivo de restauração e o caso de uso do replay, em vez de escolher um nível apenas pelo preço anunciado.

Orce o replay que você realmente vai executar

Há pelo menos três trabalhos diferentes comumente descritos como replay. Uma verificação de qualidade de dados percorre os arquivos e valida a sequência e o schema.

Um backtest de estratégia lê instrumentos e eventos selecionados. Um replay da plataforma envia o ano pelos serviços com estado para testar decisões e o comportamento operacional. Cada trabalho exige níveis diferentes de processamento, retenção de saídas e determinismo.

Mantenha estimativas separadas para:

  • Bytes armazenados, incluindo réplicas, índices, registros brutos e o crescimento do histórico retido.
  • Tarifas de leitura e transferência, especialmente quando os dados atravessam regiões ou saem da rede de um provedor.
  • Horas de worker para cada tipo de replay, com base em uma semana medida e em uma meta de aceleração definida.
  • Saídas temporárias, snapshots e logs, com uma regra de expiração após cada execução.
  • Tempo das equipes de engenharia e operações para validação, execuções com falha, controle de versão e novas execuções.

Use um replay pequeno para testar o modelo de custos. Capture uma semana representativa, execute-a pelo caminho planejado e extrapole pelo número de eventos e pelo throughput medido, não apenas pelo tamanho do arquivo comprimido. Inclua um dia de pico: o volume médio diário pode ocultar picos de abertura e fechamento que determinam se o pipeline ficará para trás. Para um planejamento mais amplo da plataforma, a cobertura de infraestrutura de trading da Trading Technology oferece contexto útil sobre os sistemas ao redor do arquivo.

O erro que a maioria dos leitores ainda cometerá é orçar os bytes e esquecer de orçar o caminho do replay.

Perguntas frequentes

De quanto armazenamento um ano de dados de ticks precisa?

Isso depende dos instrumentos, das taxas de atualização, do formato dos registros e da retenção de mensagens brutas. Uma carga de trabalho representativa de 120 GB por dia gera cerca de 44 TB de dados brutos por ano, ou aproximadamente 11-22 TB após a compressão típica de 2:1-4:1.

Quanto tempo leva para reproduzir um ano de dados de trading?

Um replay que preserva um relógio de mercado 24/5 pode levar quase um ano-calendário de horas de mercado. Com um relógio virtual e aceleração de 5-20 vezes, um ano de trading de 6,000 horas leva cerca de 300-1,200 horas, sem contar execuções com falha ou gargalos.

Qual é a forma mais barata de armazenar dados históricos de mercado?

O armazenamento de objetos em nível frio geralmente tem uma tarifa por GB menor do que o armazenamento rápido, mas o tempo de recuperação e as taxas de restauração podem torná-lo inadequado para a resposta a incidentes. Mantenha as partições usadas com frequência em níveis rápidos e teste o processo de restauração das cópias mais frias.

Um broker deve manter dados de mercado brutos e normalizados?

Manter ambos permite investigar feeds e fazer replay com base em um schema normalizado estável, mas aumenta o armazenamento e o trabalho operacional. Retenha mensagens brutas quando mudanças no parser ou disputas exigirem isso e documente como cada versão normalizada foi produzida.

Como uma equipe pode estimar o custo de reproduzir um ano?

Execute uma semana representativa pelos serviços planejados, meça as horas de worker e o throughput e depois faça a projeção pelo número de eventos, incluindo períodos de pico. Acrescente transferência, saídas temporárias, validação e novas execuções, em vez de estimar apenas pelo tamanho do armazenamento.