Armazenamento de dados históricos: quanto custa realmente um ano de replay

Racks de armazenamento que representam o armazenamento de dados históricos e a infraestrutura de replay de dados de mercado
Photo by panumas nikhomkhai on Pexels

Na primeira semana, um novo arquivo pode parecer completo: os arquivos de ontem chegam, os checksums são aprovados e a conta de armazenamento é baixa. Na sexta semana, um engenheiro pode descobrir que restaurar um mês leva mais tempo do que a janela de teste, ou que um replay de um ano inteiro satura as CPUs antes do armazenamento. Essa diferença separa manter os dados de conseguir usá-los.

Para um broker ou prop firm, a questão de projeto não é apenas quantos terabytes manter. É com que rapidez o sistema consegue ler, decodificar, ordenar e entregar os registros necessários para um backtest, uma análise de incidente ou uma migração de feed.

Comece pelo prazo do replay, não pela conta de armazenamento

Defina primeiro a tarefa. Reproduzir um ano-calendário de sessões de bolsa em 24 horas significa processar cerca de 1,600 horas de mercado em um dia, ou aproximadamente 67 vezes a velocidade da sessão ao vivo.

Um replay de 30 dias em quatro horas exige um multiplicador semelhante. Essas são metas de carga de trabalho, não apenas metas de rede: análise sintática, descompressão, mapeamento de símbolos e callbacks de estratégia precisam acompanhar o ritmo.

Decida o que "replay" significa para cada caso de uso. Uma análise de compliance pode precisar de um conjunto pequeno de instrumentos e da ordenação exata dos eventos. O research de estratégias pode exigir ampla cobertura, dados de referência ajustados e seeds reproduzíveis. Um teste de recuperação pode exigir os mesmos handlers de feed e filas downstream usados em produção. Cada caso tem um padrão de leitura e um custo de validação diferentes.

  • Defina uma meta de conclusão, como um ano de trading em 24 horas, e registre se ela se aplica a um instrumento, uma venue ou todo o universo.
  • Especifique o nível de fidelidade: pacotes brutos, eventos normalizados, atualizações do livro de ofertas, negócios ou uma combinação.
  • Inclua o tempo de validação. Um replay que termina rápido, mas não consegue comprovar a integridade da sequência, não é útil operacionalmente.

Acompanhe a vazão do replay em eventos por segundo, além de gigabytes por segundo. A vazão de arquivos pode parecer boa enquanto um decodificador single-threaded ou um construtor serial do livro de ofertas atrasa a tarefa. Um benchmark útil informa tanto a taxa sustentada mais rápida quanto a partição mais lenta, pois algumas sessões movimentadas podem determinar o tempo total.

Estime o volume anual com base no formato do feed

Monte a estimativa a partir da taxa de mensagens, do tamanho médio codificado, das horas de trading e dos instrumentos mantidos. Depois, acrescente compressão, índices, manifestos e réplicas. Para planejamento, os volumes anuais comprimidos costumam ficar nas faixas abaixo para uma única venue ou um universo limitado de instrumentos. O volume real varia bastante conforme as taxas de mensagens, a profundidade, o esquema e as configurações de compressão.

Estas são faixas típicas de planejamento de mercado, não cotações de um provedor. O armazenamento de objetos hot costuma custar cerca de $15 to $30 por TB por mês; as camadas de arquivo podem custar cerca de $1 to $5 por TB por mês, antes de cobrança por recuperação, solicitações e replicação. A região, os períodos mínimos de retenção e as tarifas de rede alteram o total.

Carga de trabalho típicaVolume comprimido por anoTaxa de leitura para replay em 24 horasArmazenamento hot por mês
Topo do livro e negócios5 to 20 TB60 to 230 MB/s$75 to $600
Atualizações de profundidade, venues selecionadas20 to 100 TB230 MB/s to 1.2 GB/s$300 to $3,000
Profundidade ampla e feeds de alto volume50 to 250 TB0.6 to 2.9 GB/s$750 to $7,500

A coluna de taxa de leitura mostra a taxa média de dados necessária para percorrer o volume indicado em 24 horas. Ela não considera a sobrecarga de decodificação, os limites de paralelismo nem a reprodução de várias cópias. Para uma política de retenção hot de três anos, multiplique por três o volume anual e a estimativa mensal de armazenamento e, em seguida, contabilize as réplicas separadamente.

Mantenha os dados consultados com frequência por perto

Use uma camada hot para sessões recentes e para o recorte mais usado no research. Mantenha os dados mais antigos em armazenamento de objetos de menor custo se os tempos de recuperação forem compatíveis com a tarefa.

A recuperação de arquivos pode levar de minutos a horas e pode gerar cobranças por solicitação ou recuperação. Isso é adequado para uma auditoria ocasional, mas não para uma fila diária de replay.

Faça o particionamento por data e venue, com arquivos dimensionados para leituras paralelas, em vez de um objeto por símbolo e minuto. Tamanhos típicos de arquivo entre 256 MB to 1 GB equilibram a sobrecarga de solicitações e o paralelismo por worker.

Armazene no manifesto a versão do esquema, a versão do mapeamento de instrumentos, a contagem de eventos e os checksums. Para conteúdo sobre projetos de armazenamento e operações de plataforma, consulte a Trading Technology.

Torne o replay previsível sob carga

Separe I/O da decodificação

Faça o benchmark do pipeline por etapas: leitura de objetos, descompressão, análise sintática, ordenação e processamento pelo consumidor. Execute um teste com os dados já em um NVMe local e, depois, outro na camada de objetos prevista. Se o teste local for lento, aumentar a largura de banda de armazenamento não resolverá o problema do decodificador. Se for rápido localmente, mas lento remotamente, verifique o tamanho das solicitações, as leituras simultâneas, a localização da região e os caminhos de rede.

A compressão é uma troca, não uma redução de custo gratuita. A compressão colunar ou em blocos pode reduzir bastante o volume armazenado, mas o melhor codec depende de o replay ser limitado pela CPU ou pela I/O. Implantações típicas comparam um codec rápido a uma opção mais compacta, usando as mesmas sessões, e informam o tamanho comprimido, o uso de CPU na decodificação e os eventos por segundo de ponta a ponta. Evite escolher apenas pela taxa de compressão.

Preserve o determinismo e teste os piores casos

O replay paralelo precisa de regras explícitas de ordenação. O particionamento por instrumento pode aumentar a vazão, mas estratégias que abrangem vários instrumentos podem depender da ordenação por timestamp entre feeds.

Registre lacunas de sequência, mensagens atrasadas e decisões de normalização do relógio. O replay deve identificar os arquivos de origem e as versões dos dados de referência utilizados, para que outra execução possa reproduzir as mesmas entradas.

Teste sessões comuns e de pico, não apenas um dia médio. Uma meta operacional sensata é provisionar uma folga de 30% to 50% acima da taxa sustentada medida e, depois, repetir o teste após mudanças no feed ou no esquema. Teste também usuários simultâneos: vários trabalhos de research podem transformar um arquivo adequado em uma fila de leituras lentas. Times de plataforma que acompanham o processamento de feeds e mudanças relacionadas à infraestrutura podem usar a cobertura de tecnologia de trading da publicação como uma fonte de contexto do setor.

Transforme o modelo em um runbook

Mantenha visíveis, em linhas separadas, os custos de armazenamento, replay e operação. Um replay de um ano pode ler dezenas ou centenas de terabytes, consumir recursos computacionais por horas e gerar cobranças de rede ou recuperação se os dados cruzarem regiões ou camadas. Calcule tanto o custo de uma execução quanto o custo mensal das execuções previstas. Uma conta baixa de armazenamento pode ser superada por restaurações repetidas, capacidade ociosa ou tempo de engenharia gasto na gestão de tarefas com falhas.

Use um runbook enxuto, com responsáveis e limites definidos:

  1. Meça a ingestão diária por venue, classe de mensagem e tamanho comprimido durante pelo menos duas semanas representativas.
  2. Execute um replay de um dia e de um mês na camada de armazenamento prevista; registre o tempo decorrido, os eventos por segundo, o uso de CPU e de rede e o custo.
  3. Configure alertas para partições ausentes, falhas de checksum, crescimento da ingestão e duração do replay. Mantenha um caminho de restauração testado, não apenas uma política de retenção.
  4. Repita o benchmark após mudanças no decodificador, esquema, codec ou instância, e antes de assumir um compromisso com um período de retenção mais longo.

Revise o projeto trimestralmente com base na demanda real por replay. Se os dados mais antigos forem raramente usados, transfira-os para uma camada inferior e teste a recuperação antes do próximo incidente. Se o research precisar deles com frequência, um pequeno conjunto de trabalho hot ou um cache local pré-montado pode custar menos do que restaurar repetidamente o mesmo histórico.

Se esta fosse a minha operação, eu mediria de ponta a ponta um mês representativo antes de mudar de camada ou comprar capacidade. Em seguida, definiria o prazo do replay, provisionaria recursos com folga para o gargalo medido e deixaria visível o custo mensal de uma execução de um ano inteiro ao lado da conta de armazenamento do arquivo.

Perguntas frequentes

Quanto armazenamento é necessário para um ano de dados de mercado?

Depende das taxas de mensagens, da profundidade, das venues e da compressão. As faixas típicas de planejamento vão de cerca de 5 to 20 TB para topo do livro e negócios e podem chegar a 50 to 250 TB para feeds amplos de profundidade e alto volume.

Qual deve ser a velocidade de um replay de dados de trading?

Defina a meta a partir do prazo da tarefa e das horas de mercado a reproduzir. Processar em 24 horas um ano com cerca de 1,600 horas de sessões de trading exige aproximadamente 67 vezes a velocidade da sessão, antes de considerar validação e sobrecarga.

O armazenamento de arquivo é adequado para replay de dados de mercado?

Pode funcionar para auditorias ocasionais se a latência e as cobranças de recuperação forem compatíveis com a tarefa. Replays frequentes de research geralmente precisam de uma camada hot ou de um cache testado, pois a recuperação de arquivos pode levar de minutos a horas.

Qual é o principal gargalo no replay de dados históricos?

Pode ser a leitura do armazenamento, mas a decodificação, a descompressão, a ordenação de eventos ou o processamento da estratégia muitas vezes limitam a vazão primeiro. Faça o benchmark de cada etapa separadamente e compare execuções em disco local com execuções na camada de armazenamento prevista.

Como um broker deve testar um replay de um ano inteiro?

Comece com um dia representativo e, depois, teste um mês e um ano inteiro usando os arquivos, o decodificador e o caminho do consumidor previstos. Registre o tempo decorrido, os eventos por segundo, o uso de CPU e de rede, o custo e os resultados da validação, incluindo sessões de pico.