Em quase toda configuração de dados de trading, a estimativa de armazenamento começa com o tamanho de um arquivo diário multiplicado pelo período de retenção. Isso produz um número de capacidade, não o custo de reproduzir um ano. A diferença aparece quando um incidente, uma mudança de modelo ou uma migração de plataforma exige que toda a cadeia seja executada novamente, com as mesmas entradas e evidências suficientes para confiar no resultado.
O erro mais comum é tratar o arquivo histórico como se fosse o sistema. Ele é apenas uma parte de um fluxo de replay que inclui decodificação, normalização, dados de referência, estado da aplicação, computação e validação. Cada parte tem um limite diferente, e a mais lenta determina o tempo total.
O número do armazenamento não é o número do replay
O armazenamento de objetos costuma ser o componente mais barato. As tarifas típicas de armazenamento de objetos na nuvem ficam em torno de US$10 a US$30 por TB-mês, antes de solicitações, cobranças de recuperação, replicação e transferência de rede. Portanto, um arquivo de 20TB tem um custo indicativo de capacidade de US$200 a US$600 por mês nessa faixa. Isso não significa que seja possível ler e processar um ano de dados em poucas horas.
O arquivo pode estar compactado em arquivos grandes, eficientes para retenção, mas difíceis de consultar em posições específicas. Os workers de replay talvez precisem buscar, descompactar e analisar cada partição antes que a estratégia ou o mecanismo de risco possa consumir os dados.
Uma carga limitada pela decodificação na CPU pode deixar a largura de banda do armazenamento ociosa. Já uma carga limitada por pequenas leituras aleatórias pode gastar mais tempo com solicitações e latência do que com a transferência de bytes.
Estas faixas típicas do mercado são referências para planejamento, não resultados de benchmark. Elas descrevem a captura de dados de mercado compactados para formatos comuns de carga de trabalho. A coluna de custo de armazenamento usa a faixa de US$10 a US$30 por TB-mês indicada acima. As durações de replay são ilustrativas, considerando uma taxa agregada de entrada sustentada de 0.5 a 1TB por hora, antes da computação da estratégia e da validação.
| Carga de trabalho típica de dados de mercado | Ingestão diária compactada | Volume de um ano | Custo mensal indicativo de armazenamento de objetos | Duração ilustrativa do replay |
|---|---|---|---|---|
| Cotações e negócios de FX ou CFD, 365 dias | 5 a 40GB | 2 a 15TB | US$20 a US$450 | 2 a 30 horas |
| Top of book de ações em uma única plataforma, 250 dias | 20 a 150GB | 5 a 40TB | US$50 a US$1,200 | 5 a 80 horas |
| Livro completo de ações em várias plataformas, 250 dias | 200GB a 1.6TB | 50 a 400TB | US$500 a US$12,000 | 50 a 800 horas |
As faixas variam substancialmente conforme o número de símbolos, a cobertura de plataformas, o formato das mensagens, a taxa de compressão e a retenção ou não de pacotes brutos junto com os eventos normalizados. A duração do replay não é uma promessa sobre nenhuma plataforma. É um cálculo baseado em uma taxa de vazão presumida, que precisa ser medida no caminho real de decodificação e aplicação.
Contabilize os dados de que o replay realmente precisa
Muitas estimativas incluem ticks e negócios, mas deixam de fora o estado necessário para interpretá-los. Uma execução histórica pode produzir um resultado diferente se o mecanismo usar metadados atuais dos instrumentos, tabelas de tarifas ou calendários atuais para processar eventos antigos. Para um broker, o conjunto de dados também pode precisar incluir a configuração dos clientes, regras de roteamento, limites de risco e a versão da aplicação em teste.
Mantenha explícitos estes componentes no modelo de retenção:
- Eventos de mercado: mensagens brutas das plataformas, eventos normalizados, correções, números de sequência e timestamps. Reter as formas bruta e normalizada amplia as possibilidades de investigação, mas aumenta a capacidade necessária.
- Dados de referência: mapeamentos de símbolos, tamanhos de tick, especificações de contratos, eventos corporativos, calendários de trading e status das plataformas.
- Estado da aplicação: configurações de contas, posições, ordens, parâmetros de risco, tabelas de tarifas e snapshots de configuração relevantes.
- Artefatos de replay: versões de contêineres ou binários, versões de schemas, parâmetros de execução, logs, checkpoints e resultados de comparação.
Snapshots e barras derivadas reduzem o trabalho necessário para algumas tarefas, mas não substituem o fluxo de eventos. Um snapshot é útil para iniciar um replay próximo de um determinado momento. Ele não comprova como o estado foi alcançado, a menos que as entradas e a versão do snapshot também sejam retidas.
A política de timestamps exige o mesmo cuidado. O horário da bolsa, o horário da captura e o horário do processamento respondem a perguntas diferentes. Se um feed handler registra apenas um timestamp, um replay posterior talvez não consiga distinguir um atraso da plataforma de uma fila local. Preserve também as informações de sequência e os marcadores de lacunas. Caso contrário, um resultado aparentemente correto pode ocultar entradas ausentes.
É aqui que o projeto de retenção deve se conectar à cobertura de infraestrutura de trading mais ampla: o arquivo, o pipeline de eventos e os controles operacionais formam um único sistema, mesmo quando são responsabilidade de equipes diferentes.
Um ano é uma carga de trabalho, não um arquivo
Uma solicitação de replay precisa ser definida. Reconstruir o livro de ofertas de um instrumento não é a mesma tarefa que executar novamente todas as estratégias, contas e verificações de risco ao longo do ano inteiro. Uma leitura sequencial também não é o mesmo que reproduzir no horário dos eventos, quando o mecanismo precisa respeitar a ordem e as regras dependentes do tempo.
Para uma estimativa simples de vazão, divida os bytes compactados a serem lidos pela vazão de entrada sustentada medida. Depois, acrescente o tempo de decodificação, carregamento do estado, processamento da aplicação e comparação.
Se o teste exigir 20TB e a estrutura de replay mantiver uma vazão de 0.5TB por hora no fluxo completo, a primeira execução levará cerca de 40 horas. Essa estimativa pressupõe que toda a estrutura permaneça ocupada e que não haja reinicialização, limitação de taxa ou trabalho adicional de validação.
O paralelismo pode encurtar a execução, mas apenas quando o modelo de eventos e estado permitir. Símbolos ou contas independentes podem ser particionados com segurança. Eventos que afetam saldos compartilhados, margem cruzada ou limites de portfólio podem exigir um fluxo ordenado. Dividir por arquivo não é automaticamente seguro: uma fronteira pode separar um cancelamento da ordem correspondente ou uma atualização de posição do evento que a criou.
Defina o objetivo do replay antes de dimensionar a capacidade. Entre os casos comuns estão:
- Verificar mudanças no feed handler com base em mensagens brutas capturadas.
- Reconstruir posições e ordens após uma falha no armazenamento de estado.
- Executar uma mudança de estratégia ou risco sobre um conjunto fixo de entradas históricas.
- Investigar uma disputa com um cliente usando a configuração e os dados de referência vigentes na época.
Cada caso exige um ponto de partida, um resultado e um nível de determinismo diferentes. Um teste de feed pode exigir fidelidade aos pacotes e aos horários.
Um teste de estratégia pode priorizar uma ordem estável dos eventos e uma configuração com versão controlada. Um teste de recuperação precisa comprovar que o processo consegue restaurar os artefatos retidos, não apenas ler um arquivo histórico.
Calcule o custo do fluxo de replay, não apenas do bucket
O custo de capacidade é apenas uma linha da fatura. A recuperação de camadas mais frias pode acrescentar demora e tarifas. Replicação, backups e versões de objetos aumentam o volume retido. Cópias temporárias de trabalho podem multiplicar a capacidade durante uma execução. Os custos de computação e rede aumentam se os workers estiverem em outra região ou se o replay buscar repetidamente dados entre contas.
As equipes também costumam contabilizar um replay e depois operar um programa de testes que executa muitos. Um trabalho diário de validação sobre uma pequena amostra tem um perfil diferente de um replay trimestral do ano inteiro. Registre o número de execuções, os workers paralelos, o pico de espaço temporário e o período esperado de retenção dos resultados. O modelo de custos deve incluir o período de maior atividade, não apenas o arquivo em operação normal.
Uma estimativa prática pode ser feita em seis etapas:
- Meça a ingestão compactada por feed, plataforma e dia de trading. Separe a captura bruta, os eventos normalizados e os produtos derivados.
- Aplique o calendário real de retenção. Inclua fins de semana para feeds contínuos de FX, regras de vencimento e quaisquer períodos de retenção legal ou operacional.
- Adicione réplicas, snapshots, versões e cópias temporárias. Informe se o número representa dados lógicos ou dados armazenados sujeitos a cobrança.
- Faça benchmark das taxas de leitura, descompactação e decodificação em arquivos representativos. Execute com o mesmo formato de worker e as mesmas versões de schema planejados para produção.
- Meça a vazão de replay de ponta a ponta, incluindo o processamento da aplicação. Teste tanto um intervalo tranquilo quanto um período de mercado movimentado.
- Restaure uma amostra da camada retida mais fria e compare os resultados. Registre o atraso da recuperação, as entradas ausentes, o tempo de execução e o custo do teste.
Essa sequência é mais útil do que uma única taxa de compressão. A compressão pode reduzir o armazenamento e aumentar o uso de CPU, enquanto um formato que permite selecionar colunas pode acelerar a análise, mas ser inadequado para a reconstrução exata de eventos. Faça o benchmark do padrão de acesso de que a operação realmente precisa.
Para uma visão mais ampla da engenharia de plataformas e das restrições operacionais, a cobertura de infraestrutura da Trading Technology's aborda os sistemas que dão suporte a brokers e prop firms. A questão de projeto relevante aqui é mais específica: com que rapidez os dados retidos podem ser transformados em um estado verificado?
Torne a estimativa verificável
Um plano de replay deve ter critérios de aceitação mensuráveis. Informe o intervalo de datas coberto, os feeds e estados incluídos, o tempo máximo aceitável de execução e o que conta como um resultado correspondente. Para sistemas determinísticos, compare a contagem de eventos, as lacunas de sequência, o estado de ordens e posições e hashes de resultados selecionados. Para cálculos de ponto flutuante ou componentes não determinísticos, documente as tolerâncias e o motivo delas.
Teste um dia representativo completo antes de projetar um ano inteiro. Inclua uma sessão de pico, uma sessão com correções ou interrupção do mercado e uma recuperação a partir de uma cópia fria.
Um dia curto e sem problemas pode ocultar os efeitos de picos de taxa, livros maiores, novas tentativas ou mensagens malformadas. Repita o teste após mudar a camada de armazenamento, o layout dos arquivos, o codec de compressão ou o tipo de instância dos workers.
Mantenha um pequeno manifesto junto de cada partição retida. Ele deve identificar data, plataforma, feed, versão do schema, checksum e tamanho esperado. Assim, um trabalho de replay pode detectar entradas ausentes ou alteradas antes de produzir um resultado plausível. O mesmo manifesto facilita a conciliação das previsões de capacidade com o volume cobrado.
Engenheiros costumam otimizar o arquivo histórico até que o orçamento de replay entre em consideração. Então, o layout dos arquivos, a política de camadas e a frequência dos testes mudam. O armazenamento de dados históricos é mais barato quando ninguém pede que ele faça nada.
Reter dados a baixo custo não é o mesmo que recuperá-los a baixo custo.
As empresas de trading são muito boas em guardar o passado. São menos consistentes em medir quanto tempo leva para reproduzi-lo.
Perguntas frequentes
Quanto custa armazenar um ano de dados de mercado?
As tarifas típicas de armazenamento de objetos, de cerca de US$10 a US$30 por TB-mês, colocam um arquivo de 20TB em aproximadamente US$200 a US$600 por mês em custos de capacidade. Réplicas, recuperação, solicitações, cópias temporárias e computação podem elevar o total.
Quanto tempo leva para reproduzir um ano de dados de trading?
Depende do volume retido e da vazão de ponta a ponta medida. A 0.5TB por hora, um conjunto de dados de 20TB leva cerca de 40 horas para uma execução, antes de validações adicionais ou do processamento da aplicação.
Quais dados são necessários para um replay determinístico de dados de mercado?
Retenha os eventos de mercado relevantes, as informações de sequência e timestamp, os dados de referência, a configuração da aplicação e as versões do software ou do schema. O conjunto exato depende de o replay reconstruir um livro, o estado de uma conta, um resultado de risco ou o resultado de uma estratégia.
Dados históricos de trading devem ser armazenados em uma camada fria?
Uma camada fria pode reduzir o custo de capacidade, mas geralmente acrescenta demora na recuperação e pode incluir tarifas de acesso. Ela é adequada para dados acessados com pouca frequência, desde que testes de restauração confirmem que o tempo e o custo atendem às necessidades de recuperação ou investigação.
Plataformas · Software · Provedores · Mercados