Feeds de dados de mercado: quanto custa cada tick

Racks de servidores usados para processar feeds de dados de mercado de uma plataforma de trading
Photo by panumas nikhomkhai on Pexels

US$2 por milhão de eventos utilizáveis é o custo em um exemplo simples, no qual uma empresa gasta US$20,000 por mês e processa 10 bilhões de eventos utilizáveis. Se a conta for dividida pelo número de mensagens brutas, incluindo duplicatas e atualizações descartadas pela estratégia, o custo aparente por tick cai. A conta de infraestrutura, não.

É nessa diferença que muitas análises de feeds dão errado. As equipes comparam propostas de fornecedores ou tarifas de bolsas e, em seguida, tratam o feed mais barato como o sistema mais barato.

Um tick também consome capacidade de rede, tempo de processamento do parser, espaço em fila, armazenamento e atenção operacional. O denominador correto é o evento que chega ao ponto de uso com significado e timestamp intactos.

Calcule o custo do evento utilizável, não do feed

Inclua todos os custos no cálculo

Comece pelo custo mensal para entregar os dados ao aplicativo que precisa deles. Inclua tarifas de bolsas e fornecedores, conectividade, cross-connects, appliances ou instâncias de nuvem, tráfego de saída, retenção, monitoramento e o tempo de engenharia dedicado à manutenção de adapters. Mantenha os valores separados antes de somá-los. Assim, é possível identificar se o licenciamento ou o processamento representa a maior parte do custo.

O licenciamento costuma ser o item menos transferível. Tarifas e obrigações de reporte dependem do mercado, do tipo de usuário, da exibição, do uso não voltado à exibição, da redistribuição e do número de dispositivos ou aplicativos. Um feed que pode ser usado em um processo interno de precificação pode não conceder os mesmos direitos para exibição voltada ao cliente. Confirme os usos permitidos com o fornecedor e a bolsa antes de considerar duas propostas equivalentes.

Escolha um denominador compatível com a finalidade

Conte os eventos após os filtros e a validação relevantes e especifique o que é considerado utilizável. Um processo de market making pode precisar de cada alteração no livro de ofertas. Uma tela de risco pode precisar apenas de negócios e atualizações do topo do livro.

Para um gráfico, uma barra ou uma cotação amostrada pode ser suficiente. Não compare essas cargas de trabalho pela contagem bruta de pacotes. Acompanhe pelo menos três taxas: mensagens recebidas, eventos decodificados com sucesso e eventos consumidos pelo aplicativo. Registre separadamente perdas, duplicatas e eventos desatualizados.

Uma medida interna útil é o custo mensal total dividido pelos eventos consumidos, apresentado junto com o custo por milhão de mensagens recebidas. Essa combinação mostra tanto a conta quanto a eficiência do pipeline.

Um tick não é um pacote

As escolhas de protocolo mudam a carga de trabalho

Um pacote pode conter várias atualizações, e uma alteração no livro pode exigir várias mensagens para ser reconstruída. Números de sequência, retransmissões, recuperação por snapshot e failover de canal afetam o trabalho que um handler precisa executar.

A taxa de mensagens anunciada para um feed pode não corresponder à taxa de pacotes, à taxa de eventos decodificados ou à taxa recebida por uma estratégia. Defina cada unidade antes de dimensionar o receptor.

As faixas típicas de planejamento variam conforme o mercado e a definição de mensagem. Os valores abaixo são faixas operacionais indicativas, não especificações de bolsas. Picos podem ultrapassá-las, especialmente na abertura ou em períodos voláteis. O armazenamento normalizado não inclui índices de banco de dados nem a sobrecarga de replicação.

Carga de trabalho do feedTaxa típica de eventos em períodos de picoArmazenamento normalizado por milhão de eventosLatência típica entre recebimento e handler
Topo do livro e negócios, um instrumento ativo1,000 a 20,000 eventos por segundo40 a 100 MB50 a 500 microssegundos
Atualizações de profundidade, um instrumento ativo5,000 a 100,000 eventos por segundo60 a 160 MB100 microssegundos a 1 milissegundo
Mercado inteiro, vários instrumentos100,000 a mais de 1 milhão de eventos por segundo40 a 160 MB, dependendo do schema0.5 a 5 milissegundos em uma estrutura compartilhada ou de uso geral

Essas faixas de latência descrevem o caminho do recebimento até um handler interno, não a latência entre a bolsa e a estratégia. Um feed direto em uma instalação de co-location e um feed de fornecedor por uma rede gerenciada são produtos diferentes.

O mesmo vale para um processo otimizado e fixado a um núcleo e um serviço compartilhado executado ao lado de cargas de trabalho não relacionadas. Meça o caminho que você opera, usando os timestamps em que pode confiar.

A normalização pode reduzir ou aumentar o trabalho

Um schema comum simplifica o código downstream, o replay e o monitoramento. Também acrescenta parsing, mapeamento e, às vezes, cópia de dados. Para uma estratégia, um handler de protocolo nativo pode evitar uma etapa de conversão e reduzir a latência. Para vários produtos, um normalizador compartilhado pode reduzir a duplicação de adapters e simplificar a recuperação. A decisão depende de quantos consumidores precisam dos dados, não de uma preferência geral por formatos nativos ou de fornecedores.

Onde a conta se acumula

A largura de banda é apenas a parte visível do volume. Um processo pode receber, em média, um fluxo administrável e ainda assim perder atualizações durante picos porque o buffer de socket, a fila ou o núcleo da CPU não consegue acompanhar. A contrapressão, quando ocultada por uma fila grande, pode transformar uma sobrecarga em preços desatualizados, em vez de uma perda evidente. Monitore a profundidade da fila e a idade dos eventos, não apenas a utilização da interface.

O armazenamento agrava o mesmo erro. A 100,000 eventos por segundo, 100 bytes por evento normalizado produzem cerca de 864 GB por dia, antes de índices, réplicas e backups. Manter todas as atualizações brutas por um ano pode ser justificável para auditoria, replay ou research, mas deve ser uma decisão explícita de retenção. Separe a janela de replay de acesso rápido dos dados arquivados de longo prazo e teste se a amostragem ou a compressão preservam a finalidade de uso.

As análises de custo devem distinguir despesas fixas e marginais. Uma conexão com a bolsa ou um contrato de suporte pode ter um custo mensal fixo; um instrumento adicional pode acrescentar custos de licenciamento, computação e armazenamento. Um feed com uma proposta mais cara pode exigir menos trabalho de engenharia para conciliar mapas de símbolos, timestamps e recuperação.

Inclua o tratamento de falhas e o trabalho de plantão na comparação. A cobertura e o comportamento de recuperação são tão importantes quanto a taxa nominal de atualização.

Para uma visão mais ampla das plataformas, a cobertura de infraestrutura da Trading Technology acompanha os sistemas e fornecedores que dão suporte às operações de brokers e prop firms. Para decidir sobre um feed específico, as evidências úteis ainda vêm de um teste medido no seu próprio caminho.

Teste o caminho antes de trocar de fornecedor

Execute uma carga de trabalho representativa pelo percurso completo: recebimento, decodificação, normalização, distribuição e consumo. Use uma sessão volátil ou um pico registrado, não apenas uma amostra tranquila no meio do dia.

Compare os feeds no mesmo hardware e com o mesmo escopo de assinatura sempre que possível. Registre tanto o desempenho em operação estável quanto a recuperação após uma desconexão ou uma lacuna na sequência.

Antes de aprovar uma mudança, registre estas medidas:

  • Picos de pacotes e eventos decodificados por segundo, além da duração e frequência dos picos.
  • Latência mediana e de cauda entre a captura e o consumidor, com a origem do relógio e o ponto do timestamp documentados.
  • Profundidade da fila, uso da CPU, uso de memória, perda de pacotes, lacunas na sequência e tempo de recuperação.
  • Custos mensais de licenciamento e conectividade, com as permissões para exibição e uso não voltado à exibição listadas.
  • Armazenamento por dia, período de retenção, número de réplicas e desempenho de replay.

Em seguida, compare o custo mensal total por milhão de eventos utilizáveis, mantendo os resultados de latência e recuperação ao lado. Um único índice de custo não consegue expressar o valor de um feed mais rápido ou mais resiliente. Ele pode revelar uma proposta que parece barata apenas porque o processamento, o armazenamento ou o trabalho operacional aparecem em outra parte do orçamento.

Nesta semana, instrumente um feed de produção, da captura de pacotes ao aplicativo consumidor, e calcule seu custo por milhão de eventos utilizáveis.

Perguntas frequentes

Como calcular o custo de um tick de dados de mercado?

Some os custos mensais do feed, do licenciamento, da conectividade, do processamento, do armazenamento e da operação. Divida o total pelo número de eventos validados consumidos pelo aplicativo relevante e informe o resultado junto com o custo por milhão de mensagens recebidas.

O que afeta a latência de um feed de dados de mercado?

A rota de rede, o protocolo do feed, o processamento de pacotes, o parsing, a normalização, o enfileiramento e a carga do aplicativo contribuem para a latência. Meça desde um timestamp definido no recebimento até o ponto em que o consumidor pode agir sobre o evento.

Um broker deve armazenar todos os ticks?

Somente se a retenção atender a uma necessidade definida, como auditoria, replay ou research. Defina períodos de retenção distintos para replay rápido e registros de arquivo e considere índices, réplicas e backups ao estimar o armazenamento.