Feeds de dados de mercado: meça o custo de cada tick

Racks de servidores usados para processar feeds de dados de mercado
Photo by panumas nikhomkhai on Pexels

Uma corretora direciona a profundidade completa de várias venues para seu próprio feed handler, aceitando custos maiores de largura de banda e engenharia para controlar a ordenação e a latência. Outra usa um feed consolidado de um fornecedor, aceitando alguma perda de detalhes por venue em troca de operações mais simples e uma conta menor.

As duas opções são comuns. Nenhuma é automaticamente mais barata quando o custo de um tick inclui licenciamento, recuperação, computação e os sistemas que consomem os dados.

A comparação útil não é entre uma cotação de fornecedor e uma cotação de rede. É o custo total de entregar uma atualização de mercado definida a um consumidor definido, dentro de metas medidas de latência e completude. Isso dá à equipe de engenharia uma base para decidir quais dados comprar, quais processar e onde investir em capacidade.

Defina primeiro o denominador

"Tick" não é uma unidade estável entre fornecedores. Um pacote pode conter várias mudanças no livro. Um fornecedor pode consolidar atualizações, enquanto um feed direto expõe cada evento de ordem.

Uma atualização normalizada deve significar uma mudança sobre a qual sua aplicação possa agir, como uma alteração em um nível de preço ou o registro de uma negociação. Registre também a quantidade de mensagens de origem para que a conversão fique visível.

Conte as atualizações por venue, grupo de instrumentos e consumidor. Separe alterações de cotações, negociações, eventos de profundidade e mensagens de status quando o feed permitir essa distinção. Para uma corretora de múltiplos ativos, uma única taxa agregada pode ocultar um fluxo tranquilo de FX ao lado de um livro de ações ou futuros com picos de atividade.

Meça tanto a carga sustentada quanto os picos. Uma faixa típica de planejamento para um feed de uma venue movimentada pode ser de 5,000 a 30,000 atualizações normalizadas por segundo em períodos comuns de atividade, com picos várias vezes maiores perto da abertura, do fechamento ou de divulgações importantes.

Essas são faixas amplas para planejamento de capacidade, não uma descrição de uma venue específica. Reproduza períodos de pico capturados ao dimensionar handlers. Uma média diária não revela o crescimento da fila nem a perda de pacotes.

Defina também o serviço entregue. Uma cotação exibida no terminal do cliente, um preço usado em uma verificação de risco e um evento entregue a uma estratégia de execução podem ter requisitos diferentes de atualização e completude. Seu objetivo interno de nível de serviço deve indicar quais dados cada consumidor recebe e qual degradação é aceitável.

Monte o modelo de custos

Use um limite de custos mensal que inclua o caminho de produção e sua resiliência. Os valores abaixo são faixas típicas de planejamento em dólares americanos para uma operação de broker ou prop firm.

Não são tarifas de bolsa. A venue, o produto, os direitos de uso não exibido, a quantidade de usuários, a região e os termos contratuais podem levar os custos de licença muito além das faixas. Por isso, confirme as tabelas aplicáveis antes de elaborar o orçamento.

Item de custoFaixa típicaUnidade e escopo
Acesso a dados da venue ou do fornecedor$1,000 a $30,000+Por venue ou grupo de produtos, mensalmente; direitos e taxas por usuário podem ser adicionais
Feed handler e normalização$3,000 a $25,000Provisão mensal para software ou serviço gerenciado
Colocation e conexões cruzadas$1,000 a $8,000Por site, mensalmente; espaço em rack e conectividade variam
Links de rede redundantes$500 a $5,000Mensalmente, conforme a diversidade de rotas e a largura de banda
Computação, memória e captura de curto prazo$1,000 a $10,000Provisão mensal para capacidade de produção e contingência

Não some essas faixas mecanicamente e chame o resultado de cotação. Alguns contratos com fornecedores incluem acesso, normalização e suporte.

As cobranças da bolsa podem ser calculadas por dispositivo, usuário, aplicação ou uso não exibido. Uma empresa que distribui dados a clientes também tem obrigações de reporte e gestão de direitos de acesso que talvez não se apliquem a uma prop firm de uso apenas interno. Para conhecer melhor os fornecedores e sistemas da infraestrutura, a cobertura de infraestrutura da Trading Technology pode ajudar a contextualizar o panorama de fornecedores.

Calcule o custo operacional por milhão de atualizações normalizadas: divida o custo mensal atribuível pelas atualizações mensais, em milhões. Por exemplo, uma infraestrutura mensal de $25,000 que processe uma média de 20,000 atualizações por segundo durante 6.5 horas de trading por dia, ao longo de 22 dias, processa cerca de 10.3 bilhões de atualizações.

Isso equivale a cerca de $2.43 por milhão. O valor não é uma referência universal de preço, mas uma forma de comparar duas arquiteturas sob a mesma carga de trabalho e o mesmo limite de custos. Faça o cálculo duas vezes. Inclua todos os custos de licenciamento e resiliência na visão de custo total e, depois, mostre o custo marginal de processamento sem as taxas fixas de licença.

O primeiro cálculo ajuda nas decisões de contratação. O segundo mostra se é caro atender a mais símbolos ou consumidores quando o feed já está pago.

Meça todo o caminho de entrega

Um feed pode ser rápido na borda da rede e estar desatualizado quando uma aplicação de trading o lê. Marque o horário de cada etapa útil: timestamp da bolsa ou do fornecedor, quando disponível, chegada à NIC, decodificação pelo handler, normalização, publicação interna e recebimento pelo consumidor.

Mantenha os relógios sincronizados e documente a fonte de horário. Se os timestamps vierem de domínios de relógio diferentes, a latência aparente pode ser um erro de medição.

Acompanhe distribuições, não apenas médias. Registre a latência p50, p99 e p99.9 por venue e consumidor, além da profundidade máxima da fila e do tempo de espera atrás de um acúmulo de mensagens.

Um handler local otimizado pode ter como meta dezenas a algumas centenas de microssegundos para decodificação e publicação, mas o hardware, o protocolo e a carga de trabalho alteram essa faixa. A meta deve vir do caso de uso do consumidor, não de um número genérico de latência.

Entre as métricas operacionais úteis estão:

  • Atualizações e pacotes por segundo, separados por venue e tipo de mensagem.
  • Lacunas na sequência, solicitações de recuperação, pacotes retransmitidos e duração da recuperação.
  • Uso de CPU pelo handler, memória, profundidade da fila e mensagens descartadas ou rejeitadas.
  • Atualização dos dados no consumidor, incluindo a idade da atualização mais antiga processada.
  • Relação entre a taxa de pico e a média, além da duração de cada pico.

Inclua a recuperação no dimensionamento normal da capacidade. Uma lacuna pode acionar retransmissão, processamento de snapshot e um aumento temporário no uso de CPU e rede.

Informe o tempo para detectar a falha, solicitar a recuperação e reconstruir o livro, além do número de mensagens downstream atrasadas ou invalidadas. Um feed que se recupera corretamente, mas deixa um consumidor desatualizado por vários segundos, não atende ao mesmo nível de serviço que outro que corrige a falha em milissegundos.

Compare arquiteturas em condições equivalentes

Feeds diretos oferecem detalhes específicos da venue e controle sobre a ordenação, mas criam mais necessidades de manutenção de protocolos, conectividade e recuperação. Um feed consolidado pode reduzir o número de integrações e simplificar o tratamento de símbolos. Também pode consolidar atualizações, aplicar sua própria normalização ou introduzir uma etapa extra de processamento. Meça se essas diferenças importam para cada consumidor, em vez de presumir que o feed mais completo é sempre necessário.

A consolidação de atualizações é uma troca, não simplesmente uma perda de dados. Uma tela pode precisar da cotação mais recente, não de cada mudança intermediária. Um mecanismo de risco ou uma estratégia que dependa das transições do livro de ofertas pode precisar da sequência completa.

Defina a política por consumidor: profundidade completa e sequenciamento de eventos para as aplicações que precisam disso, e um fluxo com menor taxa ou apenas das melhores ofertas para as demais. Verifique os direitos de licenciamento antes de redistribuir um feed ou reutilizá-lo em sistemas internos.

Para cada opção, reproduza a mesma sessão capturada pelo mesmo caminho downstream. Compare a completude das atualizações, a latência de entrega p99 e p99.9, o comportamento durante a recuperação, o uso de recursos nos picos e o custo por milhão de atualizações.

Inclua um intervalo volátil e um teste de recuperação após uma lacuna. Um benchmark em uma sessão tranquila oferece uma base ruim para uma decisão de produção.

Mantenha a comparação vinculada aos limites operacionais. Um feed mais barato pode transferir trabalho para seu próprio normalizador, mapeamento de símbolos e escala de suporte. Um serviço gerenciado pode custar mais no papel e, ainda assim, reduzir os modos de falha e a carga de plantão.

Registre as horas de engenharia e o impacto dos incidentes como custos separados se não for possível atribuir-lhes um valor confiável. As discussões sobre infraestrutura na Trading Technology também abordam como as escolhas de plataforma e conectividade moldam esses limites.

Faça um teste repetível antes de mudar

Estabeleça uma linha de base controlada antes de negociar um novo feed ou alterar o handler. Capture pelo menos uma sessão normal e uma de alto volume, preserve as mensagens brutas e identifique o hardware, a versão do software e a rota de rede. Um teste que não possa ser repetido não resolverá uma divergência entre compras, operações e engenharia.

Use esta lista de verificação para cada combinação de feed e consumidor:

  1. Defina a unidade. Especifique o que conta como uma atualização normalizada e como a quantidade de pacotes é convertida nela.
  2. Delimite o serviço. Liste venues, instrumentos, profundidade, usuários, consumidores, direitos e requisitos de atualização.
  3. Capture a linha de base. Registre taxas normais e de pico, percentis de latência, profundidade da fila, CPU, memória e lacunas de pacotes.
  4. Teste a recuperação. Injete ou reproduza uma lacuna na sequência e meça o tempo de correção, o acúmulo de mensagens e o impacto no consumidor.
  5. Calcule o custo do caminho completo. Inclua licenças, handler, hospedagem, links, capacidade de contingência e trabalho operacional.
  6. Reproduza as opções. Use sessões e aplicações downstream idênticas e, em seguida, compare a completude e os níveis de serviço.
  7. Defina limites para alertas. Gere alertas para dados desatualizados, crescimento sustentado da fila e falhas de recuperação, não apenas para a saúde dos processos.
  8. Verifique novamente após mudanças. Repita o teste após mudanças de venue, conjunto de símbolos, versão do software ou perfil de horário de mercado.

Revise o modelo trimestralmente e após mudanças relevantes na cobertura de instrumentos ou na atividade dos clientes. Um novo consumidor pode aumentar a exposição a licenças de uso não exibido mesmo que a taxa de mensagens quase não mude. Uma nova venue pode acrescentar pouco tráfego constante, mas aumentar substancialmente os picos e a carga de recuperação. Mantenha esses efeitos visíveis no modelo de custos, em vez de ocultá-los em uma rubrica geral de infraestrutura.

Esta orientação não se aplica da mesma forma a uma empresa cuja estratégia dependa de eventos de ordens proprietários no nível da bolsa ou de um registro regulatório de cada mensagem recebida. Nesse caso, completude, capacidade de auditoria e direitos específicos da venue definem primeiro os limites do projeto. O custo por tick é uma otimização secundária dentro deles.

Perguntas frequentes

Como calcular o custo por tick?

Divida o custo mensal atribuível ao caminho do feed pelo número de atualizações normalizadas recebidas naquele mês, expresso em milhões. Calcule tanto o valor com custo total quanto o valor marginal, sem os custos fixos de licença, para comparar separadamente decisões de contratação e de capacidade.

Quais métricas um feed de dados de mercado deve monitorar?

Acompanhe taxas de atualização e de pacotes, percentis de latência, lacunas na sequência, duração da recuperação, profundidade da fila, CPU e memória. Meça a atualização dos dados na aplicação consumidora, pois um feed handler saudável não garante que os preços downstream estejam atualizados.

Feeds diretos de dados de mercado são sempre mais rápidos que feeds de fornecedores?

Não. Feeds diretos podem eliminar uma etapa de processamento do fornecedor, mas o resultado depende da rota, da implementação do handler, do hardware e do comportamento durante a recuperação. Reproduza a mesma sessão de mercado pelos dois caminhos e compare a latência ponta a ponta e a completude.

O que torna caro um feed de dados de mercado?

A conta pode incluir direitos da venue ou do fornecedor, taxas de uso não exibido, processamento do feed, colocation, conexões cruzadas, links redundantes e capacidade de recuperação. Os termos de licenciamento variam por venue, produto, usuário e uso. Por isso, confirme as tabelas aplicáveis em vez de se basear em um preço genérico.