Latência no roteamento de ordens: plano de 30 dias para encontrar o custo

Racks de servidores que ilustram a latência do roteamento de ordens na infraestrutura de trading
Photo by panumas nikhomkhai on Pexels

Para onde vão os 20 milissegundos entre uma ordem sair da nossa plataforma e o relatório de execução chegar ao trader? Em geral, eles se distribuem por vários sistemas, e não ficam concentrados em um único componente lento. Para obter uma resposta útil, são necessários registros de horário em cada etapa, além de uma distinção clara entre o tempo de processamento do broker e o tempo gasto no trajeto até um venue externo ou à espera nele.

Defina o relógio antes de medir

A latência no roteamento de ordens não é um único número. Uma ordem pode passar por uma conexão do cliente, um API gateway, um serviço de risco pré-trade, a lógica de roteamento, um adaptador de protocolo, um link de rede e um provedor de liquidez ou uma bolsa.

Em seguida, um relatório percorre alguns dos mesmos componentes no caminho de volta. O tempo exibido entre o clique e a execução inclui as duas direções e também pode incluir o processo de casamento de ordens do venue.

Divida o caminho da ordem em intervalos. Registre a chegada à borda do broker, o início e o fim da validação, o início e o fim da verificação de risco, a decisão de roteamento, a entrada na fila de saída, a gravação no socket, a chegada da resposta do venue, o processamento do relatório de execução e a entrega ao cliente.

Associe a cada evento o ID da ordem, a tentativa de roteamento, o destino e um registro de horário de um relógio monotônico. Isso permite identificar se o tempo foi gasto em processamento, na fila atrás de outras tarefas ou em trânsito.

Não subtraia registros de horário de máquinas diferentes, a menos que os relógios estejam sincronizados e o erro seja conhecido. O PTP pode oferecer suporte a uma sincronização precisa em data centers controlados; o NTP é comum em serviços menos sensíveis à latência, mas pode deixar uma diferença maior. Para intervalos medidos dentro de um processo, use um relógio monotônico de alta resolução. Registre a diferença entre os relógios e a precisão dos registros de horário junto com as medições.

Mantenha separados os tipos de confirmação. Uma confirmação do broker indica que ele aceitou uma ordem para processamento. Isso não prova que o venue a aceitou, executou ou sequer recebeu. Acompanhe separadamente as confirmações do venue e os relatórios de execução, e preserve os horários originais dos eventos ao publicar o status para um cliente.

Localize os milissegundos em cada etapa

As faixas abaixo são valores indicativos típicos do mercado, não garantias de serviço nem resultados de um provedor específico. Elas descrevem contribuições gerais por etapa. A resposta de um venue é especialmente variável, e o caminho completo pode levar mais tempo por causa de filas, distância, picos ou retransmissões. Não some todos os limites superiores e trate o resultado como o percurso normal de uma ordem.

EtapaFaixa típica de latênciaFonte comum de atraso
Cliente até a borda do broker, só ida1-30 msLocalização geográfica, rede de acesso e rota do cliente
API gateway e gerenciamento de sessão0.1-2 msAnálise sintática, autenticação e disputa por threads
Verificações de risco pré-trade com dados em cache0.1-2 msQuantidade de regras, verificações sequenciais e disputa por locks
Consulta síncrona a banco de dados ou serviço remoto de risco1-10 ms ou maisViagem de ida e volta pela rede, espera pelo armazenamento e pools de conexões
Lógica de roteamento e adaptador de protocolo0.1-3 msMapeamento, serialização, tamanho da fila e logging
Rede do broker até o venue, só ida0.05-1 ms em colocação; 1-20 ms em rotas regionaisDistância física, switching e variação do caminho
Confirmação externa ou relatório de execução1-30 ms ou maisCarga do venue, regras de casamento de ordens e condições de mercado

Esses números ajudam a decidir o que investigar, não a definir uma meta geral de nível de serviço. Uma verificação de risco de 0.5 ms é irrelevante se a ordem espera 15 ms em uma fila cheia.

Por outro lado, reduzir alguns microssegundos no gateway pode ser importante para uma estratégia que envia muitas ordens por uma rota com colocação. Meça o caminho completo e a distribuição em cada etapa.

Instrumente o caminho, não apenas o ponto final

Comece com uma linha de base segmentada por rota, instrumento, tipo de ordem, sessão e resultado. Compare separadamente ordens a mercado, ordens limitadas passivas, cancelamentos e substituições. Um cancelamento que fica na fila atrás de novas ordens pode criar um risco operacional diferente do de uma confirmação lenta de uma nova ordem.

No mínimo, colete:

  • Registros de horário por etapa, identificadores de ordem e identificadores de tentativa de roteamento.
  • Tamanho da fila, utilização de workers, atraso no escalonamento da CPU e espera por pools de conexões.
  • Medições de rede de ida e volta e só ida quando os relógios permitirem uma comparação confiável.
  • Latência P50, P95 e P99, além das taxas de timeout, rejeição, duplicidade e nova tentativa.
  • Tempos de resposta do venue ou provedor de liquidez separados do processamento do broker.

Retenha detalhes suficientes para reconstruir uma ordem contestada, mas mantenha identificadores de alta cardinalidade fora dos rótulos das métricas, que podem sobrecarregar os sistemas de monitoramento. Use traces amostrados para o tráfego geral e logs completos de eventos para os registros de auditoria exigidos. Revise o que é registrado no hot path: gravações síncronas em disco, chamadas remotas de log e formatação detalhada de payloads podem adicionar atraso justamente quando o tráfego está mais intenso.

As médias escondem os extremos. Se o P50 é 3 ms e o P99 é 40 ms, investigue picos, crescimento de filas, garbage collection, disputa por locks e perda de pacotes antes de alterar o caminho mediano.

Compare as medições em períodos tranquilos e em condições de mercado ativo. Para mais contexto sobre infraestrutura, a cobertura de plataformas da Trading Technology acompanha os sistemas e provedores que servem de base para os brokers.

Execute o plano de implementação de 30 dias

Concentre o primeiro mês em medição, uma mudança controlada e verificação em produção. A lista abaixo pressupõe que já existe um caminho de ordens e que a equipe consegue implantar instrumentação sem substituir componentes centrais.

  1. Dias 1-3: mapeie a rota. Desenhe os caminhos da ordem e da resposta para os produtos e destinos mais movimentados. Identifique o serviço responsável por cada etapa, os limites entre protocolos e qual confirmação cada componente emite. Inclua rotas de failover e o comportamento de novas tentativas.
  2. Dias 4-7: alinhe as definições dos eventos. Defina nomes dos registros de horário, fonte do relógio, precisão e IDs de correlação. Verifique as diferenças entre os relógios nos gateways e adaptadores. Teste se é possível acompanhar uma única ordem desde a aceitação pelo broker, passando pela confirmação do venue, até o relatório de execução, sem confundi-los.
  3. Dias 8-12: capture uma linha de base. Colete dados de pelo menos várias sessões representativas de trading, incluindo um período movimentado, se disponível. Publique P50, P95 e P99 para cada etapa, junto com volume de ordens, rejeições, timeouts e tamanho da fila. Mantenha recortes por rota e tipo de ordem, em vez de depender de um único número para todo o broker.
  4. Dias 13-17: identifique o principal atraso. Selecione a etapa que mais contribui para o percentil desejado, não o componente mais fácil de ajustar. Verifique se o atraso é de processamento, fila, trânsito pela rede ou resposta externa. Confirme a causa com traces e telemetria do host ou da rede antes de alterar o código.
  5. Dias 18-22: faça uma mudança reversível. Alguns exemplos são remover uma consulta remota síncrona de um caminho em que seja seguro usar dados em cache, reduzir serializações desnecessárias, isolar um pool de workers sobrecarregado ou corrigir uma rota regional evitável. Mantenha todas as verificações de risco obrigatórias. Registre o efeito esperado e os possíveis modos de falha antes da implantação.
  6. Dias 23-26: teste sob carga representativa. Reproduza combinações realistas de ordens e picos, incluindo cancelamentos, rejeições e reconexões. Compare a latência dos extremos e as taxas de erro com a linha de base. Teste failover e controle de back-pressure para que um caminho normal mais rápido não crie filas sem controle durante uma desaceleração a jusante.
  7. Dias 27-30: faça um canary e operacionalize. Libere a mudança para uma rota ou fatia limitada do tráfego, monitore os mesmos percentis e métricas de controle e só então amplie a implantação se ela atender aos critérios de aceitação. Documente as etapas de rollback, os limites dos alertas e os responsáveis por cada etapa medida.

Escolha velocidade sem enfraquecer os controles

Algumas mudanças reduzem a latência transferindo o trabalho, em vez de eliminá-lo. Uma verificação de risco assíncrona pode fazer uma confirmação parecer mais rápida, mas também permitir que uma ordem avance antes da conclusão de um controle obrigatório.

Essa não é uma otimização segura, a menos que o desenho de trading e compliance permita isso explicitamente. Mantenha a ordem bloqueada até a aprovação das verificações obrigatórias e deixe o status visível para os sistemas a jusante.

Da mesma forma, caches locais reduzem consultas remotas, mas levantam questões sobre atualização e consistência. Defina a idade máxima de cada limite ou atributo de instrumento em cache, o que acontece quando ele expira e se o serviço falha de forma segura ou encaminha a ordem para um caminho de validação mais lento.

O reaproveitamento de conexões pode reduzir o custo de inicialização, mas a saturação dos pools e ondas de reconexões precisam de limites. O batching melhora o throughput em alguns sistemas, mas pode aumentar o tempo de espera de ordens de baixo volume.

Defina critérios de aceitação que considerem latência e correção. Um teste razoável pode exigir uma redução definida no processamento do broker em P95, mantendo o P99 estável, sem aumento de rejeições, duplicidades, timeouts ou violações dos controles de risco.

Escolha os limites com base na linha de base e nos requisitos de execução da própria empresa. As faixas típicas do mercado podem orientar a investigação, mas não substituem essa linha de base.

Verifique a mudança em produção

Após a liberação, compare condições equivalentes: a mesma rota, classe de instrumento, tipo de ordem e condições de mercado. Acompanhe P50, P95 e P99 do processamento do broker separadamente da resposta do venue. Monitore o tamanho das filas e as taxas de erro no mesmo intervalo. Uma média menor com P99 pior, mais novas tentativas ou aumento de ordens rejeitadas não representa uma melhora consistente.

Mantenha um gatilho de rollback que a equipe de operações possa acionar sem esperar por uma mudança no código. Gere alertas para crescimento sustentado das filas, ausência de respostas do venue, desvio dos relógios e aumento de relatórios duplicados ou atrasados.

Preserve a configuração e exemplos de traces de antes e depois, para que incidentes futuros não recomecem a investigação de memória. Use as medições para decidir se a próxima restrição está no software, na topologia de implantação, na distância da rede ou em um venue externo.

Nesta semana, adicione registros de horário por etapa a uma rota de ordens em produção e publique a linha de base de P50, P95 e P99.

Perguntas frequentes

Como os brokers medem a latência no roteamento de ordens?

Registre o horário de cada etapa, da borda do broker até as verificações de risco, o roteamento, o envio pela rede e a resposta do venue. Use relógios monotônicos para intervalos dentro de um processo e considere a diferença entre os relógios antes de comparar registros de horário entre hosts.

Qual é a latência típica no roteamento de ordens?

Ela varia conforme a localização do cliente, a arquitetura do broker, a distância da rede e o comportamento do venue. Uma etapa de rede com colocação pode levar menos de 1 ms, enquanto uma rota regional pode levar vários milissegundos ou mais. Meça cada rota, em vez de aplicar uma única meta a todas as ordens.

Por que a latência P99 é maior que a latência média?

O P99 representa o 1% mais lento das ordens medidas e revela filas, disputa por recursos, novas tentativas e variações da rede que as médias escondem. Segmente-o por rota e tipo de ordem para identificar onde se forma a cauda.

Verificações de risco mais rápidas sempre melhoram a execução?

Elas podem reduzir o atraso do broker, mas os controles obrigatórios ainda precisam ser concluídos antes que uma ordem avance. Caches e processamento assíncrono exigem regras explícitas de atualização, falha e gerenciamento de estado.

O broker deve otimizar primeiro o gateway ou a rede?

Use medições por etapa com registros de horário para identificar a maior contribuição para o percentil desejado. Otimize essa etapa primeiro e, em seguida, verifique a mudança sob carga representativa, sem piorar as rejeições, os timeouts ou a latência dos extremos.