Recuperação de desastres para uma carteira de trading ativa exige failover medido

Racks de servidores usados para dar suporte à recuperação de desastres de uma carteira de trading ativa
Photo by panumas nikhomkhai on Pexels

Recuperação de desastres é o processo de restabelecer um serviço de trading após uma falha disruptiva.

No entanto, para uma carteira de trading ativa, restaurar os servidores não significa necessariamente recuperar o serviço. Ordens podem ter chegado a uma venue sem confirmação, o estado de risco pode estar defasado em relação às execuções, e um segundo site pode conseguir enviar ordens enquanto o primeiro ainda está ativo. A recuperação precisa restabelecer uma carteira consistente e controlada, não apenas a disponibilidade da aplicação.

Defina o que significa recuperar a carteira

Comece definindo os limites do serviço. Ele pode incluir gateways de clientes, gerenciamento de ordens, verificações de risco, precificação, dados de mercado, sessões com venues, registros de posições e caixa, além dos controles operacionais que podem interromper o trading. Um objetivo de recuperação que abranja apenas o banco de dados de gerenciamento de ordens deixa modos de falha importantes fora do plano.

Mapeie o estado de acordo com sua fonte de verdade e com as consequências de ele estar desatualizado. Muitas vezes, é possível reconstruir uma posição a partir de execuções e ajustes. O estado de uma ordem é mais difícil: uma solicitação pode ser enviada e aceita por uma venue, mas se perder antes que a resposta chegue ao broker. O sistema local não pode presumir com segurança que a ordem foi rejeitada nem reenviá-la como uma nova ordem. Tratar isso como uma simples restauração do banco de dados pode criar exposição duplicada.

Para cada componente, registre se o estado é autoritativo, derivado ou descartável. Defina um limite de recuperação, um método de reconciliação e um responsável para cada item. Um inventário útil inclui:

  • Identificadores de ordens de clientes, identificadores de ordens nas venues, números de sequência e o último estado confirmado da ordem.
  • Execuções, alocações, correções e cancelamentos de execuções, com sua origem e seu status de processamento.
  • Posições, caixa, uso de margem e limites de risco, incluindo o horário e a sequência da última atualização.
  • Sessões com venues, canais de dados de mercado, versões de dados de referência e solicitações de cancelamento ou substituição pendentes.
  • Credenciais, rotas de rede, certificados, DNS e as permissões necessárias para ativar o site de recuperação.

Defina também o momento em que a entrada de novas ordens deve parar. Um failover que restabelece a conectividade, mas não consegue determinar se a exposição está dentro dos limites, não é uma recuperação segura. Para os instrumentos ou as contas afetados, o sistema deve bloquear novas operações até que a reconciliação atinja um limite acordado.

Meça a recuperação como um conjunto de limites

O objetivo de tempo de recuperação (RTO) mede por quanto tempo um serviço pode ficar indisponível antes de ultrapassar seu limite operacional. O objetivo de ponto de recuperação (RPO) mede quanta perda de estado a empresa pode tolerar. Nenhuma das métricas, isoladamente, indica se é seguro operar com a carteira recuperada. Meça separadamente o tempo para restabelecer o serviço e o tempo para estabelecer um estado confiável.

As faixas abaixo são valores típicos para planejamento, não resultados auditados nem metas universais. Os limites reais dependem das regras das venues, da arquitetura, do horário de mercado, da distância de replicação de dados e da tolerância a risco da empresa.

MétricaFaixa típica para planejamentoO que medir
RPO de ordens e execuções0 to 1 secondEntrada de journal mais antiga ainda não replicada, além da reconciliação de ordens com status incerto na venue.
RPO de estado de risco e posições0 to 5 secondsIdade do último snapshot de posições consistente com o risco, verificado em relação ao journal de execuções.
RTO de serviços essenciais30 seconds to 5 minutesTempo entre a declaração do incidente e o momento em que o serviço aceita tráfego de produção controlado.
Recuperação de venues e dados de mercado1 to 30 secondsEstabelecimento de sessão, recuperação de sequência ou reprodução de lacunas, e confirmação de que o estado do feed está atualizado.
Capacidade de standby50% to 100% of peak loadVazão sustentável de ordens, dados de mercado e verificações de risco no site de recuperação.

Informe percentis e os piores resultados observados, não apenas médias. Um failover mediano de 40 seconds pode ocultar uma cauda de two-minute causada pela obtenção de certificados ou por uma alteração manual de rede. Acompanhe separadamente os intervalos de detecção, decisão, restauração do serviço, reconciliação do estado e autorização para retomar o trading. Assim, é possível identificar se o atraso decorre da tecnologia ou de um controle necessário.

Meça o atraso de replicação nas camadas do journal da aplicação e do banco de dados. Uma réplica do banco de dados pode apresentar pouco atraso enquanto um consumidor assíncrono está defasado, deixando posições ou limites desatualizados.

Gere alertas tanto para o atraso quanto para a idade do último evento processado. Para uma visão prática de como as dependências da plataforma se conectam, a cobertura de infraestrutura da Trading Technology pode complementar os mapas internos de serviços e a documentação dos fornecedores.

Projete o failover para lidar com ambiguidades e manter o controle

Arquiteturas ativo-passivo reduzem a chance de dois sites operarem ao mesmo tempo, mas o standby pode ter um estado desatualizado ou capacidade insuficiente. Arquiteturas ativo-ativo podem reduzir a interrupção e compartilhar a carga, mas exigem uma definição clara de responsabilidades por ordens, decisões de risco e gravações. Se os dois sites puderem criar ou alterar a mesma ordem, uma partição de rede pode transformar disponibilidade em atividade duplicada.

Use mecanismos de fencing para impedir que o antigo site primário envie ordens após a transferência da titularidade. Uma decisão baseada em lease ou quorum deve ser aplicada no ponto de conectividade com a venue, e não apenas registrada em um painel de controle.

Sempre que possível, isole o site antigo na camada de rede ou de credenciais. Os operadores precisam de evidências de que o antigo processo de gravação está bloqueado antes de habilitar o novo.

Estruture a sequência de cutover em torno de etapas explícitas:

  1. Declare o incidente e identifique o domínio de falha afetado. Confirme se o primário está degradado, isolado ou ainda consegue enviar tráfego.
  2. Bloqueie o antigo processo de gravação. Verifique se as sessões com venues e as rotas de saída de ordens foram desativadas e registre as evidências do bloqueio.
  3. Promova o standby e restabeleça as dependências na ordem, incluindo configuração, segredos, dados de referência, dados de mercado e conectividade com venues.
  4. Reconcilie o journal de ordens com as cópias de drop copy das venues, os relatórios de execução e as consultas de ordens abertas. Sinalize ordens incertas para tratamento controlado, em vez de reenviá-las às cegas.
  5. Reconstrua ou verifique as posições e o uso de risco. Aplique limites conservadores ou desative os símbolos afetados até que o estado recuperado passe pelas verificações acordadas.
  6. Habilite um fluxo restrito, monitore rejeições, latência, lacunas de sequência e exposição, depois aumente os limites por etapas, com um responsável identificado pela decisão.

Nem todas as venues oferecem o mesmo caminho de recuperação. Números de sequência de sessão, comportamento de reenvio, configurações de cancelamento em caso de desconexão e persistência de ordens variam.

Teste a combinação exata de venue, gateway e configuração de conta. Uma política de desconexão para todo o mercado pode cancelar ordens que um broker esperava manter ativas, enquanto uma reconexão pode revelar ordens aceitas antes da falha.

Mantenha o kill switch independente do caminho da aplicação que ele controla. Documente quem pode acioná-lo, qual escopo ele afeta e como sua ação é verificada. Durante a recuperação, limites de taxa para novas ordens e restrições a instrumentos podem reduzir as consequências de um estado imperfeito sem exigir a interrupção total do serviço.

Teste as medições, não apenas o runbook

Um exercício bem-sucedido não é aquele em que um painel fica verde. Ele demonstra que a empresa consegue detectar uma falha definida, impedir processos de gravação simultâneos, reconstruir a carteira e retomar as operações dentro dos limites medidos. Teste modos de falha que afetam o estado, além da infraestrutura: replicação atrasada, confirmação perdida, reinicialização de sessão com uma venue, dados de referência desatualizados e perda do site primário durante um pico de execuções.

Realize exercícios de mesa para decisões que não podem ser automatizadas e, depois, programe testes técnicos de failover em um ambiente controlado. Quando testes em produção forem autorizados, defina previamente o escopo, as condições de mercado, os contatos das venues e os critérios de reversão. Registre os horários de monitoramento, logs de gateway, offsets do journal e mensagens das venues usando relógios sincronizados. Sem uma referência de tempo comum, a reconstrução do incidente pode confundir a ordem dos eventos.

Após cada teste, compare os resultados observados com o RTO, o RPO e os limites de reconciliação acordados. Atribua responsáveis e prazos para resolver as lacunas. Evidências úteis incluem:

  • Atraso máximo e por percentil na replicação, inclusive sob carga de gravação de pico.
  • Tempo para detectar, bloquear, promover, reconciliar e autorizar o trading, registrado separadamente.
  • Número de ordens ou execuções que exigiram investigação manual e tempo para resolvê-las.
  • Vazão e latência no standby, com verificações de risco habilitadas e volume realista de dados de mercado.
  • Confirmação de que os controles de acesso, alertas, registros de auditoria e kill switches funcionam no site de recuperação.

Repita os testes após mudanças relevantes em gateways, bancos de dados, regiões de nuvem, conectividade com venues ou serviços de risco. Revise o runbook com a equipe de operações que tomará as decisões durante um incidente, não apenas com seus autores.

Mantenha atualizados os contatos, os procedimentos de credenciais e os canais de escalonamento dos fornecedores. A documentação de recuperação que depende de um administrador indisponível ou de um certificado expirado não é um controle operacional.

Esta orientação não se aplica sem alterações quando uma venue, um regulador ou um acordo de compensação exige uma sequência específica de recuperação ou proíbe o failover unilateral de sessão. Nesses casos, o processo externo obrigatório tem precedência, e o projeto de recuperação deve ser estruturado em torno dele.

Perguntas frequentes

Qual RPO um sistema de trading ativo deve buscar?

As faixas típicas de planejamento colocam o estado de ordens e execuções em 0 to 1 second, enquanto o estado de risco e posições costuma ter como meta 0 to 5 seconds. A meta só é útil se a empresa conseguir reconciliar ordens e execuções incertas antes de retomar o trading.

Como evitar ordens duplicadas durante o failover?

Bloqueie o antigo primário para que ele não possa enviar ordens e, em seguida, estabeleça a titularidade na camada de conectividade com a venue antes de habilitar o standby. Reconcilie o journal de ordens com os relatórios da venue e as consultas de ordens abertas, e não tente reenviar às cegas solicitações com resultados incertos.

Com que frequência a recuperação de desastres de trading deve ser testada?

Faça testes após mudanças relevantes na infraestrutura de trading, na rede, na configuração das venues ou nos serviços de risco, e programe exercícios recorrentes que abranjam decisões técnicas e operacionais. A frequência deve refletir os riscos e as obrigações da empresa, e as evidências medidas devem ser mantidas a cada teste.