Teste de carga de uma plataforma de trading antes do lançamento

Telas de uma plataforma de trading ilustram o teste de carga antes do lançamento de um produto
Photo by AlphaTradeZone on Pexels

Defina a carga-alvo com base no modelo de lançamento

A previsão para o dia do lançamento não é a meta do teste. É o ponto de partida. Uma plataforma que dá conta da média esperada ainda pode falhar quando os clientes fazem login ao mesmo tempo, notícias elevam a atividade de ordens ou um feed de preços se reconecta e envia uma enxurrada de atualizações. Teste um pico plausível e, em seguida, verifique o que acontece quando esse pico é ultrapassado.

Monte a previsão com base no produto e no plano de distribuição. Estime contas com recursos, sessões simultâneas, traders ativos e ordens por trader ativo por minuto. São medidas diferentes. A quantidade de sessões diz pouco sobre o fluxo de ordens se a maioria dos usuários está acompanhando preços, enquanto um grupo relativamente pequeno de clientes muito ativos pode dominar o tráfego do gateway.

Use evidências operacionais quando disponíveis: produtos existentes, ambientes de demonstração, previsões de campanhas e o período de trading comparável mais movimentado. Separe a atividade normal dos picos curtos.

Uma campanha de lançamento pode provocar um pico de logins na abertura; um novo instrumento pode concentrar ordens em um conjunto restrito de símbolos. Inclua ambos no modelo e registre as premissas para que possam ser alteradas conforme mudem os planos de marketing ou o perfil dos clientes.

Defina também o que significa "funcionar" antes de executar um teste. Estabeleça objetivos de nível de serviço para aceitação de ordens, verificações de risco, atualizações de preços e visualizações de contas.

Meça a latência em pontos específicos, como o intervalo entre o recebimento no gateway e a confirmação da ordem, em vez de usar um único número vago de ponta a ponta. O local externo de execução, a rede do cliente e o dispositivo acrescentam atrasos que a plataforma não consegue controlar totalmente.

Monte uma carga de trabalho que percorra o fluxo da ordem

Um teste útil faz as transações passarem pelos mesmos componentes usados em produção: autenticação, gerenciamento de sessões, gateway de API ou FIX, risco pré-negociação, gerenciamento de ordens, roteamento, tratamento de execuções, posições e relatórios. Se o teste parar no gateway, não vai revelar um serviço de risco lento nem uma fila no banco de dados que se acumula após vários minutos.

Reproduza a combinação de ações, não apenas uma alta taxa de envio de ordens idênticas. Inclua ordens a mercado e limitadas, alterações, cancelamentos, rejeições, execuções parciais e atualizações de posições. Combine símbolos com diferentes frequências de ticks e tipos de conta com limites realistas. Para uma prop firm, represente as verificações de avaliação, risco e regras da conta aplicáveis a cada ordem. Para um broker, inclua os caminhos de roteamento relevantes e o tratamento dos relatórios de execução.

Use um simulador de local de execução ou um ambiente de teste controlado para a execução externa. Não direcione um teste de estresse a um provedor de liquidez, bolsa ou fonte de dados de mercado em produção sem autorização explícita. Simule tempos de resposta, rejeições e execuções parciais realistas. Caso contrário, um mock irrealisticamente rápido pode ocultar o acúmulo de pressão, enquanto um serviço externo sem controle pode tornar os resultados do teste ruidosos ou gerar risco operacional.

Os valores abaixo são faixas típicas de planejamento, não padrões universais. Escolha valores de acordo com sua previsão, arquitetura e requisitos de lançamento, e documente por que são adequados.

Dimensão do testeFaixa típica de planejamentoO que verificar
Carga sustentada1.2 to 1.5 vezes o pico previsto por 60 to 120 minutosFilas, uso de recursos e latência permanecem estáveis após o aquecimento
Pico curto de ordens1.5 to 2 vezes o pico previsto por 1 to 5 minutosLimites de taxa, comportamento do gateway e recuperação após o pico
Aumento gradual10 to 30 minutos para atingir a carga-alvoSe o crescimento gradual revela um gargalo antes da saturação
Teste prolongado4 to 8 horas, com testes mais longos para processos noturnosCrescimento do uso de memória, vazamentos de conexão, volume de logs e tarefas agendadas
Verificação de recuperaçãoRetorno à carga normal dentro de 5 to 15 minutos após uma falhaProcessamento da fila acumulada, tratamento de duplicidades e integridade dos serviços

Gere usuários, ordens e identificadores de solicitação únicos em uma taxa que não transforme o próprio gerador de carga em um gargalo. Mantenha os geradores próximos o suficiente para minimizar o ruído de rede, mas monitore o uso de CPU e memória, a quantidade de conexões e a taxa de saída.

Um teste útil registra tanto a carga oferecida quanto o trabalho concluído. Se o gerador envia 10,000 solicitações, mas a plataforma processa apenas 8,000, informar a taxa enviada como capacidade é enganoso.

Para mais contexto sobre componentes de plataformas e modelos operacionais, a cobertura de infraestrutura da Trading Technology pode ajudar a definir o que deve estar dentro dos limites do teste.

Execute testes que revelem gargalos e modos de falha

Use uma sequência de testes controlados. Sempre que possível, altere uma variável importante por vez. Comece abaixo do pico previsto para validar o ambiente de teste e a telemetria, depois aumente a concorrência e a taxa de ordens em etapas. Um salto repentino direto para uma meta elevada pode mostrar que algo falhou, mas oferece poucas evidências sobre o ponto em que o desempenho começou a piorar.

  1. Valide o fluxo com carga baixa. Confirme se as contas de teste, os símbolos, as configurações de risco e a simulação de execução se comportam como esperado. Compare as contagens entre o gerador, o gateway, o sistema de ordens e os serviços posteriores para identificar eventos ausentes ou duplicados.
  2. Estabeleça uma linha de base. Registre percentis de latência, taxas de erro e rejeição, profundidade das filas, CPU, memória, conexões com o banco de dados e throughput de rede com uma carga moderada. Capture métricas por serviço, não apenas médias dos servidores. As médias podem ocultar uma partição sobrecarregada ou uma única instância saturada.
  3. Aumente gradualmente até a meta de carga sustentada. Eleve a carga em etapas definidas, por exemplo, incrementos de 25 per cent, e mantenha cada etapa por tempo suficiente para observar filas e percentis. Acompanhe a latência p95 e p99 junto com o throughput. Um p99 crescente com média estável costuma ser um sinal inicial de que uma pequena parcela das solicitações está esperando atrás de uma dependência saturada.
  4. Aplique um pico e faça um teste prolongado. Aplique o pico curto acordado e, em seguida, mantenha o tráfego sustentado por várias horas. Verifique se as filas diminuem após o pico e se o uso de memória, descritores de arquivo, pools de conexão ou armazenamento continua aumentando durante o teste prolongado.
  5. Remova uma dependência por vez. Teste uma resposta de execução atrasada, uma reconexão de dados de mercado, um banco de dados lento ou a perda de um nó. Mantenha as falhas controladas e acordadas com a equipe de operações. Verifique se os timeouts e os disjuntores impedem que uma dependência com falha ocupe todas as threads de trabalho.
  6. Teste a recuperação e a reprodução. Restabeleça o serviço e verifique o processamento da fila acumulada, a conciliação do estado das ordens e a proteção contra duplicidades. Confirme que a recuperação não cria um segundo pico superior ao pico original. Meça o tempo até alcançar um estado estável, não apenas o tempo até uma verificação de integridade ficar verde.
  7. Repita após a correção. Mantenha a mesma carga de trabalho e os mesmos dados de teste para que a comparação antes e depois seja válida. Em seguida, execute uma rodada de regressão em relação à linha de base anterior, pois uma otimização local pode transferir carga para outro serviço.

Correlacione os rastros da aplicação com as métricas de infraestrutura e os registros de data e hora dos eventos. Para cada ordem lenta, descubra onde o tempo se acumulou: fila do gateway, avaliação de risco, chamada ao banco de dados, roteamento ou resposta de execução.

Guarde os resultados brutos e a configuração junto com o identificador do build. É difícil usar um gráfico em uma decisão de lançamento sem a versão testada, o conjunto de dados e o perfil da carga de trabalho.

Fique atento à contenção que testes sintéticos muitas vezes não detectam. Bancos de dados, caches e message brokers compartilhados podem estar ocupados com tarefas administrativas, relatórios ou processos noturnos. Se a produção usar pools ou partições separados, reproduza-os com precisão. Caso contrário, inclua essas cargas concorrentes e decida se o lançamento exige uma janela de manutenção.

Transforme os resultados em uma decisão de lançamento

Capacidade não é um número único. Registre a carga máxima em que o sistema atende aos objetivos de latência e erro e identifique o primeiro componente que se aproxima do limite. Ter folga de CPU não ajuda se um pool de conexões se esgota, e uma confirmação rápida da ordem não prova que as execuções e os saldos das contas estão sendo atualizados corretamente.

Defina os critérios de lançamento com engenharia e operações antes do teste final. Um conjunto prático inclui:

  • Todos os fluxos críticos de ordens são concluídos, com contagens conciliadas e sem diferenças de estado sem explicação.
  • Os percentis de latência e as taxas de erro permanecem dentro dos objetivos definidos para o produto com a carga sustentada-alvo e durante o pico acordado.
  • As filas voltam à faixa normal após picos e falhas, sem acúmulo crescente durante o teste prolongado.
  • O tratamento de falhas, os alertas, os limites de taxa e os procedimentos de rollback funcionam em um exercício controlado.
  • A capacidade tem uma margem declarada acima do pico previsto, com as premissas e as ações de escalabilidade registradas.

As metas típicas de capacidade adicional variam. Uma equipe pode planejar uma margem de 20 to 50 per cent acima de um pico previsto plausível, mas a margem adequada depende da rapidez com que a capacidade pode ser adicionada, da incerteza da adoção e de haver ou não um gargalo compartilhado.

Um serviço em nuvem que escala de forma previsível pode exigir uma reserva diferente de uma estrutura fixa de matching ou risco. Não trate o autoscaling como prova de capacidade: verifique o atraso até o acionamento, o tempo de aquecimento, as cotas e o comportamento durante um pico.

Condicione a decisão de lançamento à prontidão operacional, além do throughput. Defina quem vai monitorar o lançamento, quais dashboards e alertas serão usados, quando a equipe vai pausar a entrada de novos clientes e quem poderá desativar um produto ou uma rota. Estabeleça critérios mensuráveis para rollback, como rejeições de ordens sustentadas acima de uma taxa acordada ou latência p99 fora do objetivo por um período definido. Uma intervenção ensaiada é mais segura do que a expectativa informal de que alguém vai perceber o problema.

Se esta fosse a minha operação, eu começaria montando um modelo de carga de trabalho com base na previsão de lançamento e no período mais movimentado comparável em produção, e depois validaria cada etapa com transações de baixo volume. Não aprovaria o lançamento até que um teste sustentado, um pico e um teste de recuperação passassem pelos critérios acordados no build de lançamento.

Perguntas frequentes

Qual carga uma plataforma de trading deve suportar antes do lançamento?

Use a previsão de lançamento como linha de base e teste acima dela. As faixas típicas de planejamento são de 1.2 to 1.5 vezes o pico previsto para carga sustentada e de 1.5 to 2 vezes o pico para um pico curto, ajustadas à incerteza e à capacidade de escalabilidade disponível.

Quanto tempo deve durar um teste de carga de uma plataforma de trading?

Um teste sustentado de 60 to 120 minutos pode revelar problemas de filas e latência, enquanto um teste prolongado de 4 to 8 horas pode revelar vazamentos e crescimento do uso de recursos. Prolongue o teste se a plataforma tiver processamento noturno ou cargas agendadas que afetem a produção.

O que deve ser incluído no teste de carga de uma plataforma de broker?

Teste autenticação, gateways, risco pré-negociação, gerenciamento de ordens, roteamento, relatórios de execução, posições e relatórios. Inclua uma combinação realista de tipos de ordens, cancelamentos, alterações, rejeições, execuções parciais e atividade de dados de mercado.

É possível fazer testes de carga com um provedor de liquidez em produção?

Somente com autorização explícita e controles adequados. Um simulador de local de execução costuma ser mais seguro para testes de estresse e falhas, desde que reproduza tempos de resposta, rejeições e execuções parciais realistas.