Por que limites de API de brokers viram incidentes
Um limite de API de broker mal gerenciado pode custar a uma empresa de pequeno porte de $5,000 a $50,000 em horas de trabalho da equipe, escalonamento com o fornecedor e correções durante um incidente de 30 minutos, antes de qualquer compensação a clientes ou perda de receita de trading. Essa é uma faixa operacional plausível, não um número auditado. O risco maior é um caminho de controle que deixa de responder durante um pico do mercado.
Um limite raramente é um único número simples de requisições por segundo. Um provedor pode aplicar cotas separadas por chave de API, conta, endereço IP, endpoint, tipo de ordem ou sessão.
A empresa também pode ter limites próprios em um gateway de API, service mesh ou sistema de risco. Se uma camada retorna HTTP 429 enquanto outra continua enviando requisições, as filas se enchem e as novas tentativas amplificam a carga.
Mapeie os limites das cotas
Comece registrando os limites documentados de cada provedor e validando-os com a equipe responsável pela conta. Identifique quais limites são compartilhados entre serviços e quais se aplicam por conta ou endpoint.
Registre se o provedor retorna um cabeçalho Retry-After, reinicia uma janela fixa ou usa uma janela móvel ou um token bucket. A documentação pode ficar desatualizada em relação à implementação, portanto trate o comportamento observado como evidência, não como permissão para exceder um limite publicado.
Para cada endpoint, registre as taxas normais e de pico de requisições, a simultaneidade, os códigos de resposta e a latência. Separe leituras, como saldos e metadados de instrumentos, de envio e cancelamento de ordens e verificações de risco. Um loop de consulta periódica inofensivo às 09:00 pode competir com o tráfego de ordens em um mercado acelerado.
Decida o que passa
Defina classes de tráfego antes de projetar as novas tentativas. O envio e o cancelamento de ordens e os controles de risco não devem ficar atrás de dashboards, consultas históricas ou tráfego de atualização de clientes.
Defina como cada classe se comporta diante da cota local e da cota do provedor. A cobertura de infraestrutura de brokers da Trading Technology oferece contexto sobre os sistemas e as restrições operacionais envolvidos nessas decisões.
Dias 1 a 7: meça e defina a política
Use a primeira semana para criar um inventário de endpoints e uma linha de base. Reúna pelo menos 14 dias de logs de requisições, se disponíveis, incluindo uma sessão volátil ou um evento de mercado programado.
Registre provedor, conta, endpoint, código de resposta, latência, contagem de novas tentativas e finalidade da requisição. Evite registrar credenciais ou payloads completos que contenham dados pessoais.
As faixas típicas do mercado variam conforme o provedor e o contrato. Esses números são premissas de planejamento para testes iniciais de capacidade, não garantias de acesso. Confirme os limites reais com cada provedor de API antes de definir os thresholds de produção.
| Padrão de API | Faixa típica de mercado | Implicação para o projeto |
|---|---|---|
| Cota de leitura REST por chave ou conta | 5 a 100 requisições por segundo | Armazene em cache dados de referência estáveis e limite as consultas periódicas |
| Cota de envio de ordens | 1 a 20 ordens por segundo | Reserve capacidade para os caminhos de ordens e de risco |
| Permissão para picos curtos | 2 a 10 vezes a taxa sustentada | Não trate a capacidade de pico como uma taxa contínua |
| Retry-After ou atraso de recuperação | 1 a 30 segundos, quando informado | Respeite a resposta e evite novas tentativas sincronizadas |
Transforme o inventário em uma política por escrito. Defina um teto local abaixo da cota do provedor, normalmente entre 70 e 85 por cento da taxa sustentada documentada, para deixar margem para uso compartilhado e erros de medição. Designe um responsável nominal por cada conexão com provedor e um contato para escalonamento de mudanças nas cotas.
- Documente os limites por conta, endpoint e classe de requisição.
- Defina orçamentos por serviço e um orçamento para toda a empresa no caso de credenciais compartilhadas.
- Decida quais requisições podem ser atrasadas, armazenadas em cache, agrupadas ou rejeitadas.
- Defina alertas para uso sustentado, respostas 429, idade da fila e volume de novas tentativas.
Dias 8 a 21: implemente o plano de controle
Crie um componente de controle de taxa para cada conexão com provedor, em vez de deixar cada serviço implementar sua própria interpretação. Um token bucket é útil quando são permitidos picos curtos: os tokens são repostos à taxa sustentada, enquanto a capacidade do bucket define o pico máximo.
Um leaky bucket ou uma fila com ritmo controlado gera uma saída mais estável quando o provedor espera uma taxa constante. Em qualquer uma das abordagens, é preciso um limite de simultaneidade separado se as requisições puderem permanecer em andamento por muito tempo.
Defina novas tentativas limitadas e seguras
Em caso de HTTP 429, respeite primeiro o Retry-After, se estiver presente. Caso contrário, use backoff exponencial com jitter completo, por exemplo, um atraso aleatório entre zero e um teto que aumenta de 250 milissegundos para 8 segundos.
Defina um número máximo de tentativas e um prazo total. Uma nova tentativa que chega depois que a operação de negócio já não é mais útil deve ser descartada, não enviada só porque uma biblioteca genérica permite isso.
Não repita automaticamente todas as falhas. Um timeout após o envio de uma ordem deixa o resultado incerto: o provedor pode ter aceitado a ordem mesmo que o cliente não tenha recebido a resposta. Use uma chave de idempotência quando a API oferecer suporte ou reconcilie o estado da ordem antes de reenviá-la. Trate erros de validação e a maioria das outras respostas 4xx como não passíveis de nova tentativa. Para respostas 5xx, use novas tentativas limitadas e circuit breaking, com regras separadas para endpoints de leitura e de ordens.
Proteja o tráfego crítico
Use filas prioritárias com reservas explícitas de capacidade. Por exemplo, reserve uma parte do orçamento local para envio de ordens, cancelamentos e ações de risco, e permita que leituras de prioridade mais baixa usem o restante. A divisão exata depende da carga de trabalho. Um teste inicial poderia reservar de 60 a 80 por cento para trading e ações de segurança, mas meça se isso deixa capacidade ociosa em períodos tranquilos.
Armazene em cache metadados de instrumentos e outras respostas que mudam lentamente. Agrupe leituras simultâneas idênticas e distribua as atualizações programadas com jitter para que os clientes não consultem todos ao mesmo tempo, a cada minuto. Adicione limites e prazos de expiração às filas. Uma fila sem limite transforma uma resposta de cota em trabalho atrasado e obsoleto, que pode chegar depois que as condições do mercado mudaram.
Exponha métricas de requisições por endpoint e classe, tokens concedidos e negados, respostas 429, novas tentativas, profundidade da fila, idade da requisição mais antiga na fila, chamadas em andamento e estado do circuit breaker. Gere alertas com base em taxas e tendências, não em cada resposta 429 isolada. Um primeiro gatilho útil é o uso da cota acima de 80 por cento durante cinco minutos, acompanhado de um alerta mais urgente quando as taxas de rejeição ou a idade da fila aumentarem.
Dias 22 a 30: teste falhas e opere o sistema
Use os nove dias finais para validar o comportamento sob carga controlada. Teste o tráfego normal, um pico de duas vezes, um provedor que retorna 429 com Retry-After, cabeçalhos ausentes, respostas lentas, timeouts e um breve pico de respostas 5xx. Verifique se o cliente respeita as cotas entre vários serviços que compartilham uma chave. Teste também uma reinicialização: um processo que esquece seu orçamento local pode gerar um pico imediatamente após a implantação.
Verifique os seguintes resultados em um ambiente de staging ou por meio de uma instalação de testes aprovada pelo provedor:
- Leituras de baixa prioridade reduzem a carga antes do tráfego de ordens e de risco.
- As novas tentativas são espaçadas, param dentro do prazo e não duplicam ordens.
- As filas permanecem limitadas e as requisições expiradas são descartadas.
- Os operadores conseguem identificar o provedor, a conta e o endpoint afetados em um único dashboard.
- A recuperação não libera o backlog mais rápido do que a cota do sistema downstream permite.
Escreva um runbook curto com o responsável pela cota, o contato do provedor, links para dashboards e ações seguras. Inclua quando pausar consultas periódicas não críticas, reduzir as taxas de atualização ou desativar um recurso. Não instrua os operadores a aumentar limites ou reenviar ordens em fila sem verificar a cota do provedor e o estado das ordens.
Revise a política após cada mudança do provedor, nova conexão de conta ou aumento significativo do tráfego. Mantenha as premissas de cotas sob controle de versão e inclua-as na revisão de releases. Isso evita que um limite se torne uma dependência não documentada, que só aparece durante um incidente.
Nesta semana, designe um responsável por uma conexão com provedor e produza o inventário de cotas por endpoint.
Perguntas frequentes
O que um cliente de API de broker deve fazer após HTTP 429?
Respeite o cabeçalho Retry-After se o provedor enviar um. Caso contrário, aplique backoff exponencial com jitter, um número máximo de tentativas e um prazo total. Não permita que todos os clientes tentem novamente ao mesmo tempo.
As requisições de ordens devem ser repetidas automaticamente?
Somente quando for possível determinar que o resultado é seguro. Pode ocorrer um timeout depois que o provedor aceitou uma ordem, portanto use uma chave de idempotência, se houver suporte, ou reconcilie o estado da ordem antes de reenviá-la.
Que margem um broker deve manter abaixo de uma cota de API?
Um ponto de partida prático é limitar o uso local sustentado a 70 a 85 por cento do limite documentado. Ajuste após medir o tráfego com chave compartilhada, o comportamento do provedor e os picos.
Que tráfego de API de broker deve ter prioridade?
Em geral, o envio e o cancelamento de ordens e os controles de risco devem ter prioridade sobre dashboards, consultas históricas e atualizações de rotina. Defina orçamentos explícitos para que leituras de prioridade mais baixa não consumam a capacidade necessária para trading e ações de segurança.
Como uma empresa deve testar o throttling de API?
Teste o tráfego normal e de pico, respostas 429, tratamento de Retry-After, timeouts, respostas lentas e erros do provedor em staging ou em uma instalação de testes aprovada. Verifique se as filas têm limites, se as ordens são reconciliadas com segurança e se a recuperação é controlada, sem enviar um pico de backlog.
Plataformas · Software · Provedores · Mercados