La recuperación ante desastres es el proceso de restablecer un servicio de trading después de un fallo disruptivo.
Sin embargo, en un libro de trading activo, restaurar los servidores no significa necesariamente que se haya recuperado el servicio. Puede que las órdenes hayan llegado a un centro de negociación sin recibir confirmación, que el estado de riesgo vaya por detrás de las ejecuciones y que un segundo sitio pueda enviar operaciones mientras el primero sigue activo. La recuperación debe restablecer un libro coherente y controlado, no solo la disponibilidad de las aplicaciones.
Definir qué significa recuperar el libro
Empiece por definir los límites del servicio. Puede incluir pasarelas de clientes, gestión de órdenes, controles de riesgo, precios, datos de mercado, sesiones con centros de negociación, registros de posiciones y efectivo, y los controles operativos que pueden detener el trading. Un objetivo de recuperación que solo abarque la base de datos de gestión de órdenes deja fuera del plan modos de fallo importantes.
Clasifique el estado según su fuente de verdad y las consecuencias de que esté desactualizado. A menudo, una posición puede reconstruirse a partir de ejecuciones y ajustes. El estado de una orden es más difícil: una solicitud puede enviarse, ser aceptada por un centro de negociación y perderse antes de que la respuesta llegue al broker. El sistema local no puede dar por hecho que la orden se rechazó ni volver a enviarla como una orden nueva. Tratarlo como una simple restauración de la base de datos puede generar una exposición duplicada.
Para cada componente, registre si el estado es autoritativo, derivado o descartable. Asigne a cada elemento un límite de recuperación, un método de conciliación y un responsable. Un inventario útil incluye:
- Identificadores de órdenes de clientes, identificadores de órdenes del centro de negociación, números de secuencia y el último estado confirmado de la orden.
- Ejecuciones, asignaciones, correcciones y anulaciones, con su origen y estado de procesamiento.
- Posiciones, efectivo, uso de margen y límites de riesgo, incluida la marca de tiempo y la secuencia de la última actualización.
- Sesiones con centros de negociación, canales de datos de mercado, versiones de datos de referencia y solicitudes pendientes de cancelación o modificación.
- Credenciales, rutas de red, certificados, DNS y permisos necesarios para activar el sitio de recuperación.
Defina también el momento en que se detiene la entrada de nuevas órdenes. Un failover que restablece la conectividad, pero no permite determinar si la exposición está dentro de los límites, no es una recuperación segura. El sistema debe bloquear la operativa de los instrumentos o las cuentas afectados hasta que la conciliación alcance un umbral acordado.
Medir la recuperación mediante límites
El objetivo de tiempo de recuperación (RTO) mide cuánto tiempo puede permanecer indisponible un servicio antes de que se supere su límite operativo. El objetivo de punto de recuperación (RPO) mide cuánta pérdida de estado puede tolerar la empresa. Ninguna de estas métricas, por sí sola, indica si es seguro operar con el libro recuperado. Mida por separado el tiempo necesario para restablecer el servicio y el tiempo necesario para establecer un estado fiable.
Los rangos siguientes son rangos de planificación habituales, no resultados auditados ni objetivos universales. Los límites reales dependen de las reglas del centro de negociación, la arquitectura, el horario de mercado, la distancia de replicación de datos y el apetito de riesgo de la empresa.
| Métrica | Rango habitual de planificación | Qué medir |
|---|---|---|
| RPO de órdenes y ejecuciones | 0 to 1 second | La entrada del diario de transacciones no replicada más antigua, además de la conciliación de órdenes cuyo estado en el centro de negociación es incierto. |
| RPO del estado de riesgo y posiciones | 0 to 5 seconds | Antigüedad de la última instantánea de posiciones coherente con el riesgo, contrastada con el diario de ejecuciones. |
| RTO de los servicios principales | 30 seconds to 5 minutes | Tiempo desde la declaración del incidente hasta que el servicio acepta tráfico de producción controlado. |
| Recuperación de centros de negociación y datos de mercado | 1 to 30 seconds | Establecimiento de sesiones, recuperación de secuencias o reproducción de brechas, y confirmación de que el estado de los flujos está actualizado. |
| Capacidad en espera | 50% to 100% of peak load | Capacidad sostenible de procesamiento de órdenes, datos de mercado y controles de riesgo en el sitio de recuperación. |
Informe de percentiles y de los peores resultados observados, no solo de promedios. Un failover mediano de 40 seconds puede ocultar una demora de dos minutos causada por la obtención de certificados o un cambio manual de red. Registre por separado los intervalos de detección, toma de decisiones, restablecimiento del servicio, conciliación del estado y autorización para reanudar el trading. Así se puede determinar si la demora se debe a la tecnología o a un control necesario.
Mida la demora de replicación en las capas del diario de transacciones de la aplicación y de la base de datos. Una réplica de base de datos puede mostrar una demora baja mientras un consumidor asíncrono acumula retraso, lo que deja desactualizadas las posiciones o los límites.
Genere alertas tanto por la demora como por la antigüedad del último evento procesado. Para conocer de forma práctica cómo encajan las dependencias de la plataforma, la cobertura de infraestructura de Trading Technology puede complementar los mapas de servicios internos y la documentación de proveedores.
Diseñar el failover teniendo en cuenta la ambigüedad y el control
Los diseños activo-pasivo reducen la posibilidad de que dos sitios operen a la vez, pero el sitio en espera puede tener un estado desactualizado o una capacidad insuficiente. Los diseños activo-activo pueden acortar la interrupción y distribuir la carga, pero requieren una titularidad clara de las órdenes, las decisiones de riesgo y las escrituras. Si ambos sitios pueden crear o modificar la misma orden, una partición de red puede convertir la disponibilidad en actividad duplicada.
Utilice mecanismos de fencing para impedir que el sistema primario anterior envíe órdenes después de que se transfiera la titularidad. La concesión de un lease o una decisión de quórum debe aplicarse en el punto de conectividad con el centro de negociación, no limitarse a quedar registrada en un panel de control.
Siempre que sea posible, aísle el sitio anterior en la capa de red o de credenciales. Los operadores necesitan pruebas de que el sistema que escribía en el sitio anterior está bloqueado antes de habilitar el nuevo.
Organice la secuencia de transición en torno a etapas explícitas:
- Declare el incidente e identifique el dominio de fallo afectado. Confirme si el sistema primario está degradado, aislado o aún puede enviar tráfico.
- Bloquee el sistema anterior que escribía. Verifique que sus sesiones con los centros de negociación y sus rutas de salida para órdenes estén deshabilitadas y registre las pruebas del bloqueo.
- Promueva el sistema en espera y restablezca las dependencias en orden, incluidas la configuración, los secretos, los datos de referencia, los datos de mercado y la conectividad con los centros de negociación.
- Concilie el diario de órdenes con las copias drop copy de los centros de negociación, los informes de ejecución y las consultas de órdenes abiertas. Marque las órdenes inciertas para gestionarlas de forma controlada en lugar de volver a enviarlas a ciegas.
- Reconstruya o verifique las posiciones y el uso de riesgo. Aplique límites conservadores o deshabilite los símbolos afectados hasta que el estado recuperado supere las comprobaciones acordadas.
- Habilite un flujo restringido, supervise los rechazos, la latencia, las brechas de secuencia y la exposición, y luego aumente los límites por etapas con un responsable de la decisión identificado.
No todos los centros de negociación admiten la misma ruta de recuperación. Los números de secuencia de las sesiones, el comportamiento de reenvío, la configuración de cancelación al desconectarse y la persistencia de las órdenes varían.
Pruebe la combinación exacta de centro de negociación, pasarela y configuración de cuenta. Una política de desconexión general para el mercado puede cancelar órdenes que el broker esperaba que siguieran activas, mientras que una reconexión puede revelar órdenes que se aceptaron antes del fallo.
Mantenga el interruptor de emergencia independiente de la ruta de la aplicación que controla. Documente quién puede activarlo, qué alcance tiene y cómo se verifica su acción. Durante la recuperación, los límites de frecuencia de las nuevas órdenes y la restricción de instrumentos pueden limitar las consecuencias de un estado imperfecto sin exigir el cierre total del servicio.
Probar las mediciones, no solo el procedimiento
Un ejercicio no tiene éxito simplemente porque un panel se ponga en verde. Debe demostrar que la empresa puede detectar un fallo definido, impedir que haya dos sistemas escribiendo, reconstruir el libro y reanudar la actividad dentro de los límites medidos. Pruebe modos de fallo que afecten tanto al estado como a la infraestructura: retraso de la replicación, pérdida de una confirmación, reinicio de una sesión con un centro de negociación, datos de referencia desactualizados y pérdida del sitio primario durante un pico de ejecuciones.
Realice ejercicios de simulación para las decisiones que no pueden automatizarse y, después, programe pruebas técnicas de failover en un entorno controlado. Cuando se autoricen pruebas en producción, defina de antemano el alcance, las condiciones de mercado, los contactos de los centros de negociación y los criterios para volver atrás. Capture marcas de tiempo de la supervisión, los registros de las pasarelas, los offsets del diario y los mensajes de los centros de negociación con relojes sincronizados. Sin una referencia temporal común, la reconstrucción de un incidente puede confundir el orden de los acontecimientos.
Después de cada prueba, compare los resultados observados con los RTO, RPO y umbrales de conciliación acordados. Asigne responsables y plazos para resolver las brechas. Entre las pruebas útiles se incluyen:
- La demora máxima y por percentil de la replicación, incluida la demora bajo la carga máxima de escritura.
- El tiempo necesario para detectar, bloquear, promover, conciliar y autorizar el trading, registrado por separado.
- El número de órdenes o ejecuciones que requieren investigación manual y el tiempo necesario para resolverlas.
- El rendimiento y la latencia del sitio en espera, con los controles de riesgo habilitados y un volumen realista de datos de mercado.
- La confirmación de que los controles de acceso, las alertas, los registros de auditoría y los interruptores de emergencia funcionan desde el sitio de recuperación.
Repita las pruebas después de cambios importantes en las pasarelas, las bases de datos, las regiones de la nube, la conectividad con los centros de negociación o los servicios de riesgo. Revise el procedimiento con el personal de operaciones que tomará las decisiones durante un incidente, no solo con quienes lo redactaron.
Mantenga actualizados los contactos, los procedimientos de credenciales y las vías de escalamiento de proveedores. La documentación de recuperación que depende de un administrador no disponible o de un certificado caducado no es un control operativo.
Este consejo no se aplica sin cambios cuando un centro de negociación, un regulador o un acuerdo de compensación exige una secuencia de recuperación específica o prohíbe el failover unilateral de sesiones. En esos casos, prevalece el proceso externo exigido y el diseño de recuperación debe construirse en torno a él.
Preguntas frecuentes
¿Qué RPO debería fijarse como objetivo para un sistema de trading activo?
Los rangos habituales de planificación sitúan el estado de las órdenes y las ejecuciones entre 0 to 1 second, y el estado de riesgo y posiciones suele tener como objetivo 0 to 5 seconds. El objetivo solo es útil si la empresa puede conciliar las órdenes y ejecuciones inciertas antes de restablecer el trading.
¿Cómo se evitan las órdenes duplicadas durante un failover?
Bloquee el sistema primario anterior para que no pueda enviar órdenes y establezca la titularidad en la capa de conectividad con el centro de negociación antes de habilitar el sistema en espera. Concilie el diario de órdenes con los informes del centro de negociación y las consultas de órdenes abiertas, y no vuelva a enviar a ciegas solicitudes cuyo resultado sea incierto.
¿Con qué frecuencia se debe probar la recuperación ante desastres de trading?
Haga pruebas después de cambios importantes en la infraestructura de trading, la red, la configuración de los centros de negociación o los servicios de riesgo, y programe ejercicios periódicos que abarquen tanto las decisiones técnicas como las operativas. La frecuencia debe reflejar el riesgo y las obligaciones de la empresa, y se deben conservar pruebas con mediciones de cada ejercicio.
Plataformas · Software · Proveedores · Mercados