Los datos históricos de mercado no son baratos solo porque el almacenamiento de objetos lo sea.
Para un broker, los archivos almacenados son solo una parte de la factura. Hay que capturar, normalizar, indexar y conservar un año de cotizaciones y operaciones con contexto suficiente para reproducir lo que vio la plataforma.
Después, alguien tiene que volver a procesar los datos mediante servicios que pueden incluir precios, riesgo, enrutamiento de órdenes y ejecución. Esos trabajos tienen perfiles de costes muy distintos.
Tomemos como ejemplo un broker multiactivo representativo que procesa unos 120 GB de eventos de mercado sin procesar al día. Es un ejemplo de planificación, no un resultado auditado de una empresa concreta. Con aproximadamente 1.2 billion de registros al día y un tamaño medio de registro cercano a 100 bytes, se trata de una carga de trabajo creíble para una plataforma que captura actualizaciones frecuentes de cotizaciones en FX, metales, índices y determinadas acciones.
Empezar por lo que debe capturar la plataforma
Los archivos de datos de mercado suelen crecer porque los equipos conservan más que el precio y la marca de tiempo necesarios para un gráfico. Un replay que deba reproducir una decisión también puede requerir el centro de negociación de origen, la correspondencia de instrumentos, el número de secuencia, los tamaños de compra y venta, el estado del feed, la versión de normalización y el reloj utilizado por el servicio consumidor.
Separe los flujos antes de calcular el almacenamiento. Un inventario viable suele distinguir entre:
- Mensajes de feed sin procesar, conservados tal como se reciben para investigar el feed y los cambios del analizador.
- Eventos normalizados de cotizaciones y operaciones, utilizados para el replay y la investigación de datos de mercado.
- Eventos de la plataforma, como solicitudes de órdenes, decisiones de riesgo, rechazos y ejecuciones, almacenados con identificadores de correlación.
- Datos de configuración y referencia, incluidas definiciones de símbolos, sesiones de trading y precisión de precios.
En muchos sistemas, los dos últimos grupos son más pequeños que el archivo de cotizaciones, pero pueden ser esenciales para que un replay tenga sentido. Una serie de precios sin el mapa de instrumentos o el calendario de sesiones puede parecer completa y, aun así, producir un resultado distinto del sistema en vivo.
Para obtener información operativa sobre plataformas de brokers y sus dependencias, la cobertura de infraestructura de Trading Technology es un recurso útil junto con los manuales internos de operaciones.
Calcular el almacenamiento de un año
Con 120 GB al día, 365 días de datos de entrada sin procesar suman unos 44 TB. Una compresión de 2.5:1 reduce el archivo normalizado a alrededor de 17.5 TB, según la codificación, la repetición de campos y si los datos están en formato columnar. Si se conserva también una copia sin procesar, el volumen retenido aumenta. La replicación en dos regiones duplica el volumen facturable, antes de contar índices, manifiestos y resultados temporales del replay.
La tabla muestra rangos de mercado típicos orientativos para la planificación. Las tarifas varían según el proveedor, la región, el compromiso, la clase de almacenamiento y el volumen de solicitudes. Deben tratarse como un modelo inicial, no como un presupuesto.
| Elemento | Volumen o tarifa típicos | Coste unitario típico | Implicación para la planificación |
|---|---|---|---|
| Captura de feed multiactivo sin procesar | 50-200 GB al día | Alrededor de 18-73 TB al año antes de la compresión | Medir en el límite del mensaje, no a partir de las exportaciones de los paneles |
| Archivo de objetos comprimido | La compresión suele ser de 2:1-4:1 | US$0.015-US$0.025 por GB al mes | Una copia de 17.5 TB cuesta aproximadamente US$260-US$440 al mes con retención completa |
| Réplica regional | Normalmente, otro volumen almacenado de 1x | Tarifa de almacenamiento similar, más transferencia y solicitudes | Dos copias de 17.5 TB cuestan unos US$525-US$875 al mes con retención completa |
| Caché de replay de acceso rápido | Alrededor de 0.5-2 TB para particiones recientes o activas | US$0.06-US$0.12 por GB al mes | Prever aproximadamente US$30-US$240 al mes, según el tamaño y el nivel |
| Cómputo para un replay de todo el año | 4-8 trabajadores con 16 vCPUs cada uno | Alrededor de US$0.60-US$1.20 por hora de trabajador | Una ejecución de 300-1,200 horas puede costar aproximadamente US$1,000-US$12,000 antes de la transferencia |
En el ejemplo, 17.5 TB en dos regiones equivalen a 35 TB. Con una tarifa representativa para objetos de US$0.018 por GB-mes, el coste es de unos US$630 al mes cuando ya está almacenado el año completo.
Una caché de acceso rápido de 1.4 TB a US$0.08 por GB-mes añade unos US$112. Por tanto, el coste mensual con retención completa ronda los US$740, sin incluir solicitudes, transferencia de datos, índices ni un archivo aparte de datos sin procesar.
Ese no es el coste en efectivo del primer año. Si la retención crece gradualmente desde cero, el volumen medio almacenado durante el primer año es inferior al saldo al final del año. La diferencia importa en las previsiones presupuestarias, pero no al dimensionar el sistema para el objetivo de retención una vez alcanzado.
El replay es una carga de cómputo, no una descarga
Leer 17.5 TB a 1 GB por segundo lleva menos de cinco horas en teoría. Esa cifra dice poco sobre un replay en producción. El trabajo puede tener que decodificar registros, preservar el orden entre particiones, aplicar reglas de símbolos y sesiones, y enviar cada evento a través de software diseñado para el tráfico en vivo. Las sumas de comprobación, los reinicios de estado y los resultados reproducibles añaden más trabajo.
Un año completo de trading en FX y CFD representa unas 6,000 horas de mercado. Si el replay utiliza un reloj virtual y se ejecuta a entre 5-20 veces el tiempo registrado, el tiempo transcurrido es de aproximadamente 300-1,200 horas, o 12-50 días.
Los sistemas reales varían. Una herramienta que puede procesar archivos rápidamente aún puede tener un cuello de botella en una partición ordenada de un instrumento o en los servicios posteriores de riesgo y órdenes.
Un almacenamiento rápido acorta la lectura. No convierte un replay en serie en uno paralelo.
Antes de iniciar una ejecución de un año, defina la ruta de ejecución:
- Fije las versiones de los datos y el software, incluidos los mapas de instrumentos, las compilaciones del normalizador y los calendarios de trading.
- Particione por instrumento u otra clave segura, preservando el orden de los eventos dentro de cada partición.
- Decida si los relojes de los servicios avanzan en tiempo real o con un reloj virtual controlado.
- Registre el rendimiento, la latencia, la CPU, la memoria y las sumas de comprobación de los resultados durante una semana representativa antes de escalar a un año.
El paralelismo tiene límites. Dividir por instrumento suele ser más seguro que dividir en ventanas de tiempo arbitrarias, pero el estado compartido de las cuentas, el riesgo entre instrumentos y los límites de cartera pueden exigir coordinación. Un replay diseñado para probar el análisis sintáctico de datos de mercado puede escalar bien. Uno destinado a reproducir decisiones a nivel de cuenta quizá no.
Elegir niveles de almacenamiento según el objetivo de recuperación
Conservar todo en almacenamiento en bloques de alto rendimiento es sencillo y caro. Conservarlo todo en un nivel de archivo profundo reduce los cargos de almacenamiento, pero introduce demoras de recuperación y tarifas de restauración. Un diseño por niveles se adapta mejor a muchas cargas de trabajo de brokers:
- Conservar una ventana móvil corta en almacenamiento local rápido o en bloques para investigaciones rutinarias y replays recientes.
- Almacenar el año consultable en almacenamiento de objetos, con particiones y metadatos que permitan a los trabajos obtener solo los instrumentos y las fechas necesarios.
- Mover las capturas sin procesar más antiguas a un nivel de acceso más lento solo si el tiempo de restauración y los cargos de recuperación se ajustan al procedimiento de incidentes.
- Mantener una segunda copia cuando lo justifiquen los requisitos de recuperación y probar el acceso a esa copia, en lugar de considerar que la replicación demuestra que los datos son recuperables.
Acuerde el objetivo de restauración con operaciones y compliance. Un archivo cuya recuperación tarda horas puede ser aceptable para la investigación de modelos, pero no para un incidente en vivo que requiera una comparación inmediata con las cotizaciones registradas. Del mismo modo, una segunda región puede proteger frente a un fallo regional, pero reproducir los datos allí puede generar cargos de transferencia o requerir capacidad de cómputo duplicada.
Los equipos que siguen las dependencias de las plataformas a través de Trading Technology deben aplicar la misma disciplina a su propio diseño de almacenamiento: especificar el periodo de retención, el objetivo de restauración y el caso de uso del replay, en lugar de contratar un nivel basándose en su precio anunciado.
Presupuestar el replay que realmente se ejecutará
Hay al menos tres trabajos distintos que suelen describirse como replay. Una comprobación de calidad de datos recorre los archivos y valida la secuencia y el esquema.
Un backtest de estrategia lee instrumentos y eventos seleccionados. Un replay de plataforma envía el año a través de servicios con estado para probar decisiones y comportamiento operativo. Cada uno requiere distintos niveles de cómputo, retención de resultados y determinismo.
Mantenga estimaciones separadas para:
- Los bytes almacenados, incluidas las réplicas, los índices, los registros sin procesar y el crecimiento del historial retenido.
- Los cargos de lectura y transferencia, especialmente cuando los datos cruzan regiones o salen de la red de un proveedor.
- Las horas de trabajador para cada tipo de replay, basadas en una semana medida y un objetivo de aceleración definido.
- Los resultados temporales, las instantáneas y los registros, con una regla de caducidad después de cada ejecución.
- El tiempo de ingeniería y operaciones dedicado a la validación, las ejecuciones fallidas, el control de versiones y las nuevas ejecuciones.
Use un replay pequeño para probar el modelo de costes. Capture una semana representativa, ejecútela por la ruta prevista y extrapole según el número de eventos y el rendimiento medido, no solo según el tamaño del archivo comprimido. Incluya un día de máxima actividad: el volumen diario medio puede ocultar picos de apertura y cierre que determinan si la canalización se queda atrás. Para una planificación más amplia de la plataforma, la cobertura de Trading Technology sobre infraestructura de trading ofrece un contexto útil sobre los sistemas que rodean el archivo.
El error que la mayoría de los lectores seguirá cometiendo es presupuestar los bytes y olvidarse de presupuestar la ruta del replay.
Preguntas frecuentes
¿Cuánto almacenamiento requiere un año de datos de ticks?
Depende de los instrumentos, las tasas de actualización, el formato de los registros y la conservación de los mensajes sin procesar. Una carga representativa de 120 GB al día produce unos 44 TB de datos sin procesar al año, o alrededor de 11-22 TB tras una compresión habitual de 2:1-4:1.
¿Cuánto se tarda en reproducir un año de datos de trading?
Un replay que preserve un reloj de mercado de 24/5 puede acercarse a un año natural de horas de mercado. Con un reloj virtual y una aceleración de 5-20 veces, un año de trading de 6,000 horas tarda unas 300-1,200 horas, sin contar ejecuciones fallidas ni cuellos de botella.
¿Cuál es la forma más barata de almacenar datos históricos de mercado?
El almacenamiento de objetos de acceso frío suele tener una tarifa por GB inferior a la del almacenamiento de acceso rápido, pero el tiempo de recuperación y los cargos de restauración pueden hacerlo inadecuado para responder a incidentes. Mantenga activas las particiones de uso frecuente y pruebe el proceso de restauración de las copias de acceso más lento.
¿Debe un broker conservar los datos de mercado sin procesar y los normalizados?
Conservar ambos permite investigar el feed y hacer replay con un esquema normalizado estable, pero aumenta el almacenamiento y el trabajo operativo. Retenga los mensajes sin procesar cuando sean necesarios para cambios del analizador o disputas, y documente cómo se produjo cada versión normalizada.
¿Cómo puede un equipo calcular el coste de reproducir un año?
Reproduzca una semana representativa a través de los servicios previstos, mida las horas de trabajador y el rendimiento, y después escale según el número de eventos e incluya los periodos de máxima actividad. Añada la transferencia, los resultados temporales, la validación y las nuevas ejecuciones, en lugar de calcular el coste solo a partir del tamaño del almacenamiento.
Plataformas · Software · Proveedores · Mercados