En casi todas las configuraciones de datos de trading, la estimación del almacenamiento parte del tamaño diario de los archivos multiplicado por el periodo de retención. El resultado es una cifra de capacidad, no el coste de procesar mediante replay un año de datos. La diferencia aparece cuando un incidente, un cambio de modelo o una migración de mercado exige volver a ejecutar toda la cadena, con las mismas entradas y pruebas suficientes para confiar en el resultado.
El error habitual es tratar el archivo histórico como si fuera el sistema. Es solo una parte de una ruta de replay que incluye decodificación, normalización, datos de referencia, estado de la aplicación, capacidad de cómputo y validación. Cada parte tiene un límite distinto, y la más lenta determina el tiempo total.
La cifra de almacenamiento no es la cifra de replay
El almacenamiento de objetos suele ser el componente más barato. Las tarifas habituales de almacenamiento de objetos en la nube oscilan entre US$10 y US$30 por TB-mes, antes de contabilizar las solicitudes, los cargos de recuperación, la replicación y la transferencia de red. Por tanto, un archivo de 20TB tendría un coste indicativo de capacidad de US$200 a US$600 al mes con esa tarifa. Eso no significa que se pueda leer y procesar un año de datos en unas pocas horas.
El archivo puede estar comprimido en archivos grandes, eficientes para conservar los datos pero poco prácticos para buscar en ellos. Es posible que los procesos de replay tengan que obtener, descomprimir y analizar cada partición antes de que la estrategia o el motor de riesgo pueda consumirla.
Una carga limitada por la decodificación de CPU puede dejar inactivo el ancho de banda de almacenamiento. Otra limitada por pequeñas lecturas aleatorias puede dedicar más tiempo a las solicitudes y la latencia que a transferir bytes.
Estos rangos habituales del mercado son referencias para la planificación, no resultados de pruebas de rendimiento. Describen la captura comprimida de datos de mercado para formas de carga comunes. La columna de coste de almacenamiento utiliza el rango de US$10 a US$30 por TB-mes indicado anteriormente. Las duraciones de replay son ilustrativas y se basan en una tasa agregada sostenida de entrada de 0.5 a 1TB por hora, antes del cálculo de la estrategia y la validación.
| Carga de datos de mercado habitual | Ingesta diaria comprimida | Volumen de un año | Coste mensual indicativo de almacenamiento de objetos | Duración ilustrativa del replay |
|---|---|---|---|---|
| Feeds de cotizaciones y operaciones de FX o CFD, 365 días | 5 to 40GB | 2 to 15TB | US$20 to US$450 | 2 to 30 hours |
| Primer nivel del libro de renta variable de un único mercado, 250 días | 20 to 150GB | 5 to 40TB | US$50 to US$1,200 | 5 to 80 hours |
| Profundidad completa de renta variable en varios mercados, 250 días | 200GB to 1.6TB | 50 to 400TB | US$500 to US$12,000 | 50 to 800 hours |
Los rangos varían considerablemente según el número de símbolos, la cobertura de mercados, el formato de los mensajes, la tasa de compresión y si el archivo conserva paquetes sin procesar además de eventos normalizados. La duración del replay no es una garantía sobre ninguna plataforma. Es un cálculo basado en una tasa de caudal supuesta, que debe medirse en la ruta real de decodificación y aplicación.
Contabilice los datos que el replay necesita realmente
Muchas estimaciones incluyen ticks y operaciones, pero omiten el estado necesario para interpretarlos. Una ejecución histórica puede producir un resultado distinto si el motor utiliza metadatos de instrumentos, tablas de comisiones o calendarios actuales para procesar eventos antiguos. En el caso de un broker, el conjunto de datos también podría necesitar la configuración del cliente, las reglas de enrutamiento, los límites de riesgo y la versión de la aplicación sometida a prueba.
Incluya explícitamente estos componentes en el modelo de retención:
- Eventos de mercado: mensajes sin procesar del mercado, eventos normalizados, correcciones, números de secuencia y marcas de tiempo. Conservar tanto los datos sin procesar como los normalizados facilita las investigaciones, pero aumenta la capacidad necesaria.
- Datos de referencia: correspondencias de símbolos, tamaños de tick, especificaciones de contratos, operaciones corporativas, calendarios de trading y estado del mercado.
- Estado de la aplicación: configuración de cuentas, posiciones, órdenes, parámetros de riesgo, tablas de comisiones e instantáneas pertinentes de la configuración.
- Artefactos de replay: versiones de contenedores o binarios, versiones de esquemas, parámetros de ejecución, registros, puntos de control y resultados de comparación.
Las instantáneas y las barras derivadas reducen el trabajo necesario para algunas tareas, pero no sustituyen el flujo de eventos. Una instantánea es útil para iniciar un replay cerca de un momento determinado. No puede demostrar cómo se llegó a ese estado si no se conservan también las entradas y la versión de la instantánea.
La política de marcas de tiempo requiere el mismo cuidado. La hora del mercado, la hora de captura y la hora de procesamiento responden a preguntas distintas. Si un gestor de feeds registra una sola marca de tiempo, un replay posterior quizá no pueda distinguir entre un retraso del mercado y una cola local. Conserve también la información de secuencia y los indicadores de discontinuidad. De lo contrario, un resultado aparentemente correcto puede ocultar datos de entrada que faltan.
En este punto, el diseño de retención debe conectarse con una cobertura más amplia de la infraestructura de trading: el archivo, la canalización de eventos y los controles operativos forman un único sistema, aunque sean responsabilidad de equipos distintos.
Un año es una carga de trabajo, no un archivo
Una solicitud de replay necesita una definición. Reconstruir el libro de un instrumento no es lo mismo que volver a ejecutar todas las estrategias, cuentas y comprobaciones de riesgo de todo el año. Tampoco es igual hacer un análisis secuencial que reproducir los eventos en su momento de ocurrencia, cuando el motor debe respetar el orden y las reglas que dependen del tiempo.
Para una estimación sencilla del caudal, divida los bytes comprimidos que se deben leer por el caudal de entrada sostenido medido. Después, añada el tiempo de decodificación, carga del estado, procesamiento de la aplicación y comparación.
Si la prueba requiere 20TB y la granja de replay mantiene un caudal de 0.5TB por hora en la ruta completa, la primera ejecución tardará unas 40 horas. La estimación presupone que toda la granja trabaja a pleno rendimiento y que no hay reinicios, limitaciones de velocidad ni trabajo adicional de validación.
El paralelismo puede acortar la ejecución, pero solo cuando el modelo de eventos y estado lo permite. Es posible particionar de forma segura símbolos o cuentas independientes. Los eventos que afectan a saldos compartidos, márgenes cruzados o límites de cartera pueden requerir un flujo ordenado. Dividir por archivo no es automáticamente seguro: un límite puede separar una cancelación de su orden o una actualización de posición del evento que la generó.
Defina el objetivo del replay antes de dimensionar la capacidad. Algunos casos habituales son:
- Comprobar cambios en el gestor de feeds con mensajes capturados sin procesar.
- Reconstruir posiciones y órdenes tras un fallo del almacén de estado.
- Probar un cambio de estrategia o de riesgo con un conjunto fijo de entradas históricas.
- Investigar una disputa con un cliente usando la configuración y los datos de referencia vigentes en ese momento.
Cada caso requiere un punto de partida, un resultado y un nivel de determinismo distintos. Una prueba de feed puede necesitar fidelidad de paquetes y temporización.
Una prueba de estrategia puede dar más importancia a un orden estable de eventos y a una configuración versionada. Una prueba de recuperación debe demostrar que el proceso puede restaurarse a partir de los artefactos retenidos, no solo que puede leer un archivo.
Calcule el coste de la ruta de replay, no solo del bucket
El cargo por capacidad es solo una partida de la factura. La recuperación desde niveles de almacenamiento más fríos puede añadir demora y tarifas. La replicación, las copias de seguridad y las versiones de objetos aumentan los bytes retenidos. Las copias de trabajo temporales pueden multiplicar la capacidad durante una ejecución. Los costes de cómputo y red aumentan si los procesos de trabajo están en otra región o si el replay obtiene datos repetidamente desde otra cuenta.
Los equipos también suelen contabilizar un replay y luego operar un programa de pruebas que ejecuta muchos. Un trabajo diario de validación sobre una muestra pequeña tiene un perfil distinto al de un replay trimestral de un año completo. Registre el número de ejecuciones, los procesos de trabajo paralelos, el volumen temporal máximo y el periodo previsto de retención de los resultados. El modelo de costes debe incluir el periodo de mayor actividad, no solo el archivo estable.
Puede elaborar una estimación práctica en seis pasos:
- Mida la ingesta comprimida por feed, mercado y día de trading. Separe la captura sin procesar, los eventos normalizados y los productos derivados.
- Aplique el calendario de retención real. Incluya los fines de semana para los feeds de FX continuos, las reglas de vencimiento y cualquier periodo de conservación por motivos legales u operativos.
- Incluya réplicas, instantáneas, versiones y copias temporales. Indique si la cifra corresponde a datos lógicos o a datos almacenados facturables.
- Evalúe las tasas de lectura, descompresión y decodificación con archivos representativos. Ejecute las pruebas con la misma configuración de procesos de trabajo y las mismas versiones de esquema previstas para producción.
- Mida el caudal de replay de extremo a extremo, incluido el procesamiento de la aplicación. Pruebe tanto un intervalo tranquilo como un periodo de mercado activo.
- Restaure una muestra desde el nivel de almacenamiento más frío que se conserve y compare los resultados. Registre la demora de recuperación, las entradas ausentes, el tiempo de ejecución y el coste de la prueba.
Esta secuencia es más útil que una sola tasa de compresión. La compresión puede reducir el almacenamiento y aumentar el uso de CPU, y un formato compatible con la selección de columnas puede acelerar la analítica, pero ser poco adecuado para la reconstrucción exacta de eventos. Evalúe el patrón de acceso que la operación necesita realmente.
Para una visión más amplia de la ingeniería de plataformas y las limitaciones operativas, la cobertura de infraestructura de Trading Technology aborda los sistemas que utilizan brokers y prop firms. La pregunta de diseño pertinente aquí es más concreta: ¿con qué rapidez pueden los datos retenidos convertirse en un estado verificado?
Haga que la estimación pueda refutarse
Un plan de replay debe incluir criterios de aceptación medibles. Especifique el intervalo de fechas cubierto, los feeds y estados incluidos, el tiempo de ejecución máximo aceptable y qué se considera un resultado coincidente. En sistemas deterministas, compare el número de eventos, las discontinuidades de secuencia, el estado de órdenes y posiciones y hashes de resultados seleccionados. Para los cálculos de coma flotante o los componentes no deterministas, documente las tolerancias y su justificación.
Pruebe un día completo representativo antes de extrapolar los resultados a un año entero. Incluya una sesión de máxima actividad, una sesión con correcciones o alteraciones del mercado y una recuperación desde una copia fría.
Un día breve y sin incidentes puede ocultar los efectos de las tasas de ráfaga, los libros más grandes, los reintentos o los mensajes mal formados. Repita la prueba después de cambiar el nivel de almacenamiento, la disposición de los archivos, el códec de compresión o el tipo de instancia de los procesos de trabajo.
Mantenga un manifiesto pequeño junto a cada partición retenida. Debe indicar la fecha, el mercado, el feed, la versión del esquema, la suma de comprobación y el tamaño esperado. Así, un trabajo de replay puede detectar entradas ausentes o modificadas antes de producir un resultado aparentemente válido. El mismo manifiesto facilita conciliar las previsiones de capacidad con el volumen facturado.
Los ingenieros suelen optimizar el archivo hasta que se tiene en cuenta el presupuesto de replay. Entonces cambian la disposición de los archivos, la política de niveles de almacenamiento y la frecuencia de las pruebas. El almacenamiento de datos históricos es más barato cuando nadie le pide que haga nada.
Retener datos a bajo coste no equivale a recuperarlos a bajo coste.
Las empresas de trading son muy buenas conservando el pasado. Son menos constantes a la hora de medir cuánto tardan en recuperarlo.
Preguntas frecuentes
¿Cuánto cuesta almacenar un año de datos de mercado?
Las tarifas habituales de almacenamiento de objetos, de unos US$10 a US$30 por TB-mes, sitúan un archivo de 20TB en aproximadamente US$200 a US$600 al mes por capacidad. Las réplicas, la recuperación, las solicitudes, las copias temporales y el cómputo pueden elevar el total.
¿Cuánto se tarda en procesar mediante replay un año de datos de trading?
Depende del volumen retenido y del caudal de extremo a extremo medido. A 0.5TB por hora, un conjunto de datos de 20TB tarda unas 40 horas en una ejecución, antes de la validación adicional o el procesamiento de la aplicación.
¿Qué datos se necesitan para un replay determinista de datos de mercado?
Conserve los eventos de mercado pertinentes, la información de secuencia y marcas de tiempo, los datos de referencia, la configuración de la aplicación y las versiones del software o los esquemas. El conjunto exacto depende de si el replay reconstruye un libro, el estado de una cuenta, un resultado de riesgo o el resultado de una estrategia.
¿Conviene almacenar los datos históricos de trading en un nivel frío?
Un nivel frío puede reducir la factura por capacidad, pero suele añadir demora de recuperación y puede generar cargos de acceso. Es adecuado para datos de acceso poco frecuente si las pruebas de restauración confirman que la demora y el coste se ajustan a los requisitos de recuperación o investigación.
Plataformas · Software · Proveedores · Mercados