Almacenamiento de datos históricos: el coste real de reproducir un año

Unidades de almacenamiento en servidores para guardar y reproducir datos históricos de mercado
Photo by Marta Branco on Pexels

En casi cualquier entorno de trading, el historial de mercado de un año parece un problema de almacenamiento hasta que alguien intenta reproducirlo. Los archivos comprimidos caben en el disco, pero una prueba de estrategia, la revisión de un incidente o la comprobación de una migración pueden llevar días porque el análisis, la descompresión y el procesamiento de eventos no siguen el ritmo de lectura. El coste de almacenamiento y el coste de reproducción corresponden a presupuestos distintos. Una estimación útil debe incluir ambos.

Defina qué contiene el archivo

"Datos históricos" puede referirse a mensajes de mercado por orden de la cámara de compensación, actualizaciones del mejor precio, precios de broker, eventos de órdenes y ejecuciones, o barras derivadas. No son intercambiables. Un archivo de barras es compacto y rápido de consultar, pero no puede reproducir los cambios en la cola ni la secuencia exacta de cotizaciones y operaciones. Un archivo tick conserva más detalle, con un coste mayor de almacenamiento y procesamiento.

Registre el contrato de datos antes de calcular la capacidad: mercados e instrumentos, nivel de profundidad, tipos de mensajes, marcas de tiempo, números de secuencia, correcciones y calendario de sesiones. Conserve los mensajes sin procesar del proveedor o del mercado cuando lo permita la licencia y almacene por separado los registros normalizados o las vistas derivadas. Si solo se conserva el formato normalizado, un cambio en el analizador puede dificultar la interpretación o reconstrucción de archivos antiguos.

Separe también los datos de mercado de los registros de eventos internos. Las transiciones del estado de las órdenes, las decisiones de riesgo, los rechazos y los informes de ejecución pueden ocupar menos que un flujo de datos de profundidad con mucha actividad, pero son esenciales para reconstruir qué sabía el sistema y cuándo. Compruebe por separado las políticas de conservación, los controles de acceso y las reglas de eliminación de cada categoría.

Estime el volumen anual y las copias retenidas

Las cifras siguientes son rangos habituales del mercado, no garantías de capacidad. Presuponen datos comprimidos, un año de conservación y el alcance indicado. El volumen real depende de la actividad del mercado, la selección de símbolos, la profundidad, la codificación y de si se conservan snapshots o canales redundantes.

Carga de trabajo y alcance orientativoVolumen anual comprimido habitualCapacidad con dos copias retenidas
Barras de un minuto, 500 símbolos2-20 GB4-40 GB
Mejor precio, 100 instrumentos líquidos0.1-1.5 TB0.2-3 TB
Profundidad completa, 10 contratos de futuros líquidos1-15 TB2-30 TB
Ciclo de vida de órdenes y eventos de auditoría, 10,000 cuentas activas0.2-3 TB0.4-6 TB

Use los bytes medidos por sesión, no el volumen de un único día pico multiplicado por 252. Registre al menos 20 sesiones representativas, incluidos días volátiles y vencimientos de contratos.

Multiplique el volumen comprimido diario promedio por los días efectivos de trading y añada snapshots, índices, versiones de esquemas y cualquier evento fuera del horario de negociación. Mantenga una estimación independiente del máximo de capacidad para planificar.

La replicación modifica la factura. Las tarifas habituales de almacenamiento de objetos de acceso frecuente rondan los $15-30 por TB al mes, mientras que los niveles de archivo pueden situarse alrededor de $1-5, antes de los cargos por recuperación, solicitudes y red.

Con 12 TB de datos anuales lógicos y dos copias, 24 TB con tarifas de acceso frecuente implican unos $360-720 al mes a plena capacidad. Si los datos llegan de manera uniforme durante el año, el volumen almacenado promedio del primer año será menor; la tasa de gasto al cierre del año es la cifra más prudente para un archivo completo. El almacenamiento NVMe o en bloques suele costar más, pero puede permitir reproducciones frecuentes.

Calcule el coste de la reproducción, no solo el del disco

El tiempo de reproducción depende de la tasa de eventos y del procesamiento, no solo del tamaño de los archivos. Un primer cálculo útil consiste en dividir los bytes almacenados por el ancho de banda de lectura sostenido. Para 12 TB, leer el archivo comprimido en 24 horas requiere una entrada efectiva de unos 139 MB/s.

Ese es solo el mínimo que impone el almacenamiento. La descompresión, la decodificación, la ordenación por marca de tiempo, las funciones de retorno de la estrategia y las escrituras en los almacenes de resultados también consumen capacidad.

Exprese el objetivo como tiempo de mercado simulado por tiempo real. Reproducir un año natural en un día equivale a unas 365 veces la velocidad real.

En una semana, equivale a unas 52 veces. Un único lector de flujos puede alcanzar esas velocidades, mientras que una estrategia realista, las comprobaciones de riesgo de cartera o la sincronización entre varios mercados quizá no. El paralelismo solo ayuda cuando la prueba puede dividirse sin cambiar el orden de los eventos ni el estado compartido.

"Una prueba de rendimiento del disco no es una prueba de rendimiento de la reproducción. Mida toda la ruta de eventos."

Mida al menos estos contadores en la misma ejecución:

  • Bytes comprimidos leídos y bytes descomprimidos generados por segundo.
  • Mensajes decodificados por segundo, desglosados por tipo de mensaje e instrumento.
  • Uso de CPU, presión de memoria, profundidad de la cola y tiempo de espera del almacenamiento.
  • Tiempo simulado avanzado por minuto real, además de eventos descartados o retrasados.
  • Escrituras de resultados, tiempo de checkpoint y tiempo de espera de servicios posteriores.

Informe las tasas medianas y del percentil 95, no solo la ejecución más rápida. Una sesión tranquila puede ocultar un cuello de botella que aparece durante un repunte de actualizaciones de cotizaciones o una gran subasta de apertura. Para obtener información más amplia sobre infraestructura y contexto de plataformas, consulte Trading Technology.

Diseñe una prueba de rendimiento reproducible

Pruebe el formato exacto del archivo y la configuración de reproducción que se usan en producción. Incluya el código de la estrategia o del consumidor, las reglas de riesgo, la capa de normalización y las escrituras de salida.

Ejecute la prueba una vez con la caché caliente y otra desde la ruta prevista de almacenamiento en frío. Registre si la prueba utiliza un host, un clúster o un servicio de almacenamiento compartido. Sin esos detalles, es difícil comparar o reproducir una velocidad de reproducción indicada.

  1. Elija una semana representativa, con sesiones habituales y al menos una sesión de gran volumen.
  2. Reproduzca a 1x, 10x y a la velocidad objetivo, con el mismo código y configuración.
  3. Repita la prueba con el número previsto de trabajos simultáneos para detectar contención.
  4. Registre el número de eventos, los bytes, el tiempo de CPU, el tiempo real, los errores y el volumen de salida.
  5. Repita la prueba tras un cambio de software o de esquema y compare los mismos contadores.

Use la tasa observada para estimar el año completo y añada un margen operativo para el inicio, los checkpoints y los trabajos fallidos. Si una semana representativa contiene el 5 por ciento de los mensajes anuales, el tiempo de procesamiento medido puede extrapolarse según el número de mensajes, pero valide la estimación con una segunda muestra de mayor actividad. Incluya el coste del espacio de trabajo temporal: los trabajos de reproducción pueden necesitar datos decodificados, índices y resultados además del archivo.

Adapte el presupuesto al uso

Mantenga los datos que se reproducen con frecuencia en un nivel de baja latencia y traslade las sesiones más antiguas y de acceso poco frecuente a un almacenamiento más barato solo después de comprobar el tiempo y las tarifas de recuperación. Un diseño habitual combina una ventana reciente de acceso frecuente, un archivo en almacenamiento de objetos y una segunda copia en un dominio de fallo distinto. No considere las réplicas una protección independiente si comparten credenciales, región o ruta de eliminación.

Lleve cuatro presupuestos por separado: bytes retenidos, recuperación y salida de datos, horas de cómputo y tiempo del operador. Calcule el coste por sesión reproducida y por reproducción del año completo, y compárelo con el uso real. Si una prueba de año completo se ejecuta dos veces al mes, optimizar su analizador puede ahorrar más que trasladar el archivo a un nivel que añada varias horas al tiempo de recuperación. Si se ejecuta una vez al año, puede ser adecuado usar el nivel más barato.

Revise las mediciones después de añadir mercados, aumentar la profundidad o cambiar la compresión. El error que muchos lectores seguirán cometiendo después de leer esto es presupuestar solo a partir de los bytes comprimidos, en lugar de considerar la velocidad de reproducción medida y las copias retenidas.

Preguntas frecuentes

¿Cuánto almacenamiento necesita un año de datos tick?

Depende de los instrumentos, la actividad del mercado, la profundidad y la codificación. Los rangos comprimidos habituales pueden ir de unos 0.1-1.5 TB para datos del mejor precio de 100 instrumentos líquidos a 1-15 TB para profundidad completa de 10 contratos de futuros líquidos.

¿Cómo calculo el coste de reproducir un año de datos de mercado?

Mida los bytes y mensajes procesados por segundo con la ruta de reproducción de producción, incluida la descompresión, la lógica de la estrategia y las escrituras de salida. Divida el número de mensajes del año completo por la tasa sostenida medida y añada los costes de cómputo, recuperación del almacenamiento, salida de datos y espacio de trabajo temporal.

¿Qué significa reproducir un año a 100x?

Significa que la reproducción avanza por el tiempo de mercado simulado 100 veces más rápido que el tiempo real. Un año natural de datos tardaría unos 3.65 días a 100x, antes del inicio, los checkpoints y otros costes adicionales.

¿Es adecuado el almacenamiento de objetos para los datos históricos de mercado?

Puede ser adecuado para archivos a los que se accede con poca frecuencia, siempre que la latencia de recuperación y los cargos por solicitudes y salida de datos se ajusten al caso de uso. Pruebe una reproducción real desde el nivel elegido antes de trasladar datos que los equipos de operaciones o investigación necesiten consultar rápidamente.

¿Deben los datos de mercado y los registros de auditoría de órdenes tener la misma política de conservación?

No necesariamente. Los datos de mercado, los eventos de estado de las órdenes y los registros de ejecución tienen distintos requisitos de reproducción, compliance y acceso. Defina reglas de conservación y eliminación para cada categoría, preservando las marcas de tiempo y los identificadores necesarios para correlacionarlas.