Almacenamiento de datos históricos: cuánto cuesta reproducir un año

Racks de almacenamiento que representan el almacenamiento de datos históricos y la infraestructura para reproducir datos de mercado
Photo by panumas nikhomkhai on Pexels

En la primera semana, un archivo nuevo puede parecer terminado: llegan los archivos del día anterior, las sumas de comprobación son correctas y la factura de almacenamiento es baja. Para la sexta semana, un ingeniero puede descubrir que restaurar un mes lleva más tiempo que la ventana de prueba, o que reproducir un año completo satura las CPU antes que el almacenamiento. La diferencia está entre conservar los datos y poder utilizarlos.

Para un broker o una prop firm, la cuestión de diseño no es solo cuántos terabytes conservar. También es con qué rapidez puede el sistema leer, decodificar, ordenar y entregar los registros necesarios para un backtest, una revisión de incidentes o una migración de feeds.

Empiece por el plazo de reproducción, no por la factura de almacenamiento

Defina primero el trabajo. Reproducir un año natural de sesiones bursátiles en 24 horas significa procesar aproximadamente 1,600 horas de mercado en un día, o unas 67 veces la velocidad de una sesión en tiempo real.

Una reproducción de 30 días en cuatro horas requiere un multiplicador similar. Estos son objetivos de carga de trabajo, no solo objetivos de red: el análisis sintáctico, la descompresión, la asignación de símbolos y las funciones de retorno de la estrategia también deben mantener el ritmo.

Decida qué significa «reproducción» en cada caso de uso. Una revisión de compliance puede necesitar un conjunto reducido de instrumentos y un orden exacto de los eventos. La investigación de estrategias puede requerir una cobertura amplia, datos de referencia ajustados y semillas reproducibles. Las pruebas de recuperación pueden exigir los mismos gestores de feeds y colas posteriores que se usan en producción. Cada caso tiene un patrón de lectura y un coste de validación distintos.

  • Fije un objetivo de finalización, por ejemplo, un año de trading en 24 horas, y registre si se aplica a un instrumento, un mercado o todo el universo.
  • Especifique la fidelidad: paquetes sin procesar, eventos normalizados, actualizaciones del libro de órdenes, operaciones o una combinación.
  • Incluya el tiempo de validación. Una reproducción que termina rápido pero no puede demostrar la integridad de la secuencia no resulta útil desde el punto de vista operativo.

Registre el rendimiento de reproducción en eventos por segundo y en gigabytes por segundo. El rendimiento de los archivos puede parecer bueno mientras un decodificador de un solo hilo o un constructor de libros secuencial retrasa el trabajo. Un benchmark útil informa tanto de la tasa sostenida más rápida como de la partición más lenta, ya que unas pocas sesiones de gran actividad pueden determinar el tiempo total.

Calcule el tamaño del archivo y sus niveles de acceso

Estime el volumen anual a partir de la estructura del feed

Elabore la estimación a partir de la tasa de mensajes, el tamaño medio codificado, las horas de trading y los instrumentos conservados. Después, añada compresión, índices, manifiestos y réplicas. Para la planificación, los volúmenes anuales comprimidos suelen situarse en los rangos que figuran a continuación para un solo mercado o un universo de instrumentos acotado. El volumen real varía mucho según las tasas de mensajes, la profundidad, el esquema y los ajustes de compresión.

Estos son rangos habituales para la planificación del mercado, no cotizaciones de un proveedor. El almacenamiento de objetos de acceso frecuente suele costar unos $15 to $30 per TB per month; los niveles de archivo pueden rondar $1 to $5 per TB per month, antes de cargos por recuperación, solicitudes y replicación. La región, los periodos mínimos de retención y los cargos de red modifican el total.

Carga de trabajo habitualVolumen comprimido anualTasa de lectura para una reproducción en 24 horasAlmacenamiento de acceso frecuente al mes
Mejores precios del libro y operaciones5 to 20 TB60 to 230 MB/s$75 to $600
Actualizaciones de profundidad, mercados seleccionados20 to 100 TB230 MB/s to 1.2 GB/s$300 to $3,000
Gran profundidad y feeds de alto volumen50 to 250 TB0.6 to 2.9 GB/s$750 to $7,500

La columna de tasa de lectura indica la tasa media de carga útil necesaria para recorrer el volumen especificado en 24 horas. No tiene en cuenta la sobrecarga de decodificación, los límites de paralelismo ni la reproducción de varias copias. Para una política de retención de tres años en el nivel de acceso frecuente, multiplique por tres el volumen anual y la estimación mensual de almacenamiento, y después incluya las réplicas por separado.

Mantenga cerca los datos que se consultan con frecuencia

Utilice un nivel de acceso frecuente para las sesiones recientes y el segmento más utilizado en la investigación. Mantenga los datos más antiguos en almacenamiento de objetos de menor coste si los tiempos de recuperación se ajustan al trabajo.

La recuperación desde el archivo puede tardar de minutos a horas y conllevar cargos por solicitud o recuperación. Esto sirve para una auditoría ocasional, pero no es adecuado para una cola de reproducción diaria.

Particione por fecha y mercado, con archivos cuyo tamaño permita lecturas paralelas en lugar de un objeto por símbolo y minuto. Los tamaños habituales de entre 256 MB y 1 GB equilibran la sobrecarga de solicitudes y el paralelismo a nivel de trabajador.

Guarde en un manifiesto la versión del esquema, la versión de la asignación de instrumentos, el número de eventos y las sumas de comprobación. Para obtener información sobre el diseño del almacenamiento y las operaciones de plataformas, consulte Trading Technology.

Haga predecible la reproducción bajo carga

Separe la E/S de la decodificación

Evalúe el rendimiento de la canalización por etapas: lectura de objetos, descompresión, análisis sintáctico, ordenación y procesamiento por parte del consumidor. Ejecute una prueba con los datos ya en una unidad NVMe local y otra desde el nivel de objetos previsto. Si la prueba local es lenta, añadir ancho de banda de almacenamiento no resolverá el problema del decodificador. Si el rendimiento local es bueno, pero es lento en remoto, compruebe el tamaño de las solicitudes, las lecturas simultáneas, la ubicación de la región y las rutas de red.

La compresión implica una contrapartida, no una reducción gratuita de costes. La compresión por columnas o bloques puede reducir considerablemente el volumen almacenado, pero el códec óptimo depende de si la reproducción está limitada por la CPU o por la E/S. Las implementaciones habituales comparan un códec rápido con una opción más compacta usando las mismas sesiones e informan del tamaño comprimido, el uso de CPU para la decodificación y los eventos por segundo de extremo a extremo. Evite elegir basándose únicamente en la tasa de compresión.

Preserve el determinismo y pruebe los casos extremos

La reproducción paralela requiere reglas explícitas de ordenación. Particionar por instrumento puede mejorar el rendimiento, pero las estrategias que abarcan varios instrumentos pueden depender del orden de las marcas de tiempo entre feeds.

Registre las discontinuidades de secuencia, los mensajes tardíos y las decisiones de normalización del reloj. La reproducción debe identificar los archivos de origen y las versiones de los datos de referencia exactos utilizados, para que otra ejecución pueda reproducir las mismas entradas.

Pruebe sesiones normales y de máxima actividad, no solo un día promedio. Un objetivo operativo razonable es disponer de un margen de capacidad del 30% to 50% por encima de la tasa sostenida medida y volver a ejecutar la prueba después de cambios en los feeds o el esquema. Pruebe también con usuarios simultáneos: varios trabajos de investigación pueden convertir un archivo adecuado en una cola de lecturas lentas. Los equipos de plataforma que hagan seguimiento de la gestión de feeds y los cambios relacionados con la infraestructura pueden utilizar la cobertura de Trading Technology sobre tecnología de trading como una fuente de contexto del sector.

Convierta el modelo en un procedimiento operativo

Mantenga visibles por separado los costes de almacenamiento, reproducción y operación. Una reproducción de un año puede leer decenas o cientos de terabytes, consumir recursos de cómputo durante horas e incurrir en cargos de red o recuperación si los datos pasan de una región o nivel a otro. Calcule tanto el coste de una ejecución como el coste mensual de las ejecuciones previstas. Una factura baja por el archivo puede quedar compensada por restauraciones repetidas, capacidad inactiva o el tiempo de ingeniería dedicado a gestionar trabajos fallidos.

Utilice un procedimiento operativo breve con responsables y umbrales definidos:

  1. Mida la ingesta diaria por mercado, clase de mensaje y tamaño comprimido durante al menos dos semanas representativas.
  2. Ejecute una reproducción de un día y otra de un mes desde el nivel de almacenamiento previsto; registre el tiempo transcurrido, los eventos por segundo, la CPU, la red y el coste.
  3. Configure alertas para particiones ausentes, fallos en las sumas de comprobación, crecimiento de la ingesta y duración de la reproducción. Mantenga una ruta de restauración probada, no solo una política de retención.
  4. Vuelva a ejecutar el benchmark después de cambios en el decodificador, el esquema, el códec o las instancias, y antes de comprometerse con un periodo de retención más largo.

Revise el diseño trimestralmente en función de la demanda real de reproducción. Si los datos más antiguos rara vez se utilizan, bájelos a un nivel inferior y pruebe la recuperación antes del próximo incidente. Si la investigación los necesita habitualmente, un pequeño conjunto de trabajo en el nivel de acceso frecuente o una caché local precargada pueden costar menos que restaurar repetidamente el mismo historial.

Si esta fuera mi operación, mediría de principio a fin un mes representativo antes de cambiar de nivel o comprar capacidad. Después fijaría el plazo de reproducción, dimensionaría los recursos según el cuello de botella medido con un margen de capacidad y mostraría el coste mensual de una ejecución de un año completo junto a la factura del archivo.

Preguntas frecuentes

¿Cuánto almacenamiento necesita un año de datos de mercado?

Depende de las tasas de mensajes, la profundidad, los mercados y la compresión. Los rangos habituales de planificación van de unos 5 to 20 TB para los mejores precios del libro y las operaciones, y pueden alcanzar 50 to 250 TB para feeds de profundidad amplios y de alto volumen.

¿A qué velocidad debe ejecutarse la reproducción de datos de trading?

Fije el objetivo según el plazo del trabajo y las horas de mercado que se reproducirán. Procesar en 24 horas un año con aproximadamente 1,600 horas de sesiones bursátiles requiere una velocidad de unas 67 veces la de la sesión, antes de contar la validación y la sobrecarga.

¿Es adecuado el almacenamiento de archivo para reproducir datos de mercado?

Puede servir para auditorías ocasionales si la latencia y los cargos de recuperación se ajustan al trabajo. La reproducción frecuente para investigación suele requerir un nivel de acceso frecuente o una caché probada, porque la recuperación desde el archivo puede tardar de minutos a horas.

¿Cuál es el principal cuello de botella al reproducir datos históricos?

Puede ser la lectura del almacenamiento, pero la decodificación, la descompresión, la ordenación de eventos o el procesamiento de estrategias suelen limitar primero el rendimiento. Evalúe cada etapa por separado y compare las ejecuciones desde disco local con las del nivel de almacenamiento previsto.

¿Cómo debe probar un broker una reproducción de un año completo?

Empiece con un día representativo y después pruebe un mes y un año completo con los archivos, el decodificador y la ruta de consumo previstos. Registre el tiempo transcurrido, los eventos por segundo, la CPU, el uso de red, el coste y los resultados de validación, incluidas las sesiones de máxima actividad.