Saltar al contenido principal

Correspondencia entre Modelo Operacional y Analítico

Este documento detalla la trazabilidad y transformación que sufren las entidades operacionales de PostgreSQL para convertirse en las tablas analíticas del modelo dimensional en AWS S3 / Athena (Capa Gold).


1. Mapeo Entidad por Entidad​

alt text


2. Matriz de Transformación​

Entidad Operacional (PostgreSQL)Entidad Analítica (Gold / Lake)Mecanismo de Ingesta y TransformaciónNotas de Diseño
ZONEDIM_ZONESpark desde F2 (TLC)Ambas provienen del mismo catálogo oficial de 265 zonas de NYC.
TARIFF_RULE_VERSIONDIM_RULE_VERSIONSpark desde PostgreSQL / ConfigPermite comparar el rendimiento financiero y tiempos de espera entre distintas versiones de reglas (RF-08).
TRIP_REQUEST y FARE_AUDITFACT_TRIPAirflow extrae a diario; Spark integraPara viajes históricos de F1, FACT_TRIP se construye desde los archivos CSV/Parquet históricos de NYC Yellow Taxi.
ZONE_STATE_HISTORYFACT_ZONE_INTERVALAirflow extrae periódicamente; Spark consolidaPermite evaluar series de tiempo de oferta vs. demanda y detección de zonas desatendidas (RN-08).
SPECIAL_EVENTCampo booleano is_special_event en FACT_TRIPSpark realiza lookup temporal y espacialPara viajes históricos, los eventos se leen del archivo de eventos F7 en la capa Bronze.
(Sin equivalente operacional)FACT_QUARANTINE y DIM_REJECT_REASONSpark Job 1 (limpieza de F1)La cuarentena reside en S3 (quarantine/), no en PostgreSQL. Guarda el motivo de descarte (reject_reason).
(Sin equivalente operacional)DIM_DATE y DIM_TIME_SLOTGeneradas algorítmicamente por SparkNo existen en PostgreSQL. Spark las genera como dimensiones conformadas compartidas.
WEATHER_CURRENT(Sin equivalente analítico directo)El clima analítico proviene de F3 BronzeWEATHER_CURRENT solo retiene la foto actual para la API. DIM_WEATHER se construye con el historial horario de F3.
DRIVER, VEHICLE, VEHICLE_STATE, LICENSE, SANCTION(Sin equivalente analítico)Exclusivas del entorno operacional en vivoSirven para validar la oferta activa y la cinemática en tiempo real.

3. Principio de Desacoplamiento Referencial​

En las bases de datos relacionales, la integridad referencial se garantiza mediante Foreign Keys (FK) en el motor de base de datos. En el modelo analítico sobre Parquet y Athena:

  • Las relaciones son lógicas (claves sustitutas o naturales para joins).
  • La integridad referencial no la impone el almacén, sino el proceso de transformación de Apache Spark, que debe validar que no existan claves huérfanas antes de escribir en la capa Gold.