ARCHITECTURE

🏗️ Architecture Star Schema

Dimensions

dim_customer

customer_sk (PK) │ customer_id │ name │ email │ created_at
─────────────────┼─────────────┼──────┼───────┼───────────
[hash]           │ 1           │ Alice│ ...   │ 2024-01-01

dim_product

product_sk │ product_id │ product_name │ brand_sk │ category_sk │ price
───────────┼────────────┼──────────────┼──────────┼─────────────┼──────
[hash]     │ 1          │ iPhone 15    │ [hash]   │ [hash]      │ 999.99

dim_date

date_sk │ date       │ year │ month │ day │ dow │ quarter │ week_of_year
────────┼────────────┼──────┼───────┼─────┼─────┼─────────┼──────────────
[hash]  │ 2024-06-01 │ 2024 │ 6     │ 1   │ Sat │ 2       │ 23

Table de Faits

fact_sales

order_id │ date_sk │ customer_sk │ product_sk │ quantity │ unit_price │ subtotal │ year │ month
──────── ┼─────────┼─────────────┼────────────┼──────────┼────────────┼──────────┼──────┼──────
1        │ [hash]  │ [hash]      │ [hash]     │ 2        │ 999.99     │ 1999.98  │ 2024 │ 6

Fluxes de Données

┌─────────────────────────────────────────┐
│   SOURCES (Bronze Layer)                │
├─────────────────────────────────────────┤
│ customers.csv → dim_customer            │
│ brands.csv → dim_brand                  │
│ categories.csv → dim_category           │
│ products.csv → dim_product (+ FKs)      │
│ orders.csv → fact_sales                 │
│ order_items.csv → fact_sales (mesures) │
└─────────────────────────────────────────┘
            ↓
┌─────────────────────────────────────────┐
│   TRANSFORMATIONS (Silver/Gold Layers)  │
├─────────────────────────────────────────┤
│ 1. Load & validate schemas              │
│ 2. Generate surrogate keys (xxhash64)   │
│ 3. Create dimensions                    │
│ 4. Build fact table with joins          │
│ 5. Validate quality (PK, FK, nulls)     │
│ 6. Partition & compress (Parquet)       │
└─────────────────────────────────────────┘
            ↓
┌─────────────────────────────────────────┐
│   OUTPUTS (Gold Layer - Parquet)        │
├─────────────────────────────────────────┤
│ dim_customer.parquet                    │
│ dim_brand.parquet                       │
│ dim_category.parquet                    │
│ dim_product.parquet                     │
│ dim_date.parquet                        │
│ fact_sales.parquet (year/month)         │
└─────────────────────────────────────────┘

Joins

# Fact table construction
fact_sales = (
    order_items             # Base: 100 rows
    .join(products,         # 100 × 20 lookups
          on="product_id")
    .join(orders,           # Preserve order context
          on="order_id")
    .join(customers,        # Add customer dimension
          on="customer_id")
    .join(dim_date,         # Add date dimension
          on="date_sk")
)

Partitionnement

fact_sales/
├── year=2024/
│   ├── month=6/
│   │   ├── part-00000.parquet
│   │   ├── part-00001.parquet
│   │   └── _SUCCESS
│   ├── month=7/
│   │   └── ...
│   ├── month=8/
│   │   └── ...
│   └── month=11/
│       └── ...

Bénéfices:

• ✅ Requêtes par date ultra-rapides
• ✅ Nettoyage incrémental (drop partitions)
• ✅ Parrallélisation par partition

---

Voir aussi: DATA_SCHEMA.md pour les détails