Diepgaande methodiek

Volledige documentatie van data-linage, feature-engineering, validatie-instellingen en QA-controles zoals ze in de productiecontainer draaien.

Feature families
  • LLM nieuwsfeatures (Internet Archive → Gemini)
  • CBS pompprijzen → dieselindicatoren
  • Open-Meteo groeigraden
  • Boerderij + Landbouw prijsreferenties

Procesoverzicht

  1. Gegevensopbouw

    We laden canonieke weekprijzen uit de gecombineerde Landbouw + Boerderij-feed, synchroniseren ze via `_canonicalize_weekly_prices` en koppelen externe bronnen (CBS diesel, Open-Meteo, Boerderij-sentiment en Gemini-nieuwsfeatures).

  2. Feature-engineering

    Per horizon gebruiken we de samengestelde ‘mixed v4’-sets (diesel MA's, kwaliteit/bewaarsentiment, verwerkingsbenutting, cumulatieve groeigraden, week-of-year en feestdag-afstanden) met prijs-lags (0,1,8) en exogene lags (0,1,8,12).

  3. Modeltraining

    `train_and_predict_production.py` bouwt één consistent ARDL-datasetpakket, draait rolling-origin CV per horizon en traint vervolgens `GradientBoostingRegressor` op alle complete rijen met dezelfde scaler/pipeline als in productie.

  4. Export & Controle

    Elke horizon levert `model.joblib`, `scaler.joblib`, CV-predictions, live voorspellingen, feature-insights en een manifest zodat de dashboardservice exact dezelfde artefacten kan renderen.

CV-instellingen

  • Initieel trainvenster 104 weken (expanderend)
  • Stapgrootte 4 weken
  • CV-folds 70–95 (afhankelijk van horizon)
  • Doel Prijsniveau (EUR/100 kg) op h weken vooruit
  • Baseline GradientBoosting met alleen prijs-lags
  • Naïeve check Vandaag = morgen (referentie voor sanity checks)
  • Trendscore Correcte richting t.o.v. actuele prijs, alleen wanneer |Δ| ≥ €2

Horizonprestaties

Horizon MAE MAPE Trendscore Baseline MAE
H04W €2.23 15.2% 88.6% €3.07
H08W €2.84 23.9% 90.7% €4.17
H12W €4.14 45.0% 89.5% €5.28
H16W €4.27 45.6% 82.5% €5.71
H20W €4.27 41.9% 93.4% €6.63
H24W €5.51 55.0% 82.0% €6.80
H28W €3.87 25.1% 89.2% €6.00

Scenario-checklist

  • Pas de schuiven voor areaal, opbrengst, opslag, energie en vraag aan om contracten te stress-testen.
  • Bewaar scenario-uitvoer als onderdeel van de onderhandelingsdocumenten voor coöperatiebesturen.