Diepgaande methodiek
Volledige documentatie van data-linage, feature-engineering, validatie-instellingen en QA-controles zoals ze in de productiecontainer draaien.
- LLM nieuwsfeatures (Internet Archive → Gemini)
- CBS pompprijzen → dieselindicatoren
- Open-Meteo groeigraden
- Boerderij + Landbouw prijsreferenties
Procesoverzicht
-
Gegevensopbouw
We laden canonieke weekprijzen uit de gecombineerde Landbouw + Boerderij-feed, synchroniseren ze via `_canonicalize_weekly_prices` en koppelen externe bronnen (CBS diesel, Open-Meteo, Boerderij-sentiment en Gemini-nieuwsfeatures).
-
Feature-engineering
Per horizon gebruiken we de samengestelde ‘mixed v4’-sets (diesel MA's, kwaliteit/bewaarsentiment, verwerkingsbenutting, cumulatieve groeigraden, week-of-year en feestdag-afstanden) met prijs-lags (0,1,8) en exogene lags (0,1,8,12).
-
Modeltraining
`train_and_predict_production.py` bouwt één consistent ARDL-datasetpakket, draait rolling-origin CV per horizon en traint vervolgens `GradientBoostingRegressor` op alle complete rijen met dezelfde scaler/pipeline als in productie.
-
Export & Controle
Elke horizon levert `model.joblib`, `scaler.joblib`, CV-predictions, live voorspellingen, feature-insights en een manifest zodat de dashboardservice exact dezelfde artefacten kan renderen.
CV-instellingen
- Initieel trainvenster 104 weken (expanderend)
- Stapgrootte 4 weken
- CV-folds 70–95 (afhankelijk van horizon)
- Doel Prijsniveau (EUR/100 kg) op h weken vooruit
- Baseline GradientBoosting met alleen prijs-lags
- Naïeve check Vandaag = morgen (referentie voor sanity checks)
- Trendscore Correcte richting t.o.v. actuele prijs, alleen wanneer |Δ| ≥ €2
Horizonprestaties
| Horizon | MAE | MAPE | Trendscore | Baseline MAE |
|---|---|---|---|---|
| H04W | €2.23 | 15.2% | 88.6% | €3.07 |
| H08W | €2.84 | 23.9% | 90.7% | €4.17 |
| H12W | €4.14 | 45.0% | 89.5% | €5.28 |
| H16W | €4.27 | 45.6% | 82.5% | €5.71 |
| H20W | €4.27 | 41.9% | 93.4% | €6.63 |
| H24W | €5.51 | 55.0% | 82.0% | €6.80 |
| H28W | €3.87 | 25.1% | 89.2% | €6.00 |
Scenario-checklist
- Pas de schuiven voor areaal, opbrengst, opslag, energie en vraag aan om contracten te stress-testen.
- Bewaar scenario-uitvoer als onderdeel van de onderhandelingsdocumenten voor coöperatiebesturen.