Dashboard Vrachtwagenheffing
Student t-toets
Om inzicht te krijgen in het effect van vrachtwagenheffing (VWH) worden op telpunt-niveau het aantal getelde vrachtwagens na invoering van VWH vergeleken met het aantal vrachtwagens vóór de invoering.
De vergelijking vindt plaats op maandbasis door een paarsgewijze analyse van dagen tussen de voor- en nasituatie. Dit wordt zowel toegepast op locaties binnen het heffingsnetwerk als op het monitoringsnetwerk. Per meetlocatie worden de etmaalintensiteiten van vrachtverkeer in de eerste maand na invoering vergeleken met die van dezelfde maand een jaar eerder. Dit patroon herhaalt zich: in de tweede maand wordt de vergelijking gemaakt met de tweede maand van het voorgaande jaar, enzovoort.
Bij deze maandelijkse analyse worden steeds dezelfde dagen van de week met elkaar vergeleken: de eerste maandag van de maand met de eerste maandag van het voorgaande jaar, de eerste dinsdag met de eerste dinsdag, enzovoort. Dit zijn de paren in de paarsgewijze vergelijking. Op deze manier wordt rekening gehouden met reguliere verschillen tussen weekdagen. Alleen werkdagen worden meegenomen, wat betekent dat er bij volledige datasets in de voor- en nasituatie circa 20 vergelijkingsparen beschikbaar zijn.
Omdat etmaaltellingen per definitie variëren door externe factoren, zullen er altijd verschillen optreden tussen dezelfde werkdagen, zelfs als er geen maatregel is genomen. Bij de vergelijking van de situatie vóór en na invoering van de VWH gaat het echter niet om deze natuurlijke variatie (ruis), maar om structurele verschillen die niet door toeval kunnen worden verklaard. Daarom wordt getoetst of de gevonden verschillen statistisch significant zijn. Een significant verschil duidt erop dat er een andere oorzaak dan de normale variatie in het spel is, zonder dat direct wordt vastgesteld welke factor hiervoor verantwoordelijk is.
NB1: Indien het effect over langere periode dan 1 maand moet worden bepaald, dan kan dezelfde aanpak gehanteerd worden met toevoeging van extra dagen.
NB2: Deze aanpak werkt alleen tot 1 jaar na invoering van VWH. Als er daarna nog een vergelijking gemaakt wordt met een jaar terug dan was er in de voorsituatie ook al sprake van VWH. In deze gevallen zul je dus moeten vergelijken met 2 jaar terug. Wellicht is het interessant om met beide perioden te vergelijken om zicht te krijgen op veranderingen in het effect. Te zijner tijd kan dit nader worden ingevuld.
Toepassing T-toets voor gepaarde waarnemingen
Om vast te stellen of een gevonden verschil significant is, wordt de Student’s t-toets voor paarsgewijze waarnemingen toegepast. Hierbij worden de etmaalintensiteiten van vrachtverkeer paarsgewijs vergeleken, zoals eerder beschreven. Voor elk paar wordt het verschil berekend, waarna het gemiddelde verschil over alle paren wordt bepaald.
Op basis van de variatie in deze verschillen en het aantal paren wordt met de t-toets een overschrijdingskans (p-waarde) berekend. Deze p-waarde geeft aan hoe waarschijnlijk het is dat het waargenomen verschil optreedt als er in werkelijkheid geen echt effect is. Hoe kleiner de p-waarde, hoe minder waarschijnlijk het is dat het verschil op toeval berust en hoe aannemelijker het is dat er een daadwerkelijk effect is.
Gebruikelijk is een betrouwbaarheidsniveau van 95%. Dit betekent dat als de p-waarde kleiner is dan 0,05, wordt geconcludeerd dat het verschil significant is en niet door toeval kan worden verklaard.
In formulevorm ziet het er als volgt uit:
Waarbij:
\(\bar{d}\): Het gemiddelde verschil tussen de gepaarde waarnemingen \(s_{d}\): De standaarddeviatie van de verschillen en \(n\): Het aantal paren (dus niet het totaal aantal observaties, maar het aantal gepaarde waarnemingen).
Een- vs tweezijdige toetsing
Tussen de voor- en nameting zit een jaar. Aangezien dit een lange periode is, kunnen naast de invoering van de VWH ook andere factoren invloed hebben op de etmaalintensiteiten van vrachtverkeer. Een belangrijke factor is de autonome groei, waarvoor er een correctie zal plaatsvinden. Daarnaast zijn er tal van onbekende factoren waarvoor geen correctie mogelijk is. Hierdoor zullen naar verwachting veel significante verschillen worden waargenomen, waarvan een groot deel niet aan de VWH gerelateerd is. De vraag is of al deze verschillen relevant zijn om te signaleren.
Indien álle significante verschillen—zowel toenames als afnames—in kaart moeten worden gebracht, is een tweezijdige t-toets op alle meetpunten de aangewezen methode. Echter, als de focus ligt op verschillen die mogelijk door de VWH zijn veroorzaakt, is een gerichtere aanpak noodzakelijk en is er dus gekozen voor een eenzijdige t-toets.
Om alleen significante verschillen te signaleren die kunnen wijzen op uitwijkeffecten door de VWH, moet worden getoetst op:
- Een significante afname van vrachtverkeer op meetpunten binnen het heffingsnetwerk, én tegelijkertijd
- Een significante toename van vrachtverkeer op meetpunten langs uitwijkroutes binnen het monitoringsnetwerk.
We kiezen er in dit geval voor om een enkelzijdige toets toe te passen, waarbij alleen in de verwachte richting wordt getoetst: afnames op het heffingsnetwerk en toenames op het monitoringsnetwerk.
Door deze aanpak wordt de aandacht gericht op de verschillen die relevant zijn voor de VWH, waardoor gebruikers van het dashboard niet worden overspoeld met irrelevante significante verschillen. In het onderstaande voorbeeld is deze methodiek toegepast.
Voorbeeld
Hieronder is een fictief voorbeeld weergegeven. Voor elke dag van de maand zijn in de voor- en nasituatie de etmaalintensiteiten vrachtverkeer weergegeven. Daarbij zijn paren gevormd door de 1e maandag voor te vergelijken met de 1e maandag na. In dit voorbeeld zijn er in beide periode precies evenveel van elke werkdag. Per paar wordt het verschil berekend en ook het gemiddelde verschil voor de voor- en nasituatie. In dit geval zijn er in de nasituatie gemiddelde 16 vtg per etmaal minder geteld dan in de voorsituatie. Relatief gezien een afname van 3.3%. De vraag is of dit een significant verschil is.
Voorbeeld 1: Statistische toetsing effect VWH
Als dit meetpunt op het monitoringsnetwerk zou liggen dan is het onwaarschijnlijk dat deze afname te maken heeft met VWH. Hierop hoeft dus niet te worden getoetst, dit is sowieso geen effect van VWH.
Als dit meetpunt op het heffingsnetwerk zou liggen dan duidt een afname mogelijk wel op een uitwijk-effect. De significantietoets resulteert in een overschrijdingskans van 0.03186. Dit is kleiner dan 0.05, dus er is sprake van een significant effect. Dat wil niet meteen zeggen dat dit komt door VWH. Als er echter bij een gekoppeld meetpunt op het monitoringsnetwerk tegelijkertijd een significante toename te zien is, is het al waarschijnlijker dat dit een VWH-effect is. Deze toe- en afnamecombinatie zal dan verder moeten worden geduid.
PS: Als in dit voorbeeld alleen getoetst wordt op ‘een’ effect, zonder rekening te houden met de richting van effecten (zie hiervoor), dan volgt uit de tweezijdige toets hier een overschrijdingskans van 0.06372, oftewel (net) geen effect. Naast dat er dan veel te veel meldingen zullen zijn, mis je dus met die aanpak mogelijk ‘subtiele’ VWH-effecten.
Autonome groei
Een belangrijke verstorende factor is de autonome groei. Van jaar tot jaar is er doorgaans een toename in vrachtverkeer, en het is onwenselijk dat allerlei significante verschillen door deze groei worden gedetecteerd. Bovendien willen we de grootte van het effect van de VWH vaststellen rekening houdend met deze groei. Daarom wordt een correctie toegepast in twee stappen.
Eerst wordt per meetlocatie een groeipercentage vastgesteld (PM: de definitieve methode moet nog worden bepaald, waarschijnlijk op regionaal niveau). Vervolgens worden de metingen uit de voor-situatie met dit percentage opgehoogd voordat de toetsing plaatsvindt.
In het onderstaande voorbeeld is een autonome groei van 5% verwerkt: de tellingen uit 2025 zijn met 5% verhoogd (= 2025 A). Als er geen effect van VWH zou zijn dan zouden de tellingen in 2026 rond de paarse lijn moeten liggen (5% hoger dan de blauwe lijn). Maar we zien dat de werkelijke tellingen duidelijk lager zijn (oranje lijn). Het effect in het geval dit een meetpunt op het heffingsnetwerk betreft is dus nog groter dan in voorbeeld 1, omdat daarin de autonome groei nog niet was meegenomen. De overschrijdingskans is ook afgenomen, oftewel het is nog een stuk onwaarschijnlijker geworden dat dit toeval is. Er is sprake van een significant effect van 7.4%.
Voorbeeld 2: Statistische toetsing effect VWH incl. autonome groei
Ontbrekende etmaal-data
Het kan voorkomen dat een meetpunt door een storing één of meerdere volledige dagen geen data registreert. In dat geval zijn er minder paren beschikbaar voor de toetsing. De t-toets houdt hier automatisch rekening mee, aangezien het aantal paren een directe invloed heeft op de berekening.
In het onderstaande voorbeeld zijn enkele waarnemingen verwijderd. Desondanks blijkt dat op basis van de overgebleven paren nog steeds een significant verschil kan worden vastgesteld, ondanks de onvolledige dataset.
Voorbeeld 3: Statistische toetsing effect VWH met ontbrekende etmaaldata
Ontbrekende minuten binnen een etmaal
Het zal vaak voorkomen dat niet een volledige dag ontbreekt, maar slechts een deel ervan. De vraag is dan hoeveel ontbrekende minuten nog acceptabel zijn. Als de eis is dat een etmaal alleen meetelt wanneer er precies 1.440 minuten aan data beschikbaar is, dan zou zelfs de kleinste storing ertoe leiden dat een etmaalpaar verloren gaat. Dat is onnodig, want op basis van bijvoorbeeld 1.420 minuten kan nog steeds een betrouwbare etmaalintensiteit worden berekend. Dit kan eenvoudig worden gecorrigeerd door het aantal getelde vrachtwagens op te schalen naar 1.440 minuten (bijvoorbeeld door een vermenigvuldigingsfactor van 1.440/1.420 toe te passen).
Wanneer bijvoorbeeld echter slechts 60 minuten aan data van een etmaal beschikbaar is, wordt het moeilijk om een betrouwbare etmaalwaarde te bepalen. Ergens daartussen moet dus een grens worden getrokken. Bij het kiezen van een grens speelt ook de methode van bijschatting een belangrijke rol.
• Bijschatting op basis van het gemiddelde (zoals in bovenstaand voorbeeld) kan problematisch zijn. Als bijvoorbeeld een rustige periode ontbreekt, wordt de schatting (veel) te hoog. Ontbreekt juist de spits, dan wordt de schatting te laag. Met deze methode wil je daarom zo min mogelijk bijschatten—bijvoorbeeld maximaal één uur. Ontbreekt er meer, dan kan met deze methode beter het hele etmaal als ongeldig worden beschouwd.
• Bijschatting op basis van een normaal etmaalprofiel van het meetpunt is nauwkeuriger. Hiermee kan, op basis van de wel bemeten periode, een groter ontbrekend deel van een etmaal worden aangevuld zonder dat het etmaalcijfer onbetrouwbaar wordt.
Foutieve data
Het komt voor dat lussen wel data leveren, maar dat deze data niet goed is. Bij NDW draaien dagelijkse automatische toetsen op dit soort fouten. Minuten met foute data worden voorzien van een technische uitsluiting. Die minuten worden daarmee beschouwd als ‘ontbrekend’. Vervolgens werkt het hetzelfde als hierboven is beschreven bij ontbrekende data.
Voertuig-categorieën
De etmaalintensiteiten worden afzonderlijk voor middelzwaar en zwaar verkeer en de som van beiden bepaald. Idealiter wordt de significantietoets ook op elk van die drie categorieen toegepast. Van lussen is bekend dat het onderscheid tussen licht verkeer (personenauto’s/bestelbusjes) en middelzwaar verkeer op basis van de gemeten lengte problematisch kan zijn. Het is niet te voorkomen dat er ten onrechte een klein deel van het licht verkeer in de categorie middelzwaar wordt geteld. Dit kan het VWH-effect afhankelijk van de samenstelling van het verkeer ter plekke wat vertroebelen. Het is dan namelijk mogelijk dat een toename in personenverkeer tot uitdrukken komt in de middelzware categorie. Door de effecten afzonderlijk voor middelzwaar verkeer, zwaar en de som te bepalen kan hier rekening mee worden gehouden. Voor de categorie zwaar verkeer zal dit effect naar verwachting niet op treden.
Opmerkingen
Door maanden te vergelijken wordt enigszins gecontroleerd voor vakantie-effecten. Alhoewel vakantie waarschijnlijk veel meer invloed hebben op autoverkeer dan op vrachtverkeer. - Feestdagen op werkdagen, moeten worden uitgesloten - Door specifiek te kijken naar de combinatie van een afname op het heffingsnetwerk en een toename op het monitoringsnetwerk, wordt de aandacht gericht op situaties waarin de VWH mogelijk een effect heeft gehad. Om met zekerheid te kunnen concluderen dat de VWH de oorzaak is, zijn aanvullende analyses nodig. Hierbij moet worden gekeken naar andere mogelijke verklaringen, zoals wegwerkzaamheden, weersomstandigheden, ongevallen, infrastructurele of logistieke wijzigingen in beide jaren. Hiervoor is binnen het proces Monitoring & Evaluatie de monitoringsrapportage en het duidingsoverleg voorzien. - Een significant effect wordt soms onterecht gelijkgesteld aan een groot effect. Een verandering kan statistisch significant zijn zonder dat deze groot is—zelfs een klein verschil kan significant zijn als het consequent optreedt in elk etmaalpaar. Omgekeerd kunnen grote verschillen tussen de voor- en nasituatie soms níet significant zijn, bijvoorbeeld door hoge variatie in de data of doordat er van weinig paren voldoende data beschikbaar is. Het is daarom zinvol om in het dashboard niet alleen de significantie te tonen, maar ook de (relatieve) effectgrootte. Een optie is om alleen significante effecten boven een bepaalde, vrij te kiezen drempelwaarde (bijvoorbeeld > 5%) weer te geven. Dit kan helpen om kleine, statistisch significante verschillen te onderscheiden van echt substantiële effecten. De drempelwaarde kan hiermee aan de gebruiker worden gelaten.