Validatietoetsen
Opsporen van technische afwijkingen
NDW heeft dagelijks tientallen datavalidatietoetsen draaien voor de actuele verkeersgegevens (AVG), bijvoorbeeld toetsen op nulmetingen, data errors, onwerkelijke snelheden en snelheidsverschillen tussen voertuigcategorieën. In te delen in 4 toets categorieën: intensiteit, snelheid, categorisering en compleetheid. Deze toetsen zijn op Mijn NDW nader beschreven. Hoe deze datavalidatietoetsen worden gebruikt kan je daar ook nalezen. Let op hier is een login voor vereist.
Het issue wordt gemeld bij de leverancier
Verdachte locaties worden, na een handmatige extra check, aangemeld bij de leverancier om op te lossen. Meer info over dit proces kan je vinden op Mijn NDW. Let op hier is een login voor vereist.
Technische afwijkingen worden uitgesloten
Verdachte locaties worden
(totdat het issue is opgelost) gemarkeerd als technisch afwijkend, zodat
deze uitgesloten worden voor gebruik in Dexter.
In Dexter bij export (intensiteit en snelheid, reistijd) staat standaard
het vinkje ‘technische afwijkingen uitsluiten’ aan. Uitsluitingen komen
dan als een apart Excel tab mee zodat je weet wat is uitgesloten. Ook
bevat de export een uitlegkolom waarom betreffende regel geen of niet
alle data toont. Bijv. ‘cat’ als de voertuigcategorieën foutief zijn en
daarom die cel leeg is. Dit verbetert de analyses van gebruikers doordat
foutieve data wordt uitgesloten.
Hier is de link
naar de Dexter exportpagina intensiteit en snelheid. Een overzicht van
alle technische uitsluitingen in JSON-formaat (altijd actueel overzicht)
kan je op Dexter
vinden.
Verdachte locaties kunnen ook worden uitgesloten
Technisch foutieve data wordt standaard uitgesloten. Er zijn echter ook verdachte locaties. Dit zijn door een geautomatiseerd proces als verdacht gedetecteerde locaties, die nog niet handmatig zijn gecontroleerd of de data daadwerkelijk foutief is. Het is voor de Dexter gebruiker mogelijk ook die data uit te sluiten. Voordeel: Hiermee verhogen we de actualiteit en maken we het voor de gebruiker mogelijk om ook verdachte meetgegevens uit te sluiten. Normaal gesproken worden fout-signalen door NDW medewerkers handmatig gecontroleerd, alvorens toe te voegen aan de uitsluitingen. Dit is een arbeidsintensief proces, waarbij niet gegarandeerd kan worden dat ALLE signalen worden verwerkt. Bovendien kan het even duren voordat we een locatie aanmelden. Om die reden is een automatisch proces ingericht om gebruikers alvast te informeren over mogelijk niet plausibele data.
Het is mogelijk om technisch onzekere informatie uit te sluiten in de Dexter export en Dexter rapportages. Dit kan in het selectiescherm bij de knop 'technische uitsluitingen' door het aangeven in het pop up scherm van de gewenste Minimale validiteit/betrouwbaarheid van de meting. Dit pop-up scherm toont per gekozen locatie de validiteit van de meting als percentage.
Op basis van ervaring met de huidige toetsen, zijn er signalen die bijna altijd goed zijn. Bij deze locaties geven we daarom direct als de toets signaleert een lage betrouwbaarheid mee. Afhankelijk van de toets, is het niveau hiervan hoger of lager:
0 - de meting is zeer zeker niet valide (0% juist) en wordt standaard uitgesloten bij verwerking; dit percentage wordt gereserveerd voor handmatig gecontroleerde informatie.
5 - de meting is volledig geautomatiseerd gecontroleerd in het RWS DaVinci proces en kan als zeker niet valide worden beschouwd. En wordt standaard uitgesloten bij verwerking.
25 – de meting is zeker niet valide (~25% kans dat de meting toch juist is). Er is één of meerdere toetsen afgegaan die over het algemeen betrouwbaar detecteren.
50 – de meting is waarschijnlijk niet valide (~50% kans dat de meting toch juist is). Er is één of meerdere toetsen afgegaan, maar die detecteren niet altijd zuiver.
75 – de meting is verdacht (~75% kans dat de meting wel juist is). Er is een toets afgegaan, maar die detecteert niet zuiver.
Gebruikers van opendata kunnen de API technische uitsluitingen (link staat op de NDW open data pagina) ook benutten om foutieve of verdachte data uit te sluiten. Deze waarde staat in het veld validity.
Verkeerskundige uitsluitingen
Soms kan het bijzonder rustig of juist erg druk zijn op sommige wegen. Bij het bepalen van een gemiddelde of normale etmaalintensiteit kan het wenselijk zijn om dit soort dagen niet mee te nemen bij berekeningen. Of een dag uitzonderlijk is en dus verkeerskundig wordt uitgesloten, hangt af van de mediane etmaalintensiteit en standaarddeviatie daarvan in de 120 voorgaande dagen. De berekening volgt de volgende stappen.
- De etmaalintensiteit van de 120 voorgaande dagen wordt opgehaald.
- Dagen met een beschikbaarheid van minder dan 80% worden uit deze historische set verwijderd.
- Dagen met een technische uitsluiting (AVG_FLOW) worden uit de historische set verwijderd.
- Zogenaamde outliers (dagen waarvan de etmaalintensiteit meer dan 4 standaarddeviaties afwijkt) worden uit de historische set verwijderd.
- Als na filtering de historische set minder dan 80 historische dagen bevat, kan een verkeerskundige uitsluiting niet worden bepaald.
- Als de historische set minstens 80 historische dagen bevat, wordt de mediane intensiteit en standaarddeviatie berekend.
- De mediane intensiteit en deviaties worden gecorrigeerd voor de betreffende weekdag.
- Dagen die meer dan 2.5 standaard deviaties afwijken van de mediaan krijgen een verkeerskundige uitsluiting.
Storingendashboard; inzicht in aangemelde locaties
De locaties die als issue zijn aangemeld bij de leverancier worden
opgenomen in het Storingen dashboard. Hierin zie je (actuele stand) voor
welke locaties meldingen open staan of afgesloten zijn in Topdesk met
een toelichting. Zo weet je of een locatie al is aangemeld.
Je kunt de storingenkaart hier vinden.
Zelf verdachte locaties aanmelden?
Zie je technische afwijkingen bij een locatie die nog niet is aangemeld (check hier het storingendashboard). Meld het dan via de servicedesk. Dit kan via de NDW servicedesk: mail@servicedeskndw.nu
LET OP: In Dexter wordt onderscheid gemaakt tussen technische afwijkingen en verkeerskundige afwijkingen. Verkeerskundige afwijkingen kun je zelf markeren in Dexter, aanvullend aan de technische afwijkingen die door NDW worden gemarkeerd. Dit is bedoeld voor verkeerskundige omstandigheden die aanleiding kunnen zijn om (voor specifieke gebruikstoepassingen) deze data uit te sluiten. Bijvoorbeeld grootschalige wegwerkzaamheden. Meer info hier.