Software for quality assurance for traffic modelling and prediction SQUATRA Ein Projekt finanziert im Rahmen der Verkehrsinfrastrukturforschung 2013 (VIF2013)

September 2015

[

1

SQUATRA

Impressum:

Herausgeber und Programmverantwortung: Bundesministerium für Verkehr, Innovation und Technologie Abteilung Mobilitäts- und Verkehrstechnologien Radetzkystraße 2 A - 1030 Wien

ÖBB-Infrastruktur AG Praterstern 3 A - 1020 Wien

Autobahnen- und Schnellstraßen-Finanzierungs Aktiengesellschaft Rotenturmstraße 5-9 A - 1010 Wien

Für den Inhalt verantwortlich: AIT Austrian Institute of Technology GmbH Donau-City-Straße 1 1220 Wien

Programmmanagement: Österreichische Forschungsförderungsgesellschaft mbH Bereich Thematische Programme Sensengasse 1 A – 1090 Wien 2

SQUATRA

Software for quality assurance for traffic modelling and prediction

SQUATRA Ein Projekt finanziert im Rahmen der Verkehrsinfrastrukturforschung (VIF2013) AutorInnen:

DI Melitta DRAGASCHNIG Anita GRASER, MSc DDI(FH) Gernot LENZ DI Dr. Gerald RICHTER

Auftraggeber: Bundesministerium für Verkehr, Innovation und Technologie ÖBB-Infrastruktur AG Autobahnen- und Schnellstraßen-Finanzierungs-Aktiengesellschaft Auftragnehmer: AIT Austrian Institute of Technology GmbH

3

SQUATRA

INHALTSVERZEICHNIS 1

Kurzfassung der Projektziele und Ergebnisse ....................................................... 6

2

Übersicht der Projektstruktur................................................................................. 7

3

Arbeitspakete, Meilensteine und erreichte Ergebnisse ......................................... 8

4

Beschreibung der Projektergebnisse .................................................................. 10 4.1

AP1 Projektmanagement und -organisation ................................................. 10

4.2

AP2 Anforderungsanalyse ............................................................................ 10 4.2.1

Anforderungen an die Schnittstellen zu am Markt befindlichen Verkehrsmodellierungstools ................................................................ 10

4.3

4.4

5

4.2.2

Anforderungen an den Workflow und die Benutzeroberfläche ............ 11

4.2.3

Anforderungen an den Output des SQUATRA-Tools .......................... 12

AP3 Softwareentwicklung ............................................................................. 13 4.3.1

Schnittstellen zu Modell- und Validierungsdaten ................................. 13

4.3.2

Entwicklung der Berechnungssoftware ............................................... 14

4.3.3

Grafische Benutzeroberfläche ............................................................. 16

AP4 Demonstration und Dokumentation....................................................... 19 4.4.1

Demonstration der Berechnungssoftware ........................................... 19

4.4.2

End-User- und technische Dokumentation .......................................... 19

Zusammenfassung ............................................................................................. 20

Beilagen .................................................................................................................... 22

4

SQUATRA

ABBILDUNGSVERZEICHNIS Abbildung 1: Projektstrukturplan SQUATRA ............................................................... 7 Abbildung 2: Systemablaufskizze.............................................................................. 11 Abbildung 3: Exemplarischer Input für SQUATRA aus VISUM (links) und MATSim (rechts) ................................................................................................. 13 Abbildung 4: Überblick über die Softwarekomponenten............................................ 14 Abbildung 5: GUI für VISUM-Input ............................................................................ 16 Abbildung 6: GUI für MATSim-Input .......................................................................... 17 Abbildung 7: Popup-Fehlermeldung mit Hinweis....................................................... 18 Abbildung 8: SQUATRA-Systemskizze ..................................................................... 21

TABELLENVERZEICHNIS Tabelle 1:

Arbeitspakete mit erreichten Ergebnissen und Abweichungen .............. 8

Tabelle 2:

Meilensteine mit Anmerkungen zu Abweichungen ................................. 9

Tabelle 3:

Gesammelte Anforderungen an Workflow und Benutzeroberfläche ..... 12

5

SQUATRA

1

KURZFASSUNG DER PROJEKTZIELE UND ERGEBNISSE

Die Zielsetzung von SQUATRA umfasste die Entwicklung einer neutralen Softwareapplikation, die die im Merkblatt zur RVS 02.01.31 definierten Qualitätsindikatoren in ansprechender und standardisierter Form aus dem Output von am Markt vorhandenen Verkehrsmodellierungsprogrammen ermittelt sowie die Möglichkeit einer vollständigen Dokumentation aller Stufen der Modellbildung bietet.

Im Rahmen des Projekts wurde anforderungsgemäß ein Software-Prototyp entwickelt, der folgende, im Merkblatt zur RVS 02.01.31 definierte Qualitätselemente betrachtet: 

Prozentuale Wurzel der mittleren Abweichungsquadrate PWA



Konfidenzintervall für modellierte Verkehrsstärken des Wegenetzes des Planungsgebietes der betrachteten Verkehrsmittel für den Bestandsplanfall eines Basisjahrs und für einen Prognoseplanfall



Erklärungsqualitätsindikator für die Abbildung der Wegenetzverkehrsstärken von Verkehrsnachfragemodelle EQI („pseudo-R2“) der betrachteten Verkehrsmitteln im Bestandsfall in zwei Varianten: Erklärungsqualitätsindikator EQIu (ungewichtet) und EQIg (gewichtet)



Koinzidenz-Verhältnis, Kennziffern für die Übereinstimmung von modellierter und beobachteter Verteilung für den Plannullfall: Mittelwert, Streuung, Schiefe und Koinzidenz-Verhältnis



Abbildungssoftware nach einer Musterdarstellung einer Verteilung von absoluten und relativen Abweichungen bzw. Veränderungen von Verkehrsverhaltensvariablen



vollständige Dokumentation aller Stufen der Modellbildung, der jeweils verwendeten Daten sowie der gegebenenfalls getroffenen Annahmen (anhand von Templates für die im Merkblatt enthaltenen Mustertabellen

Implementiert wurde – entsprechend der Vereinbarung mit den AuftraggeberInnen - die Möglichkeit, den Output von PTV VISUM sowie von MATSim mit dem in SQUATRA entwickelten Tool verarbeiten zu können.

Finaler Output ist ein Report mit den gesammelten Ergebnissen der berechneten Qualitätsindikatoren sowie der Dokumentation der Modellbildung.

6

SQUATRA

2

ÜBERSICHT DER PROJEKTSTRUKTUR

Für das Projekt SQUATRA wurde im Projektantrag eine methodische Vorgangsweise definiert, die zu Projektbeginn durch den folgenden Projektstrukturplan ergänzt wurde.

Abbildung 1: Projektstrukturplan SQUATRA

Die Ergebnisse aus dem Projekt wurden den Arbeitspakten bzw. Tasks zugeordnet und sind in den folgenden Kapiteln beschrieben.

7

SQUATRA

3

ARBEITSPAKETE, MEILENSTEINE UND ERREICHTE ERGEBNISSE

AP Nr.

Arbeitspaket Bezeichnung

Fertigstellungsgrad

Basistermin Anf.

Ende

Aktuell Anf.

Ende

Erreichte Ergebnisse / Abweichungen Erg: Projektdokumentationen und -berichte, Verträge, Erfolg-

Projektmanagement

1

und -organisation

reicher Projektverlauf und Ab100%

07/14

06/15

07/14

09/15

schluss Abw: verspäteter Projektstart, Begründung siehe Meilenstein 1 in Tabelle 2 Erg: Sammlung und Aufbereitung der Anforderungen

2

Anforderungsanalyse

100%

07/14

09/14

09/14

01/15

Abw: Verzögerung ist eine Auswirkung des verspäteten Projektstarts Erg: Release der Software mit grafischer Benutzeroberfläche zur Berechnung von Qualitätsindikatoren aus Modell- und Vali-

Software-

3

development

100%

08/14

04/15

10/14

08/15

dierungsdaten Abw: Verzögerung ist eine Auswirkung des verspäteten Projektstarts sowie der Projektverlängerung (nähere Begründung siehe Meilenstein 3 in Tabelle 2) Erg: Erfolgreicher Probelauf an zwei Anwendungsbeispielen und

4

Demonstration und Dokumentation

Verfassen des Handbuchs 100%

03/15

06/15

03/15

09/15

Abw: Zusätzlicher externer Probelauf bei austriatech und damit einhergehende Projektverlängerung

Tabelle 1:

Arbeitspakete mit erreichten Ergebnissen und Abweichungen

8

SQUATRA

Meilenstein Nr.

Meilenstein Bezeichnung

Basistermin

Meilenstein erreicht am

Anmerkungen zu Abweichungen Übermittlung des Werkvertrages erst Mitte Juli, anschließend ver-

1

Kick Off Meeting

15.07.14

22.09.14

zögerter

Unterschriftenlauf

auf-

grund Urlaubszeit in den Sommerferien 2

AP2 Anforderungsanalyse ist abgeschlossen

30.09.14

31.01.15

Auswirkung des verspäteten KickOffs Projektverlängerung da im Einver-

3

AP3 Softwaredevelopment ist abgeschlossen

30.04.14

31.08.15

ständnis mit den

Auftraggebern

ein externer Test der Software durch austriatech vollzogen wurde

4 5

Tabelle 2:

AP4 Demobetrieb ist abgeschlossen Projektabschlussmeeting und Abschlussbericht

20.06.14

30.09.15

Siehe Begründung Meilenstein 3

30.06.14

30.09.15

Siehe Begründung Meilenstein 3

Meilensteine mit Anmerkungen zu Abweichungen

9

SQUATRA

4

BESCHREIBUNG DER PROJEKTERGEBNISSE

Die Beschreibung der Projektergebnisse ist im folgenden Abschnitt den Arbeitspaketen entsprechend dem Projektstrukturplan (siehe Abbildung 1) zugeordnet.

4.1 AP1 Projektmanagement und -organisation Die Tätigkeiten zum Projektmanagement umfassten die Aufgaben zur organisatorischen und technischen Abstimmung zum Projekt sowie die laufende Fortschrittskontrolle. Zur Dokumentation des Projekts wurden Projektdokumente erarbeitet und verfasst. Im Rahmen der Projektbegleitung wurden Meetings mit Vertretern der AuftraggeberInnen sowie des bmvit und der austriatech organisiert, in denen wichtige Projektentscheidungen getroffen und Feedback eingeholt wurde. Dadurch war gewährleistet, dass der Projektfortschritt in enger Abstimmung mit den relevanten StakeholderInnen in iterativen Schritten überwacht und gesteuert wird.

4.2 AP2 Anforderungsanalyse 4.2.1 Anforderungen an die Schnittstellen zu am Markt befindlichen Verkehrsmodellierungstools Im Zuge der Arbeiten zu AP2 wurden zu Beginn des Projekts anhand einer Literatur- und Marktanalyse sowie mittels Testversionen die verfügbaren Schnittstellen sowie das Format und der Inhalt des Datenoutputs der am Markt befindlichen Anwendungsprogramme VISUM, MATSim, CUBE, EMME und TransModeler analysiert. Dabei wurde das Hauptaugenmerk auf die Möglichkeiten hinsichtlich des Datenaustauschs zwischen den Verkehrsmodellierungstools und der in SQUATRA zu entwickelnden Software ausgelotet. Zusammenfassend kann gesagt werden, dass es möglich ist, aus allen diesen Tools die für SQUATRA benötigten Outputdaten entweder direkt oder mit wenigen Zwischenschritten in maschinenverarbeitbarem Format (.csv-Datei) bereitstellen zu können. Daraus ergibt sich die Anforderung für SQUATRA, in seiner Grundfunktionalität eben solche Dateiformate automatisiert einlesen zu können. Im Rahmen des Projekts wurde entsprechend dem Projektantrag das Einlesen von VISUM- und MATSim-Output implementiert.

10

SQUATRA

4.2.2 Anforderungen an den Workflow und die Benutzeroberfläche Im Rahmen der Anforderungsanalyse wurden die Anforderungen an die Benutzeroberfläche der Softwareapplikation erhoben. Abbildung 2 zeigt das entwickelte Ablaufschema, das die Schritte des Workflows von den Inputdaten über die Konfiguration und Berechnung zu den gesammelten Outputdaten von SQUATRA darstellt. Hauptaufgabe der grafischen Benutzeroberfläche ist die Konfiguration der Inputs und der gewünschten Outputs der Berechnungen.

Abbildung 2: Systemablaufskizze

Zum Zweck der Dokumentierbarkeit und Reproduzierbarkeit der Berechnungen und leichteren Übertragbarkeit von Konfigurationseinstellungen wurde im GUI die Möglichkeit geschaffen, den BenutzerInnen das Speichern der gewählten Einstellungen (Eingabedateipfade, gewünschte Berechnungen, etc.) in Konfigurationsdateien, die per Mausklick schnell wieder geladen werden können, zu ermöglichen

11

SQUATRA

Tabelle 3 dokumentiert die in AP2 gesammelten Anforderungen:

Anforderung

Lösungsansatz

Nachvollziehbarkeit

und SQUATRA-Konfigurationen (inkl. Eingabedateien, Indikato-

Reproduzierbarkeit der Er- renauswahl und Outputeinstellungen) können jeweils in einer gebnisse

Projektdatei abgespeichert, und bei Bedarf schnell wieder geladen werden.

Einfache von

Übertragbarkeit Konfigurationen (beispielsweise Fahrzeugklassen oder Ver-

Konfigurationseinstel- kehrsstärkeklassen) werden in entsprechenden Konfigurati-

lungen

onsdateien abgelegt

Strukturierte

Darstellung Alle Berechnungsergebnisse werden gesammelt in einem

der Ergebnisse

Report dargestellt. Der Report wird als Word-Dokument zur Verfügung gestellt.

Einfache

Weiterverwend- Berechnete Werte werden in Form von xls- und csv-Dateien

barkeit der Ergebnisse

zur Weiterverwendung bereitgestellt. Im Report enthaltene Abbildungen werden als Bilddateien zur Verfügung gestellt.

Tabelle 3:

Gesammelte Anforderungen an Workflow und Benutzeroberfläche

4.2.3 Anforderungen an den Output des SQUATRA-Tools Es wurden im Rahmen der Anforderungsanalyse verschiedene Varianten erwogen, in welcher Form die berechneten Resultate den AnwenderInnen zur Verfügung gestellt werden sollen. Um bestmögliche Flexibilität zu bewahren und die Weiterverarbeitung der Resultate zu erleichtern, wurde festgelegt, dass die Berechnungsergebnisse gut strukturiert in maschinenverarbeitbaren Formaten gespeichert werden sollen. Des Weiteren fasst ein benutzerfreundlich aufbereiteter Report im Windows-Word-Format (siehe auch Kapitel 4.4.1) die Resultate übersichtlich zusammen und dokumentiert die bei der Berechnung verwendeten Input-Dateien.

12

SQUATRA

4.3 AP3 Softwareentwicklung 4.3.1 Schnittstellen zu Modell- und Validierungsdaten Um die Schnittstellen zu implementieren, wurden testweise geeignete Inputdateien (in Form von strukturierten Textdateien) aus den Verkehrsmodellierungstools VISUM und MATSim erstellt. Außerdem wurden für jede Datei die Attribute und Spaltennamen festgelegt,. die unbedingt erforderlich sind. Diese Spezifikation wurde im nachfolgenden Arbeitspaket dazu verwendet, die Gültigkeit von gewählten Eingabedateien zu prüfen und den AnwenderInnen der Software entsprechende Informationen zu bieten, falls die Gültigkeitschecks fehlschlagen.

Abbildung 3: Exemplarischer Input für SQUATRA aus VISUM (links) und MATSim (rechts)

13

SQUATRA

4.3.2 Entwicklung der Berechnungssoftware Die Software SQUATRA besteht aus drei grundlegenden Komponenten, wie in Abbildung 4 dokumentiert ist. Im core package sind sämtliche Berechnungen für Kennziffern und Indikatoren gemäß RVS implementiert, außerdem sind hier Funktionalitäten zum Aggregieren von Eingabedaten sowie Code zur Erzeugung von Grafiken verfügbar. Das Einlesen von Verkehrsmodelldaten und verschiedene Validierungsmethoden, um die Daten vor dem Start der Berechnungen auf Vollständigkeit zu prüfen, sind im io package implementiert. Auch die Loggingfunktionalitäten, sowie Methoden zur Erstellung des in AP2 definierten Reports sind hier implementiert. Layout und Funktionalität des GUI, sowie Methoden zum Speichern und Laden von Projektkonfigurationen, befinden sich im ui package.

Abbildung 4: Überblick über die Softwarekomponenten

Die Entwicklung der Software erfolgte unter Beachtung gängiger Best Practices. Zur CodeVersionsverwaltung wurde Mercurial eingesetzt. Begleitend zur Implementierung wurden Unittests implementiert, um die Wartbarkeit und Qualität der Software zu garantieren. Das Bugtracking-System Redmine wurde zum Management von Aufgaben und Tickets, die den beteiligten EntwicklerInnen zugewiesen wurden, verwendet.

14

SQUATRA

Gemäß den Prinzipien von Agile Development wurde darauf geachtet, möglichst früh einen automatisierten Releaseprozess aufzusetzen. Ein Buildscript erstellt aus dem Code sowie sämtlichen benötigten Ressourcedateien eine ausführbare Windowsdatei, die keine weiteren Installationsschritte erfordert und auf unterschiedlichen Windowsversionen ausgeführt werden kann. Prototypen der Software wurden einem Testanwender zur Verfügung gestellt, um Feedback u.a. zur Benutzeroberfläche zu sammeln. Das erhaltene Feedback wurde jeweils in der darauffolgenden Iteration umgesetzt.

Der Definition der Eingangsdaten aus den unterschiedlichen Quellen VISUM und MATSIM aus AP3 folgend (siehe Kapitel 4.3.1) wurden Importschnittstellen für die entsprechenden Dateiformate implementiert. Die Überprüfung erfolgte anhand von fortlaufenden Tests und der Spezifikation entsprechender Musterdaten. Die Identifikation der Gemeinsamkeiten der Datensätze bezüglich notwendiger Aggregation erlaubt eine frühe Integration in ein gemeinsames Verfahren zur weiteren Behandlung der Daten. Auf Grundlage der RVS wurden die benötigten Berechnungen für folgende Ergebnisgrößen in nicht-redundante algorithmische Blöcke zusammengefasst: 

Indikatorwerte (PWA, AWA, RKI, AKI)



Kennziffern (KV)



Visualisierungsdaten (für Grafiken)

Während der Implementierung dieser Blöcke wurden wieder fortlaufend Softwaretests entwickelt, um die Verifikation der Funktionsweise während der Entwicklungszyklen zu gewährleisten.

15

SQUATRA

4.3.3 Grafische Benutzeroberfläche Entsprechend den Anforderungen aus AP2 (siehe 4.2.2) und basierend auf dem ersten GUIEntwurf aus dem Projektantrag wurde das GUI erweitert und angepasst. Dabei wurde je eine Oberfläche für die Verkehrsmodellierungsprogramme VISUM und MATSim entwickelt, die hinsichtlich der möglichen Input-Dateien optimiert wurde.

Abbildung 5: GUI für VISUM-Input

16

SQUATRA

Abbildung 6: GUI für MATSim-Input

17

SQUATRA

Das GUI inkludiert auch einige Popup-Fehlermeldungen, die bei einem negativen Check den NutzerInnen Hinweise zur fehlerfreien Bedienung geben. Fehlt z.B. eine Input-Datei, die zur Berechnung der gewählten Kennzahlen benötigt wird, so wird dies den BenutzerInnen angezeigt (siehe Abbildung 7).

Abbildung 7: Popup-Fehlermeldung mit Hinweis

18

SQUATRA

4.4 AP4 Demonstration und Dokumentation 4.4.1 Demonstration der Berechnungssoftware In der letzten Projektphase wurde der Software-Prototyp entsprechend dem Antrag anhand von

zwei

Verkehrsmodellanwendungen

getestet.

Eine

davon

war

das

VISUM-

Verkehrsmodell Österreich VP25+, zur Verfügung gestellt von der ASFINAG, die andere ein MATSim-Modell aus einem Tutorial. Dabei wurden jeweils die vorgeschriebenen Outputdaten generiert und dann der Berechnungsprozess mit der Software durchgespielt. Als Beilage zu diesem Ergebnisbericht findet sich je Verkehrsmodellanwendung ein automatisch erzeugter Ergebnis-Report, der von der SQUATRA Software aus dem entsprechenden Testdatensatz erzeugt wurde.

Zusätzlich wurde auch noch ein externer Testlauf bei austriatech durchgeführt, der eine erste praktische Anwendung des Tools darstellte. Da dieser auch von den AuftraggeberInnen als überaus sinnvoll erachtete Testlauf nicht im eingereichten Zeitplan vorgesehen war, wurde der Projektzeitraum mit Zustimmung der FFG um 3 Monate verlängert. Aus dem Feedback dieses Testlaufs wurde wertvoller Input zur Verbesserung der Software gewonnen, der in weiterer Folge in SQUATRA implementiert wurde.

4.4.2 End-User- und technische Dokumentation Abschließend wurde die Dokumentation zu SQUATRA erstellt, die zwei Dokumente umfasst: 

Benutzer- und Installationshandbuch mit der Installationsanleitung und den Bedienungsanweisungen für den End-User



Technische Dokumentation, die den dokumentierten Sourcecode und eine technische Spezifikation (Beschreibung der zugrundeliegenden Softwarelibraries und der Entwicklungsumgebung) beinhaltet

Das Benutzer- und Installationshandbuch findet sich ebenso in der Beilage zu diesem Ergebnisbericht, die Technische Dokumentation wird mitsamt der Software den AuftraggeberInnen übergeben.

19

SQUATRA

5

ZUSAMMENFASSUNG

Verkehrsnachfragemodelle, die als Basis für Bewertungsverfahren und für die Dimensionierung von Verkehrsinfrastrukturbauten herangezogen werden, weisen in der Anwendungspraxis oft nur geringe Qualitätssicherungsstandards auf. Um diesem Umstand entgegenzuwirken wird aktuell durch den Arbeitsausschuss Verkehrsnachfrage der Forschungsgesellschaft Straße-Schiene-Verkehr – basierend auf den Ergebnissen von QUALIVERMO – ein Merkblatt für die RVS 02.01.31 erarbeitet, in dem eine Reihe von quantitativen Qualitätsindikatoren samt der für die Qualitätssicherung notwendigen Dokumentation in standardisierter Form enthalten sind.

Im Projekt SQUATRA wurde nun eine gleichnamige Softwareapplikation entwickelt, mit der erstmals ein Tool zum Merkblatt zur RVS 02.01.31 zur Verfügung steht, die es den AnwenderInnen erleichtert, die geforderte Qualitätssicherung im Zuge der Verkehrsmodellerstellung umzusetzen und zu gewährleisten.

Zur Berechnung der im Merkblatt zur RVS 02.01.31 angeführten Qualitätsindikatoren verarbeitet SQUATRA den Output von Verkehrsmodellierungsprogrammen (im konkreten PTV VISUM und MATSim). Über die Benutzeroberfläche können die gewünschten Qualitätselemente, sowie die entsprechenden Modelloutput-Dateien ausgewählt und die Berechnung ausgeführt werden. Weiters bietet SQUATRA Templates zur vollständigen Dokumentation aller Stufen der Modellbildung.

Durch wiederholte Anwendung des Tools wird sich sukzessive abzeichnen, welche Kennwerte sich unter den jeweils aufgabenbezogenen Modellanwendungen etablieren können. Das Tool trägt somit zur Qualitätsverbesserung von Verkehrsmodellanwendungen bei.

Nachstehend dargestellt die Systemskizze von SQUATRA:

20

SQUATRA

Abbildung 8: SQUATRA-Systemskizze

21

SQUATRA

BEILAGEN Beilage.1: SQUATRA-Report des Testlaufs mit dem VISUM-Verkehrsmodell Österreich VP25+ Beilage.2: SQUATRA-Report des Testlaufs mit einem MATSim-Modell Beilage.3: SQUATRA Benutzer-Handbuch

22

SQUATRA