Grundlegende Vorgehensweisen
- Drei Stufen der Nützlichkeit:
- Verifikation: Modell wird
korrekt beschrieben
- Validierung: das korrekte
Modell wird beschrieben
- Glaubwürdigkeit
(Credibility): Auftraggeber akzeptiert Modell zur
Entscheidungsfindung
- Verifizierung:
- beschreibt das Programm das (theoretische) Modell?
- viele Grundtechniken wie beim Programmieren
- Testen von Submodellen/Blöcken
- Programmcode mit Kollegen durchgehen
- sehr kurze Läufe manuell durchspielen
- Läufe mit sehr verschiedenen Parametern →
Ergebnisse plausibel?
- spezielle Parameterwerte mit theoretisch
bekannten Ergebnissen vergleichen
- Konkrete Beispiele bei bisherigen Modellen:
- Überprüfen von Beispiel-Ergebnissen
- Testen von Submodellen
- Läufe manuell durchspielen
- Vergleich mit theoretisch bekannten Ergebnissen
- Validierung:
- repräsentiert das Modell das betrachtete System im
Rahmen der Fragestellung hinreichend genau?
- notwendig, um aus am Modell gewonnenen Ergebnissen
sinnvoll Entscheidungen über das System abzuleiten
- hängt stark von der Fragestellung ab
- ändert sich mit der Weiterentwicklung des realen
Systems
- wird häufig zu wenig betrieben → Schlüsse aus
Modellverhalten fragwürdig
- niemals vollständig möglich
- Vier Ebenen der Modellvalidierung [11]:
- Verhaltensgültigkeit
- dynamisches Verhalten des Modells entspricht
realem System
- für relevante Parameterwerte
- im Rahmen der gewünschten Genauigkeit
- Strukturgültigkeit
- relevante kausale Beziehungen und Strukturen
abgebildet
- dazu gehören auch die Zustandsgrößen
- bei Blackbox-Modell irrelevant
- empirische Gültigkeit
- numerische Ergebnisse entsprechen dem System oder
sind plausibel
- Anwendungsgültigkeit
- Modell berücksichtigt relevante Systemparameter
- Modell berechnet die interessierenden Größen
- Detaillierungsgrad eines Modells:
- konkretisiert "hinreichend genau"
- muss der Fragestellung entsprechen
- abhängig von den vorhandenen Systemdaten
- häufig durch Zeit-/Geldknappheit beschränkt
- Faustregel: grob anfangen und nach Bedarf verfeinern
- Validierungs-Techniken:
- Sammeln von Systemdaten
- Eingangsgrößen/-verteilungen, Parameter,
Ergebnisse
- Dokumentation aller Annahmen
- Projektziele, Vereinfachungen, Beschränkungen
- Ergebnisse von Teilkomponenten und der
Gesamtsimulation überprüfen
- statistische Verfahren nutzen
- unterschiedliche Daten zum Kalibrieren
(Parameterschätzung) und Validieren
- Turing-Tests (Blindvergleich von Modell- und
Systemdaten durch Experten)
- Sensitivitätsanalysen
- Animationen