Handbuch: 6.2. Die Modell-Qualität bewerten
Navigieren Sie nun auf die Seite, auf der der Soft-Sensor angezeigt wird. Dorthin werden Sie automatisch gelenkt, nachdem Sie den Knopf "Modellieren und Anwenden" auf der Bearbeitungsseite betätigt haben; Sie können diese Seite aber auch mittels eines Links aus der Liste der Soft-Sensoren anklicken, die Ihnen im ISS-Menü angezeigt wird.
Oben auf der Seite können Sie die Zeitspanne auswählen, für die Sie die Zeitreihen angezeigt bekommen möchten. Damit werden Daten des ursprünglichen Tags und des Soft-Sensor Tags für eben diese Zeitspanne ausgewählt und dann auf zwei Weisen dargestellt: Die obere Grafik ist eine einfache Zeitreihen-Darstellung, und die zweite Grafik vergleicht den gemessenen Wert mit dem berechneten Wert. Idealerweise werden die beiden Tags gleiche Werte anzeigen. Realistischerweise werden sie sich jedoch unterscheiden aufgrund einiger inhärenter und zufallsbedingter Abweichungen, die mit dem Messvorgang zusammenhängen. Auf der Grafik, auf der beide Tags gegenübergestellt sind, finden Sie eine gerade schwarze Linie. Das ist die Ideallinie, die Sie erhalten würden, wenn beide Werte immer vollkommen gleich wären. Anhand dieser Linie können Sie beurteilen, bis zu welchem Grad die beiden übereinstimmen.
Die dritte Grafikkurve zeigt die Wahrscheinlichkeitsverteilung bei den Unterschieden zwischen den modellierten und den gemessenen Werten. Idealerweise ist dies eine Glockenkurve wobei die Mitte eine Abweichung von 0 bedeutet. Die Kurve sollte sich symmetrisch um diese Mitte herum gruppieren und sich nach oben scharf zuspitzen. Schauen Sie sich auch an, wo die Glockenkurve sich nach beiden Seiten abflacht. Dort gibt es je einen Punkt, an dem die von der Mitte scharf abfallende Kurve übergeht in eine sanfte Abflachung hin zur Achse; das ist der "Ellbogen" der Verteilkurve. Befindet sich dieser Ellbogen auf beiden Seiten bei einem Differenzwert vergleichbar mit der Messunsicherheit des ursprünglichen Tags, dann ist alles in bester Ordnung. Sollte die Kurve mehr als eine deutlich erkennbare Spitze haben, dürfte das Modell ein systematisches Problem enthalten, das mit hoher Wahrscheinlichkeit auf eine suboptimale Auswahl der unabhängigen Variablen zurückzuführen ist, d.h., dass dem Modell eine wichtige Informationsquelle fehlt.
Weiter unten auf der Seite sehen Sie einige statistische Größen, die die Bewertungsmethode noch genauer machen. Wenn Sie von der Qualität des Modells nicht überzeugt sind, sollten Sie einige Änderungen vornehmen: bei den Zeitspannen fürs Training, bei den Ausschlussregeln oder, noch wichtiger, bei der Auswahl der unabhängigen Variablen. Als letzten Ausweg könnten Sie dann noch die Zahl der freien Parameter anheben, indem Sie die Zahl der versteckten Neuronen erhöhen. Beachten Sie, dass eine unabhängige Variable durchaus auch eine Quelle der Desinformation sein kann, so dass die Genauigkeit des Modells dadurch untergraben wird. Stellen Sie sich vor, dass Sie einen Soft-Sensor für die NOX-Emissionen eines Kraftwerks erstellen wollen; Sie können auch Ihre Herzfrequenz als unabhängige Variable einsetzen. Günstigstenfalls wird das keine Auswirkungen auf das Modell haben, aber es ist eher wahrscheinlich, dass dadurch das Modell geschwächt werden könnte, weil Ihre Herzfrequenz den Daten eine zusätzliche Struktur verleiht, ohne dass diese etwas mit der Zielgröße zu tun hat.
In dem Ausnahmefall, dass Sie zwar sorgfältig die Auswahl der unabhängigen Variablen und aller anderen Einstellungen überprüft haben und dennoch ein eher schlechtes Modell erhalten, sollten Sie schlussfolgern, dass es bei Ihrem Prozess noch eine wesentliche Information gibt, die Sie derzeit noch nicht messen oder die Sie dem Modell noch vorenthalten.