Engineering von Änderungsfenstern in der OT: Test, Rückfall und Freigabe

Wie eine OT-Änderung vor Ort umgesetzt wird: Risikoklasse, Test und Pilot, Sicherung von SPS und Switch, Stillstandsplan, messbares Rückfallkriterium und Go/No-Go-Liste.
Technische Zusammenfassung
Technologie
IEC 62443-2-3, NIST SP 800-82, SPS-Firmware, industrieller Switch, MRP/REP, PLCSIM
Thema
Umsetzung freigegebener OT-Änderungen, ohne die Produktion zu gefährden
Niveau
Mittel
Voraussetzungen
  • Grundkenntnisse in SPS- und Industrie-Switch-Verwaltung
  • Zugang zu den Produktions- und Instandhaltungsplanungsprozessen der Anlage
In diesem Beitrag8 Abschnitte

Eine Änderung, die als „Fünf-Minuten-Firmware-Job“ beginnt, kann im Produktionsnetz zu einem Stillstand bis Montagmorgen werden. Eine missglückte Änderung in der IT macht einen Dienst eine Weile unerreichbar; in der OT hält sie die Linie an, macht eine halbfertige Charge zu Ausschuss oder lässt eine Sicherheitsfunktion unerwartet reagieren. Im Folgenden beschreiben wir Schritt für Schritt, wie ein freigegebener Patch, ein Firmware-Update oder eine Netzänderung vor Ort umgesetzt wird: Risikoklasse, Vorabverifizierung, Sicherung, Umsetzungsplan, Go/No-Go und Rückfall. Welcher Patch eingespielt wird, ist eine eigene Entscheidung; hier geht es um das Engineering der bereits entschiedenen Arbeit.

Einschränkungen, die Änderungen in der OT von der IT unterscheiden

Nicht die Technik erschwert OT-Änderungen, sondern die Betriebsbedingungen. Vor dem Schreiben des Plans kommen sie auf den Tisch:

  • Vorrang der Verfügbarkeit: Dass das System weiterläuft, kommt oft vor Vertraulichkeit und auch vor Aktualität. Selbst ein einfacher Neustart braucht einen geplanten Stillstand.
  • Herstellerfreigabe: Hersteller von SCADA-, HMI- und Engineering-Software listen meist, mit welchen Betriebssystem-Patches sie getestet haben. Ein Patch außerhalb der Liste kann den Supportvertrag berühren.
  • Prozesse mit Zustand (State): In der diskreten Fertigung gibt es Chargen, im kontinuierlichen Prozess ein Gleichgewicht von Temperatur und Druck. Die Änderung wird auf einen Moment gelegt, in dem der Prozess sicher angehalten und wieder gestartet werden kann.
  • Abhängigkeitskette: Der Neustart eines einzigen Switches bedeutet Rekonvergenz im Ring, Verbindungsabbrüche bei PROFINET-Geräten und eine Alarmflut am HMI.
  • Altsysteme: Betriebssysteme ohne Support und Stationen, deren Neuinstallation nie dokumentiert wurde, erschweren den Rückfall.

Den ITIL-Ablauf unverändert in die OT zu kopieren, funktioniert deshalb nicht. Der Freigabemechanismus kann ähnlich bleiben; der Unterschied liegt in der Tiefe der technischen Vorbereitung und in der Koordination vor Ort. Die Seite der Auditnachweise ist eine eigene Aufgabe; hier betrachten wir die Engineering-Seite.

Änderungsarten und Risikoklassifizierung

Wenden Sie auf jede Änderung einen gleich schweren Prozess an, passiert eines von zwei Dingen: Das Team ermüdet, oder der Prozess wird durch die Hintertür ausgehebelt. Vor Ort bewährt sich, die Änderung auf zwei Achsen zu gewichten: Auswirkung auf die Produktion (keine, eine Zelle, eine Linie, werksweit) und Rücknehmbarkeit (sofort, geplant, schwierig). Die folgende Tabelle ist eine Startvorlage; passen Sie sie an Ihre Anlage an.

Beispiel einer Änderung Domäne Rollback Risikoklasse
Syslog-/SNMP-Ziel am Switch ergänzen Keine Sofort Niedrig
Neue Erlaubnisregel an der Zellen-Firewall Eine Zelle Sofort Mittel
Betriebssystem-Patch an einer HMI-Station Eine Linie Geplant (Image) Mittel
Logikänderung im SPS-Programm Eine Linie Geplant Hoch
Firmware-Update von SPS oder Switch Linie oder Werk Schwierig Hoch
Änderung an Ring-/VLAN-Struktur Werksweit Geplant Hoch

Arbeiten mit geringem Risiko können als vorab freigegebene „Standardänderung“ definiert werden: Das Verfahren ist fest, die Arbeit erfolgt während der Produktion, nur der Eintrag wird geführt. Bei mittlerem Risiko genügen Vorabtest und Information der Schichtleitung. Bei hohem Risiko werden alle folgenden Schritte angewendet. Eine Notfalländerung (aktive Störung oder ausgenutzte Schwachstelle) überspringt den Prozess nicht, sie ändert nur die Reihenfolge: zuerst Umsetzung, Eintrag und Überprüfung direkt danach. Das Etikett „Notfall“ darf nicht zum Notausgang des Prozesses werden.

Testumgebung und Methoden der Vorabverifizierung

Ideal ist eine Testumgebung, die eine Kopie der Produktion ist. In den meisten Anlagen gibt es sie nicht. Eine gestufte Verifizierung ist trotzdem möglich:

  1. Tischverifizierung: Das Firmware-Update wird an SPS und Switch desselben Modells aus dem Ersatzteillager erprobt. Gemessen werden Update-Dauer, Neustartdauer und ob die Konfiguration erhalten bleibt. Die im Fenster genutzten Zeiten stammen von hier, nicht aus Schätzungen.
  2. Simulation: SPS-Logikänderungen werden im Simulationswerkzeug des Herstellers getestet (z. B. PLCSIM in der Siemens-Umgebung). Das findet Logikfehler; Timing und I/O-Verhalten bildet es nicht vollständig ab.
  3. Virtuelle Kopie: Sind HMI- und SCADA-Server virtualisiert, werden sie in einem von der Produktion isolierten Netz geklont, und der Patch wird dort eingespielt. Der Klon muss in einem eigenen virtuellen Netz laufen; ein Klon, der mit gleicher IP und gleichem Namen ans Produktionsnetz kommt, macht größere Probleme als das System, das Sie testen wollten.
  4. Pilot: Gibt es ähnliche Linien, wird die Änderung zuerst an einer umgesetzt und mindestens einen vollständigen Produktionszyklus (Schicht, Charge oder Rezepturwechsel) überwacht.

Das Ergebnis der Vorabverifizierung ist schriftlich: was getestet wurde, mit welchen Versionen, mit welchem Ergebnis, was nicht getestet werden konnte. Der letzte Punkt ist der wertvollste. Jeder nicht testbare Teil geht als zusätzlicher Beobachtungsschritt in den Umsetzungsplan ein.

Sicherungen von SPS-Projekt, Firmware und Switch-Konfiguration

Voraussetzung für den Rückfall ist eine direkt vor der Änderung erstellte und verifizierte Sicherung. „Irgendwo auf dem Server liegt eine Projektdatei“ ist keine Sicherung. Häufig ist folgende Lage: Das in der SPS laufende Programm und das archivierte Projekt sind nicht identisch, weil die kleine Korrektur bei der letzten Inbetriebnahme nie ins Archiv kam.

  • SPS: Mit der Engineering-Software wird das aktuelle Projekt aus dem Gerät geladen (Upload) und online/offline mit dem archivierten Projekt verglichen. Gibt es einen Unterschied, wird er zuerst erklärt; auf einem unbekannten Unterschied wird keine Änderung aufgesetzt. Firmware-Version, Hardware-Bestellnummer und gegebenenfalls eine Kopie der Speicherkarte werden festgehalten.
  • HMI/SCADA-Stationen: Ein Systemimage wird erstellt und einmal geprüft, dass es sich öffnen lässt. Lizenzdateien und hardwaregebundene Lizenzen werden gesondert notiert; bei der Wiederherstellung hakt es meist zuerst an der Lizenz.
  • Switch, Router und Firewall: Laufende Konfiguration und Firmware-Version werden gesichert; geprüft wird, ob die Konfiguration in den nichtflüchtigen Speicher geschrieben wurde. Eine nicht gespeicherte Running-Config geht beim ersten Neustart verloren.

Bei industriellen Switches auf Cisco-IOS-Basis lässt sich die Mindestaufzeichnung vor der Änderung so erstellen:

show version | include Version|uptime
show running-config
show interfaces status
show spanning-tree summary
show rep topology            ! falls REP genutzt wird
copy running-config scp://[email protected]/cfg/zelle3-sw1-vorher.cfg

Dieselben Ausgaben werden nach der Änderung erneut erfasst; die Differenz zwischen beiden ist die Grundlage der Nachverifizierung. Wird als Ringprotokoll MRP oder ein herstellerspezifisches Protokoll genutzt, kommt der entsprechende Statusbefehl auf die Liste. Der Name des „intakten“ Ringzustands hängt vom Protokoll ab (bei MRP am Ring-Manager closed, bei Cisco REP das Segment complete); der Plan wird mit dem Begriff des genutzten Protokolls geschrieben.

Umsetzungsplan und Koordination des Stillstandsfensters

Der Umsetzungsplan ist so konkret, dass er vor Ort beim Lesen abgearbeitet werden kann. Für jeden Schritt werden Verantwortliche, erwartete Dauer und Erfolgskriterium festgehalten. Die folgende Vorlage gilt für ein Switch-Firmware-Update mit hohem Risiko:

Aenderung : Firmware-Update der Zellen-Switches Linie 3 (4 Geraete)
Fenster   : Sonntag 06:00-10:00, geplanter Wartungsstillstand Linie 3
Zustaendig: Fensterverantwortliche (Instandhaltung), Ausfuehrender (OT-Netz), Beobachter (Prozess)
Vorbedingung: Linie im sicheren Zustand, Chargen abgeschlossen, Sicherungen verifiziert

T+00  Linienstatus bestaetigen, Screenshot HMI-Alarmliste    -> Prozess
T+10  Vorab-Befehle, Ringstatus geschlossen/vollstaendig     -> OT-Netz
T+20  SW-4 (Ringende) Update und Neustart                    -> OT-Netz
T+35  SW-4 pruefen: Version, Ports, Ring wieder geschlossen   -> OT-Netz
T+40  GO/NO-GO 1: SW-4 einwandfrei?                          -> Fensterverantwortliche
T+45  SW-3, SW-2, SW-1 nacheinander, Pruefung nach jedem
T+120 PROFINET-Geraetestatus, I/O-Test, HMI-Kommunikation    -> Prozess
T+150 GO/NO-GO 2: Linie fuer Produktion freigeben oder Rueckfall
Spaetester Rueckfallbeginn: T+180

In Plänen werden zwei Punkte am häufigsten übersehen. Erstens der „späteste Rückfallbeginn“: wann der Rückfall spätestens beginnen muss, damit er innerhalb des Fensters abgeschlossen werden kann. Fehlt diese Zeile, arbeitet das Team bis zum Fensterende nach vorn, und der Rückfall rutscht in die Arbeitszeit. Zweitens die Beobachterrolle. Wer Befehle tippt, kann nicht gleichzeitig die Reaktion des Prozesses verfolgen. Jemand von der Prozessseite muss am HMI Alarme und kritische Werte beobachten.

Produktionsplanung, Schichtleitungen, Instandhaltung und bei Bedarf der Maschinenhersteller werden vor dem Fenster informiert. Leistet ein Hersteller Fernsupport, wird die Verbindung vor dem Fenster getestet und zeitlich begrenzt geöffnet. Erst am Morgen des Fensters festzustellen, dass der VPN-Client nicht funktioniert, ist ein häufiger Zeitverlust.

Rückfallkriterien und Go/No-Go-Checkliste

Das Rückfallkriterium muss so messbar sein, dass es vor Ort keine Diskussion auslöst. „Wenn es ein Problem gibt, gehen wir zurück“ ist kein Kriterium. Beispiele: Der Ring kehrt nicht innerhalb von 5 Minuten in den geschlossenen Zustand zurück; ein PROFINET-Gerät bleibt im Verbindungsfehler; am HMI steht 10 Minuten lang ein Kommunikationsalarm, den es vor der Änderung nicht gab; der späteste Rückfallbeginn ist erreicht.

Go/No-Go-Liste vor Beginn des Fensters:

  • Änderungsfreigabe und Risikoklasse sind erfasst.
  • Ergebnis der Vorabverifizierung ist schriftlich; nicht testbare Punkte sind bekannt.
  • SPS-Projekte, Images und Switch-Konfigurationen sind gesichert und liegen an einem zweiten Ort.
  • Die Integrität der Firmware-Dateien wurde mit dem vom Hersteller veröffentlichten Prüfwert (Hash) verifiziert.
  • Rückfallmethode und -dauer sind bekannt; wird kein Downgrade unterstützt, liegt ein Ersatzgerät bereit.
  • Fensterverantwortliche, Ausführender und Beobachter sind vor Ort; der Kommunikationskanal ist festgelegt.
  • Der Prozess ist im sicheren Zustand; die Bediener sind informiert.
  • Die nötigen Firewall-Regeln zwischen Engineering-Station und Zielgeräten sind zeitlich begrenzt geöffnet.

Ist ein einziger Punkt der Liste nicht erfüllt, wird die Änderung verschoben. Unter Druck wird diese Regel weich; damit sie es nicht wird, muss die Liste vor dem Fenster mit den Führungskräften geteilt sein. Ein verschobenes Fenster ist billiger als ein abgebrochenes.

Verifizierung nach der Änderung

Mit dem Hochfahren des Geräts ist die Arbeit nicht erledigt. Die Verifizierung erfolgt auf drei Ebenen. Auf Netzebene werden die Vorab-Befehle wiederholt und die Ausgaben verglichen; Port-Fehlerzähler werden zurückgesetzt und einige Stunden später erneut abgelesen, weil manche Probleme erst unter Last sichtbar werden. Auf Steuerungsebene wird der SPS-Diagnosepuffer geprüft, der Online/Offline-Vergleich wiederholt, I/O und Sicherheitsfunktionen werden getestet. Auf Prozessebene wird geprüft, ob Qualitäts- und Geschwindigkeitswerte der ersten Charge oder Schicht im normalen Bereich liegen und ob im Historian-Datenfluss Lücken entstanden sind.

Für die schnelle Diagnose von Kommunikationsproblemen können die Schritte der PROFINET-Störungsdiagnose genutzt werden. Sicherer Zugriff auf Netzgeräte während der Änderung braucht einen vom Produktionsverkehr getrennten Verwaltungsweg; sein Design beschreibt der Beitrag OT-Verwaltungsnetz und Out-of-Band-Zugriff. In Segmentierungsprojekten ist jede Welle eigentlich ein Änderungsfenster; der Plan zur Segmentierung eines flachen OT-Netzes baut auf dieser Methode auf. Zur unternehmensweiten Verwaltung von Einträgen, Verantwortlichen und Freigaben siehe den Prozess des IT-Änderungs- und Konfigurationsmanagements.

Der letzte Schritt ist das Schließen des Eintrags: neue Versionen, neue Konfigurationssicherung, beobachtete Abweichungen und Lehren für das nächste Fenster. Welche Schwachstelle gepatcht und welche mit kompensierenden Maßnahmen verwaltet wird, gehört dagegen zum OT-Schwachstellenmanagement und zur Patchentscheidung. Als Rahmen für das Patchmanagement können der technische Bericht IEC 62443-2-3 und NIST SP 800-82 Rev. 3 genutzt werden. Wollen Sie Ihren Änderungsprozess und Ihr OT-Assetinventar gemeinsam überprüfen, sehen Sie sich unsere Leistungen OT-Infrastruktur-Bestandsaufnahme in der Fabrik und OT-Cybersicherheit und Segmentierung an.

Häufig gestellte Fragen

Braucht jede OT-Änderung ein Stillstandsfenster?

Nein. Arbeiten, die den Prozess nicht berühren, etwa ein Syslog-Ziel am Switch ergänzen oder die Beschreibung eines ungenutzten Ports ändern, können während der Produktion erfolgen. Firmware-Updates, Laden in die SPS und Änderungen an Ring- oder VLAN-Struktur erfolgen dagegen in einem kontrollierten Stillstand oder nachdem der betroffene Linienteil in einen sicheren Zustand gebracht wurde. Die Entscheidung trifft die Risikoklasse der Änderung, nicht das Gefühl der Dringlichkeit.

Wie wird eine Änderung ohne Testumgebung verifiziert?

Mit einem Tischtest an SPS und Switch desselben Modells aus dem Ersatzteillager, einem Logiktest in der SPS-Simulationssoftware und zuerst einer Pilotumsetzung an einer einzelnen Linie oder Zelle. Ohne Überwachung des Pilots über mindestens einen vollständigen Produktionszyklus wird die Änderung nicht auf andere Linien ausgerollt.

Wer entscheidet über den Rückfall?

Eine einzige Person, deren Name im Plan steht und die zu diesem Zeitpunkt vor Ort ist; meist die Fensterverantwortliche auf Produktions- oder Instandhaltungsseite. Weil die Kriterien vorab festgeschrieben sind, wird die Entscheidung nicht diskutiert: Erfüllt das gemessene Ergebnis das Kriterium nicht oder ist der späteste Rückfallbeginn erreicht, wird zurückgekehrt.

Kann nach einem Update der SPS-Firmware auf die alte Version zurückgekehrt werden?

Das hängt von Hersteller und Modell ab. Manche Modelle erlauben ein Downgrade, andere nicht oder verlangen, dass auch die Projektdatei für die alte Version neu übersetzt wird. Vor dem Schreiben des Rückfallplans werden die Downgrade-Bedingungen in den Versionshinweisen gelesen; wird die Rückkehr nicht unterstützt, ist die Rückfallmethode der physische Tausch gegen eine bereitliegende Ersatz-CPU.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Industrie

SPS-, PROFINET/PROFIBUS- und SCADA-Kommunikation, IT/OT-Netzwerksegmentierung und industrielle Feldanbindungen. Wir installieren und überwachen, ohne die Produktionslinie anzuhalten.

Wissenszentrum

Weitere Beiträge