Historian-Auswahl für Produktionsdaten: Zeitreihendatenbanken

Historian-Auswahl: kommerzieller Historian, InfluxDB und TimescaleDB im Vergleich bei Kompression, Aufbewahrung, Abfrage, Sicherung und häufigen Dimensionierungsfehlern.
Technische Zusammenfassung
Technologie
Industrieller Historian, InfluxDB, TimescaleDB, PostgreSQL, Deadband, Swinging-Door-Kompression, OPC UA
Thema
Auswahl des Historians oder der Zeitreihendatenbank zur Speicherung von Produktionsdaten
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Grundkenntnisse zu tagbasierter Datenerfassung (OPC UA, MQTT)
  • Begriffe SQL und Datenbanksicherung
In diesem Beitrag8 Abschnitte

In Historian-Projekten gibt es im ersten Monat keine Probleme. Der Preis der Wahl wird bezahlt, wenn die Platte vollläuft, wenn Rohdaten gelöscht werden und die Verdichtungstabellen leer bleiben oder wenn nach einer Unterbrechung eine Stunde Daten zur falschen Zeit geschrieben wird. Ein Historian speichert Sensor-, Zähler- und Zustandsdaten mit Zeitstempel und macht sie rückwirkend abfragbar; das leisten heute sowohl kommerzielle industrielle Historians als auch Zeitreihendatenbanken (TSDB) wie InfluxDB und TimescaleDB. Im Folgenden vergleichen wir beide Ansätze bei Kompression, Aufbewahrung, Abfrage, Sicherung und OT-Integration anhand von Fehlern, die uns vor Ort begegnen.

Unterschied zwischen Historian und allgemeiner Datenbank

Produktionsdaten sind strukturell einfach: Tag-Kennung, Zeitstempel, Wert und oft eine Qualitätsinformation. Die Schwierigkeit liegt im Volumen und im Zugriffsmuster. Daten werden fast nur angehängt, nicht aktualisiert. Nahezu alle Abfragen haben die Form „Werte dieses Tags in diesem Zeitraum“. Neue Daten werden viel öfter gelesen als alte.

Eine relationale Datenbank trägt diese Last. Folgende Aufgaben muss das Team aber von Hand lösen:

  • Partitionierung nach Zeit und Löschen alter Partitionen mit einem Befehl,
  • Spaltenbasierte Kompression und Abfrage komprimierter Daten,
  • Schnelle Erzeugung von Aggregaten wie Mittelwert, Minimum, Maximum, letzter Wert je Zeitintervall,
  • Ableitung äquidistanter Reihen aus nicht äquidistanten Daten per Interpolation,
  • Korrektes Einordnen spät eintreffender Daten nach Verbindungsabbruch.

Industrielle Historians bringen das im Produkt mit, zusammen mit OT-Protokolltreibern und Tag-Verwaltung. TSDBs sind bei Speicherung und Abfrage stark; für Datenerfassung, Tag-Metadaten und Bedienerwerkzeuge brauchen sie zusätzliche Komponenten. Wer diese Zusatzkomponenten betreibt, ist oft entscheidender als der Lizenzpreis.

Kompressions-, Deadband- und Abtaststrategien

In Auswahlbesprechungen wird der Begriff „Kompression“ am häufigsten verwechselt. Dasselbe Wort beschreibt zwei verschiedene Dinge.

Wertbasierte (verlustbehaftete) Kompression

Viele kommerzielle Historians nutzen verlustbehaftete Algorithmen, die die Zahl gespeicherter Punkte senken. Die erste Stufe ist die Ausnahme-(Exception-)Deadband: Weicht ein neuer Wert nicht um einen bestimmten Betrag vom zuletzt gesendeten ab, wird er nicht übertragen. Die zweite Stufe ist meist ein Steigungsalgorithmus vom Typ Swinging Door: Liegen aufeinanderfolgende Punkte innerhalb einer definierten Toleranz auf einer Geraden, werden Zwischenpunkte verworfen und nur die Punkte geschrieben, an denen sich die Steigung ändert. Beim Lesen ergibt sich per linearer Interpolation eine Reihe, die dem Original sehr nahe kommt, aber weit weniger Punkte enthält.

Bei richtiger Toleranz funktioniert das Verfahren gut. Bei falscher löscht es kurze Spitzen. Ein häufiger Fehler ist, allen Tags pauschal dieselbe prozentuale Toleranz zuzuweisen; der kurze Sprung im Motorstrom fehlt am Tag der Störungsanalyse im Trend. Halten Sie die Toleranz nahe an der Messunsicherheit des Instruments und stellen Sie sie bei qualitätskritischen Tags enger ein.

Speicherbasierte (verlustfreie) Kompression

TSDBs speichern meist jeden Punkt und komprimieren verlustfrei: Delta-Kodierung bei Zeitstempeln, XOR-basierte Kodierung bei Gleitkommawerten, Lauflängenkodierung bei sich wiederholenden Werten. Bei konstanten oder langsam veränderlichen Signalen ist die Rate hoch, bei verrauschten Analogwerten niedrig. Verlustfreie Kompression verändert die Daten nicht. Auch das Rauschen wird gespeichert. Deshalb hilft eine kleine Deadband an der Quelle oder im Sammler trotzdem.

Stichprobe

Die Wahl zwischen periodischem Lesen (jede Sekunde, alle 5 Sekunden) und Senden bei Änderung (Report by Exception) bestimmt direkt die Zahl der gespeicherten Punkte. Nutzen Sie bei Zähler- und Zustandssignalen Senden bei Änderung, bei langsamen Analogwerten wie Temperatur Senden bei Änderung mit Deadband. Zwingen Sie schnelle Signale wie Vibration nicht in den Historian; ein eigenes Hochfrequenz-Erfassungssystem liefert oft das bessere Ergebnis.

Vergleich kommerzieller Historian und Open-Source-TSDB

Kriterium Kommerzieller industrieller Historian Open-Source-TSDB
OT-Anbindung Protokolltreiber und Tag-Browser im Produkt enthalten Eigene Erfassungsschicht nötig
Kompression Verlustbehaftet + verlustfrei, je Tag einstellbar Meist verlustfrei, Rohpunkte werden gespeichert
Abfrage Herstellerspezifische API, SQL-Schicht produktabhängig SQL (TimescaleDB) oder eigene Abfragesprache/SQL (je nach InfluxDB-Version)
Tag-Metadaten Einheit, Beschreibung, Alarmgrenzen integriert Schema entwirft das Team
Lizenz Meist nach Tag-Zahl oder Server Kostenloser Kern, Unternehmensfunktionen je nach Edition
Kompetenzbedarf Produktverwaltung Datenbankbetrieb und Schemadesign

Die Entscheidung ergibt sich nicht aus der Tabelle, sondern aus ehrlichen Antworten auf diese Fragen: Gibt es in der Anlage die Datenbankkompetenz, dieses System nachts bei einer Störung wieder hochzubringen? Brauchen Bediener und Prozessingenieure ein fertiges Trendwerkzeug? Hat das Teilen der Daten per SQL mit Unternehmens-BI-Werkzeugen Priorität? Wie ändert sich die Lizenz, wenn sich die Tag-Zahl verdoppelt?

Die Protokollwahl der Erfassungsschicht hängt direkt mit dieser Entscheidung zusammen; zu den Verhaltensunterschieden beider Protokolle siehe den Beitrag OPC UA oder MQTT.

Aufbewahrungsrichtlinie und Downsampling

Rohdaten für immer zu halten, ist selten nötig und die Gewohnheit, die das Plattenbudget am schnellsten aufbraucht. Ein nachhaltiges Modell ist gestufte Aufbewahrung: Rohdaten kurz, minütliche Verdichtungstabellen mittelfristig, stündliche oder schichtweise Verdichtungstabellen langfristig. Halten Sie in der Verdichtungstabelle nicht nur den Mittelwert. Auch Minimum, Maximum und Zahl der Werte müssen geschrieben werden; sonst werden Spitzenwerte und Datenlücken in der oberen Stufe unsichtbar.

In TimescaleDB wird dieses Modell mit Hypertable, Kompressionsrichtlinie, kontinuierlicher Aggregation (Continuous Aggregate) und Aufbewahrungsrichtlinie aufgebaut:

CREATE TABLE tag_data (
  time     timestamptz      NOT NULL,
  tag_id   integer          NOT NULL,
  value    double precision,
  quality  smallint
);
SELECT create_hypertable('tag_data', 'time',
       chunk_time_interval => INTERVAL '1 day');

ALTER TABLE tag_data SET (
  timescaledb.compress,
  timescaledb.compress_segmentby = 'tag_id',
  timescaledb.compress_orderby   = 'time DESC'
);
SELECT add_compression_policy('tag_data', INTERVAL '7 days');

CREATE MATERIALIZED VIEW tag_1m
WITH (timescaledb.continuous) AS
SELECT time_bucket('1 minute', time) AS bucket, tag_id,
       avg(value) AS avg_v, min(value) AS min_v,
       max(value) AS max_v, count(*) AS n
FROM tag_data
GROUP BY bucket, tag_id;

SELECT add_continuous_aggregate_policy('tag_1m',
       start_offset => INTERVAL '1 day',
       end_offset   => INTERVAL '1 minute',
       schedule_interval => INTERVAL '1 minute');

SELECT add_retention_policy('tag_data', INTERVAL '90 days');

Die Falle dabei: Die Aufbewahrungsdauer der Rohdaten muss länger sein als das Aktualisierungsfenster der Verdichtung (start_offset). Sonst versucht das System, die Verdichtung aus gelöschten Rohdaten neu zu berechnen. Prüfen Sie das aktuelle Verhalten der Parameter in der TimescaleDB-Dokumentation für Ihre Version. In InfluxDB erfolgt dieselbe Stufung mit Buckets unterschiedlicher Aufbewahrungsdauer und periodischen Downsampling-Tasks; weil sich Details von Version zu Version ändern, ist die InfluxData-Dokumentation maßgeblich.

Beispiel einer Speichergrößenrechnung

Die folgende Rechnung ist ein Beispiel; der echte Wert hängt von Kompressionsrate und Signalverhalten ab.

  • Tag-Zahl: 5.000
  • Mittlere Speicherhäufigkeit: 1 Punkt pro Sekunde je Tag (ungünstigster Fall, ohne Deadband)
  • Rohgröße je Punkt: 8 Byte Zeit + 4 Byte Tag-Kennung + 8 Byte Wert + 2 Byte Qualität ≈ 22 Byte; mit Zeilen- und Indexaufwand nehmen wir etwa 40 Byte an

Punkte pro Tag 5.000 × 86.400 = 432 Millionen; vor der Kompression 432 Millionen × 40 Byte ≈ 17 GB/Tag. 90 Tage Rohdatenaufbewahrung ergeben unkomprimiert etwa 1,5 TB. Verkleinert die verlustfreie Kompression die Daten etwa um den Faktor 10, genügen für 90 Tage etwa 155 GB. Sinkt die mittlere Speicherhäufigkeit per Deadband auf einen Punkt je 10 Sekunden und Tag, teilt sich die Zahl erneut durch 10.

Die praktische Folge ist klar: Die Speichergröße bestimmt nicht die Platte, sondern die tatsächliche Speicherhäufigkeit je Tag. Holen Sie vor der Serverbestellung einige Tage Beispieldaten aus dem vorhandenen System, laden Sie sie auf die Zielplattform und messen Sie die Kompressionsrate. Ein nach Annahmen dimensionierter Historian wird entweder zu teuer aufgebaut oder meldet im sechsten Monat Plattenalarm.

Sicherung, Hochverfügbarkeit und DMZ-Replikation

In den meisten Anlagen hält der Historian die Produktion nicht an; verlorene Daten bekommen Sie aber nicht zurück. Stellen Sie zwei getrennte Fragen: Gehen Daten verloren, während der Historian-Server aus ist? Kommt die Vergangenheit zurück, wenn Platte oder Datenbank beschädigt werden?

Die Antwort auf die erste Frage liegt in der Erfassungsschicht. Edge-Gateway oder Erfassungsagent müssen Daten lokal puffern (Store-and-Forward), wenn der Historian nicht erreichbar ist, und sie bei Rückkehr der Verbindung unter Wahrung des Quellzeitstempels rückwirkend schreiben. Testen Sie, wie viele Stunden der Puffer hält, nicht auf dem Papier, sondern durch Ziehen des Netzkabels. Für die zweite Frage braucht es regelmäßige Datenbanksicherungen und Wiederherstellungstests. Bei PostgreSQL-basierten Lösungen ist mit kontinuierlicher WAL-Archivierung eine Wiederherstellung auf einen Zeitpunkt möglich; bei kommerziellen Historians wird das Verfahren des Herstellers zur Sicherung der Archivdateien befolgt. Eine nie wiederhergestellte Sicherung ist keine Sicherung.

Erlauben Sie Unternehmensnutzern nicht, sich direkt mit dem Historian im OT-Netz zu verbinden. Bewährt ist, dass der primäre Historian auf OT-Seite seine Daten an eine Replik in der DMZ sendet und Reportingwerkzeuge nur auf die Replik zugreifen. Die Platzierung auf Netzseite beschreibt der Beitrag OT-DMZ-Design. Die Replikationsrichtung muss von der OT zur DMZ gehen. Testen Sie bei der Inbetriebnahme unbedingt, dass der primäre Historian weiterläuft, wenn die Replik getrennt wird.

Tabelle der Auswahlkriterien

Anforderung Richtung, die Gewicht bekommt
Fertige OT-Treiber und Bedienertrend Kommerzieller Historian
Teilen mit Unternehmens-BI per SQL SQL-basierte TSDB oder Historian mit SQL-Schicht
Viele Tags, begrenztes Lizenzbudget Open-Source-TSDB + Erfassungsschicht
Keine Datenbankbetriebskompetenz Kommerzieller Historian oder verwalteter Dienst
Anforderung an Validierung und Audit-Trail Produkt mit dokumentierter Audit-Trail- und elektronischer Aufzeichnungsfunktion
Schnelle Signale (kHz-Bereich) Außerhalb des Historians, eigenes Hochfrequenzsystem

Der häufigste Fehler nach der Auswahl ist, die Plattform ohne Standard für Tag-Benennung und Metadaten in Betrieb zu nehmen. Ein Jahr später steht derselbe Sensor unter drei verschiedenen Namen mit zwei verschiedenen Einheiten. Welche Plattform auch gewählt wird, Tag-Namen und Einheiten müssen von Anfang an festgelegt, Regeln für Datenqualität und Zeitstempel schriftlich vorhanden sein; das Thema behandelt ausführlich der Beitrag Zeitstempel und Datenqualität bei Produktionsdaten. Für die gesamte Erfassungsinfrastruktur sehen Sie sich unsere Leistung IIoT und Produktionsdatenerfassung an, für Bildschirme auf Basis des Historians unsere Seite Produktionsmonitoring und Dashboard.

Häufig gestellte Fragen

Kann in einer kleinen Anlage statt eines Historians direkt SQL Server genutzt werden?

Bei geringen Volumina wie einigen hundert Tags und minütlicher Abtastung genügt eine richtig indizierte und partitionierte relationale Tabelle. Das Problem beginnt mit wachsendem Volumen: Kompression, stückweises Löschen alter Daten und Zeitbereichsabfragen werden zu Aufgaben, die von Hand gelöst werden müssen. Ist Wachstum zu erwarten, macht eine Plattform mit Zeitreihenfähigkeit von Anfang an weniger Arbeit.

Sollte die Deadband im Historian oder im Gateway eingestellt werden?

Beides dient Verschiedenem. Die Deadband im Gateway oder OPC-UA-Abonnement senkt Netz- und Serverlast; die Kompression im Historian senkt den Speicherbedarf. Nutzen Sie an der Quelle eine kleine Rausch-Deadband und überlassen Sie die eigentliche Kompression dem Historian. Auf beiden Seiten große Deadbands zu nutzen, vervielfacht den Fehler.

Wie lange müssen Rohdaten aufbewahrt werden?

Eine einzig richtige Dauer gibt es nicht; die Entscheidung hängt davon ab, wer aus welchem Grund auf Rohdaten zurückgreift. Für Störungsanalysen genügen meist Wochen bis wenige Monate, langfristige Trends und Reporting laufen über minütliche oder stündliche Verdichtungstabellen. Ist wegen Kunden, Rückverfolgbarkeit oder Vorschriften eine längere Aufbewahrung nötig, sollte diese Anforderung schriftlich vorliegen und die Aufbewahrungsrichtlinie danach aufgebaut werden.

Wer stellt bei einer Open-Source-TSDB die OPC-UA-Verbindung her?

Zeitreihendatenbanken enthalten meist keinen OPC-UA-Client. Dazwischen kommt eine Erfassungsschicht: Edge-Gateway, ein Agent wie Telegraf, ein Node-RED-Flow oder ein Dienst, der Daten über einen MQTT-Broker schreibt. Die Fähigkeit dieser Schicht zu Pufferung, Wiederverbindung und Übertragung von Qualitätsinformationen ist ebenso entscheidend wie die Wahl der Datenbank.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Industrie

SPS-, PROFINET/PROFIBUS- und SCADA-Kommunikation, IT/OT-Netzwerksegmentierung und industrielle Feldanbindungen. Wir installieren und überwachen, ohne die Produktionslinie anzuhalten.

Wissenszentrum

Weitere Beiträge