ERP- und Web-Integration: Muster mit synchroner API, Webhook und Queue

Wahl zwischen synchroner API, Webhook, Queue und Batch-Übertragung für Bestand, Preis, Bestellung und Debitoren bei der ERP-Web-Integration; Fehler aus der Praxis und Entscheidungsreihenfolge.
Technische Zusammenfassung
Technologie
REST API, Webhook, Message Queue, Transactional Outbox, SFTP/CSV, ETL
Thema
Wahl des Integrationsmusters für den Datenfluss zwischen ERP und Web
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Vertrautheit mit HTTP-API-Konzepten
  • Grundkenntnisse des ERP-Datenmodells (Artikel, Debitor, Bestellung)
In diesem Beitrag8 Abschnitte

Die Integration zwischen ERP und Website wird meist dann zum Thema, wenn eine Bestellung verloren geht oder ein ausverkaufter Artikel verkauft wird. Die meisten Störungen, die wir in der Praxis sehen, sind keine Programmierfehler, sondern eine falsche Musterwahl: Daten, die sofort aktuell sein müssten, werden nachts übertragen, und Daten, die nachts übertragen werden könnten, werden bei jedem Seitenaufruf im ERP abgefragt. Die Wahl zwischen synchroner API, Webhook, Message Queue und Batch-Übertragung für Bestand, Preis, Bestellung und Debitoreninformationen sollte so getroffen werden, dass Sie für jeden Datentyp die Begründung aufschreiben können. Systemgrenzen in der Produktion unterscheiden sich von allgemeinen Web-API-Mustern; diese Abgrenzung behandelt der Beitrag Datenflüsse zwischen MES und ERP nach ISA-95.

Vier Dateneigenschaften, die das Muster bestimmen

Beginnen Sie die Diskussion mit der Frage „Welche Technologie nehmen wir?“, wird die erste Schnittstelle, die das ERP anbietet, auf jeden Fluss angewendet. Danach bricht die Schwäche dieser Schnittstelle in jedem Fluss einzeln auf. Beantworten Sie stattdessen für jeden Datenfluss zuerst vier Fragen:

  • Aktualitätsanforderung: Wie alt dürfen die Daten auf Web-Seite sein? Bei einer Produktbeschreibung ist ein Tag kein Problem; bei einem Bestand von nur noch wenigen Stück bedeuten schon Minuten Überverkauf.
  • Änderungshäufigkeit und Volumen: Eine Preisliste ändert sich wenige Male im Jahr gesammelt; der Bestand ändert sich bei jeder Lieferung und jedem Verkauf. Häufige kleine und seltene große Änderungen werden nicht mit demselben Muster transportiert.
  • Toleranz für Verlust und Duplikate: Eine verlorene Bestellung ist inakzeptabel. Kommt dagegen ein Bestandsupdate mit absolutem Wert doppelt an, ist das unschädlich.
  • Richtung und Eigentum: Fließen die Daten in eine Richtung, oder können beide Systeme denselben Datensatz ändern? Ein bidirektionaler Fluss erfordert vor der Musterwahl eine Eigentumsregel.

Diese Antworten bestimmen den Großteil des Musters. Der zweite Filter sind die Einschränkungen des ERP selbst: Gibt es eine API, für wie viele Benutzer erlaubt die Lizenz gleichzeitige Sitzungen, wann ist das Wartungsfenster? Das Lizenzlimit wird in den meisten Projekten spät bemerkt. Das wird teuer.

Synchroner API-Aufruf: wo er genügt, wo er gefährlich ist

Beim synchronen Muster ruft die Webanwendung während der Verarbeitung einer Nutzeranfrage direkt die API des ERP auf und wartet auf die Antwort. Klickt ein Händler im B2B-Portal auf „In den Warenkorb“, wird sein individueller Nettopreis in diesem Moment im ERP abgefragt. Die Daten sind immer aktuell, es gibt keine Zwischenschicht.

Der Preis ist, dass die Verfügbarkeit beider Systeme aneinander gekoppelt wird. Ist das ERP nachts in Wartung, langsam oder am Lizenzlimit, wird auch die Website langsam oder liefert Fehler. Steigt der Traffic, lastet die Last direkt auf dem ERP; am Kampagnentag frieren die Bildschirme der Buchhaltung ein. Genau dieses Bild sehen wir in der Praxis am häufigsten: Das Problem zeigt sich im Web, die eigentliche Ursache ist der Sitzungspool des ERP. Ein synchroner Aufruf ist unter diesen Bedingungen vertretbar:

  • Die Abfrage hat geringes Volumen und ist auf authentifizierte Nutzer beschränkt (händlerspezifischer Preis, Kontosaldo).
  • Die Antwort lässt sich kurz cachen, und es gibt ein sinnvolles Ersatzverhalten, wenn das ERP nicht erreichbar ist („Zur Preisbestätigung wenden Sie sich an Ihren Vertriebsmitarbeiter“).
  • Der Timeout ist klar definiert. Eine Web-Anfrage darf nicht unbegrenzt auf das ERP warten.

Auf Produktlistenseiten, die anonyme Besucher aufrufen, bei jeder Anfrage das ERP abzufragen, ist fast immer falsch. Die Daten werden auf Web-Seite in einer Kopie gehalten und mit einem der folgenden Muster aktualisiert. Details zu Timeout- und Wiederholungsregeln finden Sie im Leitfaden zu API-Fehlerbehandlung, Retry und Backoff.

Ereignisbasierte Übertragung per Webhook

Beim Webhook sendet das Quellsystem bei einer Änderung eine Benachrichtigung an einen HTTP-Endpunkt des Zielsystems. Manche ERP- und CRM-Systeme bieten Webhooks für Ereignisse wie „Bestellung angelegt“ oder „Bestand geändert“; Zahlungsdienstleister und Versanddienstleister übermitteln Statusänderungen meist auf diesem Weg.

Ein Webhook liefert geringe Latenz ohne die Kosten von Polling. Er hat aber drei Grenzen, und alle drei begegnen Ihnen in der Praxis:

  1. Die Zustellgarantie hängt vom Absender ab. Wie oft und wie lange bei nicht erreichbarem Empfänger erneut versucht wird, bestimmt der Absender. Läuft die Frist ab, geht das Ereignis verloren.
  2. Es gibt keine Reihenfolgegarantie. Zwei Ereignisse zum selben Datensatz können in umgekehrter Reihenfolge eintreffen.
  3. Duplikate sind möglich. Der Absender sendet ein Ereignis, auf das er keine Antwort erhalten hat, erneut; Duplikate muss der Empfänger herausfiltern.

Machen Sie den Webhook daher nicht zur einzigen Quelle der Wahrheit. Richten Sie ihn zusammen mit einem periodischen Abgleichsjob ein, der verpasste Ereignisse erfasst. Signaturprüfung, Duplikatfilterung und Reihenfolge am empfangenden Endpunkt beschreibt der Leitfaden zum Design von Webhook-Empfängern ausführlich.

Zwischenschicht mit Message Queue

Beim Queue-Muster rufen sich Web und ERP nicht direkt auf. Dazwischen tritt ein Message Broker wie RabbitMQ, Azure Service Bus oder Amazon SQS oder eine einfache, über eine Datenbanktabelle aufgebaute Job-Queue. Die Website schreibt die Bestellung in ihre eigene Datenbank und legt eine Nachricht in die Queue; ein Consumer-Prozess nimmt die Nachricht, überträgt sie ins ERP und bestätigt die Nachricht bei Erfolg.

Der Gewinn ist die zeitliche Entkopplung beider Systeme. Auch wenn das ERP zwei Stunden in Wartung ist, nimmt das Web weiter Bestellungen an; Nachrichten sammeln sich und werden der Reihe nach verarbeitet, sobald das ERP zurück ist. Die Zahl der Consumer wird an die Gleichzeitigkeit angepasst, die das ERP verkraftet, und das ERP wird unter Last geschützt (queue-based load leveling). Bei ERP-Systemen mit Lizenzlimit ist diese Einstellung der eigentliche Schutzmechanismus.

Häufig übersehen wird: Das Speichern in der Datenbank und das Ablegen einer Nachricht in der Queue sind keine einzelne Transaktion. Die Bestellung wird gespeichert, die Nachricht kann nicht gesendet werden, die Bestellung erreicht das ERP nie. Und niemand bemerkt es. Die verbreitete Lösung ist das Muster Transactional Outbox: Die Nachricht wird in derselben Datenbanktransaktion wie die Bestellung in eine Tabelle outbox geschrieben; ein separater Prozess liest diese Tabelle und leitet sie an den Broker weiter.

BEGIN;
INSERT INTO orders (id, customer_id, total, status)
  VALUES (10452, 'C-0193', 18450.00, 'received');
INSERT INTO outbox (aggregate_id, event_type, payload, created_at)
  VALUES (10452, 'order.created', '{"order_id":10452}', NOW());
COMMIT;
-- Separater Publisher-Prozess: liest nicht gesendete Eintraege aus der outbox,
-- leitet sie an den Broker weiter und markiert den Eintrag als "sent".

Die meisten Message Broker bieten „mindestens einmal“ (at-least-once) Zustellung; ein Consumer kann dieselbe Nachricht mehrmals erhalten. Die Buchung auf ERP-Seite muss über eine externe Referenz wie die Web-Bestellnummer idempotent gestaltet werden. Eine Bestellung, die mit derselben Referenz ein zweites Mal eintrifft, legt keinen neuen Datensatz an. Die häufigste Ursache doppelter Rechnungen in der Praxis ist das Fehlen dieser Prüfung.

Geplante Batch-Übertragung und dateibasierte Integration

Nicht alle Daten müssen in Echtzeit vorliegen. Für Artikelstammdaten, Kategoriebaum, Preislisten und Debitorenstammdaten ist eine nächtlich oder stündlich laufende Batch-Übertragung (ETL) oft die robusteste und am einfachsten zu betreibende Lösung. Hat das ERP keine API oder ist die API-Lizenz begrenzt, ist das Ablegen einer CSV/XML-Datei per SFTP weiterhin eine gültige Methode. Eine alte Methode. Aber sie funktioniert.

Bei dateibasierter Integration sind die Bruchstellen bekannt:

  • Atomare Dateiübergabe: Die Datei wird zuerst unter einem temporären Namen (bestand.csv.tmp) geschrieben und nach Abschluss umbenannt. Der Empfänger verarbeitet keine halbe Datei. Wird dieser Schritt übersprungen, sind „zufällig“ fehlende Artikel das typische Symptom.
  • Delta oder vollständige Liste: Die vollständige Liste ist einfach und korrigiert sich selbst. Delta senkt das Volumen, doch eine einzige verpasste Datei erzeugt dauerhafte Inkonsistenz. Nutzen Sie Delta, gleichen Sie wöchentlich mit einer vollständigen Liste ab.
  • Gelöschte Datensätze: Enthält die Delta-Datei keine gelöschten Artikel, bleiben im Web „Geisterartikel“ zurück. Übertragen Sie die Deaktivierung als eigenes Feld.
  • Zeichenkodierung und Trennzeichen: UTF-8, Dezimal- und Feldtrennzeichen gehören schriftlich in die Vereinbarung. Türkische Zeichen und Dezimalkommas sind die häufigsten Bruchstellen; „1.250,00“ wird auf der einen Seite als eintausendzweihundertfünfzig, auf der anderen als eins Komma zwei fünf gelesen.

Stammdateneigentum und Konfliktlösung

Das häufigste Problem bei bidirektionaler Synchronisierung ist, dass beide Systeme dasselbe Feld ändern und der zuletzt Schreibende den anderen überschreibt. Das löst kein Muster. Das löst eine Eigentumsregel: Für jedes Datenfeld wird ein einziges „schreibberechtigtes“ System festgelegt, das andere System liest dieses Feld nur.

Daten Eigentümersystem Rolle des anderen Systems
Artikelnummer, Einheit, Steuer ERP Web liest nur
Produktbeschreibung, Bilder, SEO-Felder Web / PIM Wird nicht ins ERP übertragen
Bestandsmenge ERP Web kann Reservierungen halten, ändert die Menge nicht
Bestellung (Anlage) Web Wird einmal ins ERP übertragen
Bestellstatus, Rechnung ERP Wird an das Web zurückgemeldet
Debitorenadresse Wird vertraglich festgelegt Ablauf für Änderungsanträge wird definiert

Verschiedene Felder desselben Datensatzes können verschiedene Eigentümer haben; wichtig ist, dass die Regel auf Feldebene schriftlich festgehalten ist. Bei Feldern wie der Debitorenadresse, die auf beiden Seiten änderbar sind, erzeugt der Ansatz „Änderungsantrag im Web anlegen, nach Freigabe im ERP zurücksynchronisieren“ weit weniger Überraschungen als das Modell „wer zuletzt schreibt, gewinnt“ (last-write-wins). Ein zusätzlicher Hinweis zum Bestand: Wird auf Web-Seite „ERP-Bestand minus offene Bestellungen“ berechnet, darf dieser Abzug nicht doppelt erfolgen, sobald die offene Bestellung ins ERP übertragen ist. Dieser Fehler zeigt den Bestand zu niedrig an, und verkaufbare Artikel erscheinen als „ausverkauft“.

Mustervergleich und Entscheidungsreihenfolge

Muster Latenz Fehlertoleranz Typische Verwendung
Synchrone API Sofort Gering; ein ERP-Ausfall schlägt aufs Web durch Händlerspezifischer Preis, Saldoabfrage
Webhook Sekunden Abhängig von der Wiederholungsrichtlinie des Absenders Zahlung, Versand, Bestellstatus
Message Queue Sekunden bis Minuten Hoch; Nachrichten sammeln sich an, gehen nicht verloren Bestellübertragung, Bestandsänderung
Batch-Übertragung / Datei Minuten bis Stunden Hoch; eine vollständige Liste korrigiert sich selbst Artikelstamm, Preisliste, Debitorenstamm

Gehen Sie bei der Entscheidung in dieser Reihenfolge vor:

  1. Ist Datenverlust inakzeptabel (Bestellung, Zahlungseingang)? Wenn ja, nutzen Sie eine Queue- oder Outbox-basierte Übertragung; machen Sie den synchronen Aufruf nicht zum einzigen Mechanismus.
  2. Müssen die Daten innerhalb von Minuten aktuell sein? Wenn nein, genügt eine Batch-Übertragung. Unnötige Echtzeit erhöht die Betriebskosten.
  3. Kann das Quellsystem Ereignisse veröffentlichen? Wenn ja, empfangen Sie Ereignisse per Webhook oder Broker und ergänzen Sie einen periodischen Abgleich für verpasste. Wenn nein, nutzen Sie Polling in kurzen Abständen mit einem Filter nach „Zeitpunkt der letzten Änderung“.
  4. Sind die Daten nutzerspezifisch und müssen sofort vorliegen (Nettopreis, Kreditlimit)? Ein synchroner Aufruf ist geeignet; definieren Sie Timeout, kurzen Cache und Ersatzverhalten.

In echten Projekten gibt es nicht das eine Muster; je nach Datentyp arbeiten mehrere zusammen: Artikelstamm nachts im Batch, Bestand über eine Queue, Bestellungen mit Outbox, Bestellstatus per Webhook, Händlerpreis per synchroner Abfrage. Wo so viele Flüsse existieren, braucht es eine eigene Überwachungsschicht, um zu sehen, welcher stillschweigend stehen geblieben ist; das beschreiben wir im Leitfaden zu Integrationsmonitoring und Abgleich. Wenn Sie Unterstützung bei Musterwahl und Umsetzung benötigen, finden Sie den Umfang auf unserer Seite ERP-, CRM- und API-Integrationen; für Bestell- und Bestandsflüsse auf WooCommerce-Seite kann auch die Seite WooCommerce-E-Commerce-Lösungen relevant sein. Die allgemeine Beschreibung grundlegender Muster wie Messaging, Queue und idempotenter Empfänger finden Sie in Enterprise Integration Patterns; Transactional Outbox stammt nicht aus diesem Katalog, sondern aus der späteren Microservice-Literatur.

Häufig gestellte Fragen

Wie oft sollte der Bestand zwischen ERP und Website aktualisiert werden?

Einen festen richtigen Wert gibt es nicht; maßgeblich sind Lagerumschlag und Kosten eines Überverkaufs. Bei schnell drehenden Artikeln mit geringem Bestand braucht es Änderungsereignisse oder eine Queue-basierte Übertragung in kurzen Abständen. Bei Artikeln mit reichlich Bestand genügt oft eine stündliche Batch-Übertragung. Legen Sie mit der Fachabteilung schriftlich fest, wie alt eine Bestandsangabe höchstens sein darf; daraus ergibt sich das Intervall.

Ist eine Integration möglich, wenn das ERP keine API hat?

Kann das ERP XML oder CSV erzeugen, ist eine Dateiübertragung mit einer von den Systemen unterstützten Methode möglich. Regeln für Mapping, erneute Verarbeitung und fehlende Datensätze werden vorab festgelegt. Für dateibasierte Katalogübertragungen sehen Sie sich unsere Leistung XML-Integration von Produkten, Beständen und Preisen an.

Wie werden Konflikte bei bidirektionaler Synchronisierung vermieden?

Für jedes Feld wird ein einziges schreibberechtigtes System festgelegt; das andere System liest dieses Feld nur. Für Felder, die auf beiden Seiten änderbar sein müssen, wird statt direkten Schreibens ein Ablauf mit Änderungsantrag und Freigabe eingerichtet. Das Modell „wer zuletzt schreibt, gewinnt“ ist nur akzeptabel, wenn das Feld geschäftlich unbedeutend ist.

Braucht es zusätzlich eine periodische Synchronisierung, wenn es Webhooks gibt?

In der Regel ja. Die Zustellung von Webhooks hängt von der Wiederholungsrichtlinie des Absenders ab; ist der Empfänger lange nicht erreichbar, gehen Ereignisse verloren. Ein stündlicher oder täglicher Abgleichsjob vergleicht die Datensätze beider Seiten, erfasst verpasste Ereignisse und verhindert, dass Inkonsistenzen dauerhaft werden.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Web

Wir bauen Unternehmenswebsites, WordPress- und CMS-Plattformen, Intranet- und SharePoint-Portale, Dokumentenmanagement sowie Formular- und Freigabeprozesse auf und halten sie sicher und aktuell.

Wissenszentrum

Weitere Beiträge