SAP Joule sinnvoll einführen – zwischen schneller Aktivierung und strategischer KI-Nutzung

Die SAP‑KI hat sich in den vergangenen Monaten weiterentwickelt und verlässt zunehmend den Status eines reinen Zukunftsthemas. Gerade jetzt ist ein guter Zeitpunkt für Unternehmen, sich strukturiert mit SAP Business AI auseinanderzusetzen, Erfahrungen zu sammeln und bewusste Grundsatzentscheidungen zu treffen. Wer das Thema nicht überhastet, sondern strategisch und kontrolliert aufsetzt, schafft eine tragfähige Basis, auf der KI schrittweise echten Business‑Mehrwert liefern kann. Bereits heute stehen erste praxisnahe Use Cases zur Verfügung, mit denen SAP‑KI produktiv eingesetzt werden kann – vorausgesetzt, Einführung und Erwartungen sind richtig eingeordnet.

Thijs Kretzberg, SAP Consultant

Frage: SAP positioniert Joule als zentrale KI-Schicht für ERP-Systeme. Wenn ich heute SAP‑Kunde bin: Wie kann ich SAP KI konkret nutzen – und wo sollte ich anfangen?

Thijs: Der wichtigste Punkt ist: SAP KI ist kein einzelnes Feature, das man „einschaltet“, sondern ein komplexes Ökosystem aus Business, Technologie und Lizenzen. SAP selbst spricht vom SAP Business AI Portfolio, bestehend aus:

• Joule Base AI: Der generative SAP‑Copilot, der Anwender per natürlicher Sprache beim Navigieren, Verstehen und Ausführen einfacher Aktionen in SAP‑Anwendungen unterstützt

• Joule Agents: Spezialisierte, prozessorientierte KI‑Agenten, die Geschäftsaufgaben eigenständig planen und ausführen

• Joule Embedded AI: In SAP‑Anwendungen integrierte, meist unsichtbare KI‑Funktionen, die Prozesse automatisch optimieren

• AI Foundation / AI Services: Die technische Plattform, um KI‑Services, eigene Modelle und individuelle Joule‑Agents zu entwickeln und zu betreiben

Für viele Kunden – insbesondere im RISE‑with‑SAP‑Modell – ist der Einstieg aber bewusst niedrigschwellig: Das so genannte SAP Joule Base AI ist dort grundsätzlich enthalten und kann kostenlos aktiviert werden.

Frage: Was bedeutet „Joule Base AI“ konkret für den Anwender?

Thijs: Joule Base AI ermöglicht eine kontextbezogene Interaktion mit dem SAP‑System. Die Anwender erhalten das von SAP viel gezeigte Chat Fenster im Launchpad angezeigt und können über dieses mit SAP-Joule chatten, bspw. um:

• sich bei der Bedienung unterstützen lassen,

• gezielt zu Apps navigieren,

• Informationen zu Belegen oder Stammdaten abzurufen – natürlich immer im Rahmen ihrer bestehenden Berechtigungen

Das klingt unspektakulär, ist aber ein erster Schritt für User Enablement und Akzeptanz. Wichtig ist: In dieser Phase reden wir noch nicht über Automatisierung, Analytics oder echte Prozessentscheidungen durch KI.

Bislang sind die Praxiserfahrungen noch gering. Wir machen allerdings die Erfahrung, dass - wie bei allen LLMs - die Ergebnisse geprüft werden müssen. Daher empfehlen wir zunächst über Key User die KI bewusst zu nutzen und kritisch zu fordern, bevor diese in der Breite ausgerollt wird. Gerade wenn es um kritische Prozesse geht, sind die Antworten aus unserer Erfahrung nicht immer zielführend.

Frage: Wenn LLMs wie CoPilot oder ChatGPT bereits Fragen zu SAP beantworten und auf Unternehmensdokumente zugreifen kann – warum sollte ein Unternehmen zusätzlich auf Joule setzen?

Thijs: Der Unterschied liegt nicht in der Fähigkeit, Fragen zu beantworten, sondern im Kontext und der Integration in die Geschäftsprozesse.

Joule ist kein eigenes LLM, sondern nutzt im Hintergrund verschiedene KI-Modelle, wie bspw. OpenAI. SAP setzt dabei auf eine Architektur, bei der Joule die Benutzeroberfläche bzw. den AI-Orchestrator bildet und die eigentliche Sprachverarbeitung durch LLMs erfolgt.

Joule ist als KI-Interaktionsschicht direkt in SAP-Anwendungen integriert:

• Es kennt den Kontext des Benutzers, seine Rolle und Berechtigungen

• Es arbeitet innerhalb der bestehenden SAP-Sicherheits- und Governance-Strukturen

• Es nutzt nicht nur allgemeines Wissen, sondern auch SAP-Wissen, Unternehmensdokumente und Business-Daten

• Es beantwortet nicht nur Fragen, sondern kann Benutzer zu Anwendungen führen, Workflows unterstützen und bestimmte Geschäftsaktionen anstoßen

  
  

Frage: Mit Joule Base AI ist also noch nicht alles KI-gestützt und funktioniert automatisch. Wie kann ich echte Mehrwerte für mein Business erzielen?

Thijs: Nein, hiermit ist zunächst nur der erste Schritt getan. Der Business‑Mehrwert entsteht erst, wenn ich gezielt KI‑Services hinzukaufe. Hier ist das SAP Discovery Center eine gute Informationsquelle.

Ein konkretes Beispiel wäre SAP Cash Application als Business AI. Häufig ist die Verarbeitung von Zahlungseingängen in vielen Unternehmen noch stark manuell geprägt. Zahlungen kommen gebündelt auf dem Konto an, Verwendungszwecke sind unvollständig oder falsch, Posten müssen manuell zugeordnet werden. Die SAP Cash Application nutzt hier Machine Learning, um Zahlungseingänge automatisch offenen Posten zuzuordnen. Das System lernt aus der historischen Zuordnung. Als echter Mehrwert heißt dies:

• ein höherer Automatisierungsgrad in der Debitorenbuchhaltung

• schnellere Klärung von Zahlungseingängen

• verbesserter Cashflow und weniger manuelle Nachbearbeitung

Wichtig aber auch hier: Jeder Kunde ist individuell zu betrachten und bevor viel Geld für KI-Services gezahlt wird, kann bereits viel regelbasiert im Customizing optimiert werden.

Frage: Im Markt wird aktuell viel über KI-Agenten gesprochen. Sind KI-Agenten heute bereits produktiv einsetzbar oder eher noch Zukunftsmusik?

Thijs: KI-Agenten sind aktuell wahrscheinlich das meistdiskutierte Thema im SAP- und KI-Umfeld. Die Idee ist dabei sehr attraktiv: Ein Agent versteht ein Ziel, plant die notwendigen Schritte, greift auf verschiedene Systeme zu und führt Aufgaben weitgehend selbstständig aus. Technologisch ist das faszinierend und wir beobachten eine sehr schnelle Weiterentwicklung.

Gleichzeitig sollte man die aktuelle Marktrealität nüchtern betrachten. Viele Agenten-Szenarien befinden sich noch in einem frühen Reifegrad. In Demos funktionieren sie häufig bereits sehr überzeugend, im produktiven ERP-Betrieb stellen sich jedoch zusätzliche Anforderungen an Sicherheit, Compliance, Berechtigungen, Nachvollziehbarkeit und Fehlertoleranz. Insbesondere bei finanzrelevanten oder geschäftskritischen Prozessen ist ein vollständig autonomes Handeln heute oftmals noch nicht sinnvoll.

Wir sehen den größten Mehrwert aktuell in sogenannten Human-in-the-Loop-Szenarien. Hier übernimmt der Agent die Recherche, Analyse, Prüfung, Aufbereitung von Informationen oder die Vorbereitung von Entscheidungen, während ein Mitarbeiter die finale Freigabe erteilt.

Unternehmen sollten daher nicht mit der Erwartung starten, dass Agenten morgen ganze Abteilungen ersetzen. Erfolgreicher ist ein pragmatischer Ansatz: klar definierte Anwendungsfälle identifizieren, Pilotprojekte durchführen und den Reifegrad der Agenten kontinuierlich bewerten.

Frage: Ein häufig diskutiertes Thema ist die automatische Dokumentenverarbeitung. Wie bewerten Sie dies?

Thijs: SAP Document AI ist ein KI‑Service auf der SAP BTP, der unstrukturierte Dokumente (Rechnungen, Lieferscheine, Zahlungsavise, Aufträge) automatisch analysiert, strukturierte Daten extrahiert und diese SAP‑Prozessen oder KI‑Funktionen zur Verfügung stellt – quasi eine verbesserte OCR-Erkennung. In der Praxis zeigt sich gerade hier schnell ein Mehrwert – etwa durch klar reduzierte manuelle Erfassung und deutlich beschleunigte Durchlaufzeiten.

Viele Kunden sehen SAP Document Extraction deshalb heute als pragmatischen Einstieg in SAP‑KI: klar umrissener Anwendungsfall, messbarer Nutzen und gut kombinierbar mit weiterführenden Szenarien. Inzwischen erhalten wir auch positives Feedback, dass die Qualität des Services in der Praxis einen Mehrwert bietet. Dies war vor einiger Zeit noch anders. Auch daran merkt man, wie schnell sich die KI auch von SAP weiterentwickelt.

Frage: Was sind aus technologischer Sicht die größten Herausforderungen bei der Einführung von SAP-Joule?

Thijs: Technisch läuft Joule auf der SAP Business Technology Platform. In der Ersteinrichtung ist hier Customizing in den verschiedenen SAP-Produkten notwendig. Wichtig ist, SAP nutzt die Cloud Identity Services, um die Rollen und Berechtigungen in den verschiedenen Systeme und Services zu orchestrieren. Das bedeutet ohne sauberes Identity‑ und Rollen‑Setup verbunden mit meiner bestehenden AD funktioniert Joule nicht sinnvoll. Viele Unternehmen sind hier noch nicht ausreichend aufgestellt. Deshalb empfehlen wir: kontrollierter Start mit ausgewählten Benutzergruppen, klar kommuniziert und sauber abgesichert. Hierüber kann auch das SAP Basis Team wertvolle Erfahrung in der Administration sammeln.

Frage: Wie sollten Unternehmen im SAP-Umfeld mit der KI strategisch umgehen?

Thijs: Um einen echten Mehrwert zu erhalten, sollten Business‑Cases identifiziert werden und mit den SAP-Experten mögliche Implementierungspfade besprochen werden. Auf dieser Basis kann gezielt investiert werden. Das schützt vor Kostenüberraschungen und verhindert, dass „KI“ als Buzzword verbrannt wird, bevor sie echten Mehrwert liefert. Parallel kann Joule Base aktiviert und die Key User herangeführt werden, um die Nutzung zu beobachten, Feedback einzuholen und erste Erfahrung zu sammeln.

Frage: Gilt diese Vorgehensweise für alle SAP‑Kunden gleichermaßen?

Thijs: Nein, SAP On‑Premises‑Kunden haben heute leider deutlich eingeschränkte Möglichkeiten, was SAP Joule und SAP Business AI betrifft.

Viele Joule‑Funktionen stehen aktuell nur für GROW‑ bzw. RISE‑Kunden vollständig zur Verfügung. Das Routing über die BTP wird als eine Art Gatekeeper genutzt, um reine On-Premises-Kunden einzuschränken. On‑Premises‑Kunden können KI zwar über Umwege nutzen – beispielsweise über side‑by‑side‑Architekturen oder individuelle Integrationen – aber bislang nicht in der gleichen Tiefe, Einfachheit und Standardnähe.

Update 22.05.2026: Laut Informationen des Handelsblatt wird diese Strategie zukünftig aufgelockert und für On-Premises-Kunden AI-Services ermöglicht, die bereits "auf dem Weg in die Cloud sind". Eine offizielle Bestätigung und genauere Informationen zu den Bedingungen sind bislang nicht verfügbar.

Frage: Wenn du einen Rat geben müsstest: Was ist der wichtigste Erfolgsfaktor, damit SAP KI nicht nur schnell eingeführt wird, sondern langfristig echten Mehrwert für Unternehmen schafft?

Thijs: Unternehmen haben heute die Chance, KI schrittweise, sicher und kontrolliert in ihr ERP einzuführen. Dies bedeutet im ersten Schritt technologisch die BTP für AI-Services aufzusetzen und die Work Zone und Identity Services einzurichten. Dies ist die Grundlage, um gezielt entweder vorgefertigte AI-Services der SAP und/oder AI-Agenten zu nutzen. In Zusammenarbeit mit dem Fachbereich können dann Use-Cases gefunden werden, mit denen sinnvoll gestartet werden kann.

Wichtig ist, auch strategisch eindeutige Entscheidungen zu treffen:

• Welche konkreten Prozesse durch KI verbessert werden sollen

• Wie viel Budget und Risiko dafür bewusst eingegangen wird

• Was sind Abbruchkriterien

• Wer ist fachlich verantwortlich ist, wenn KI produktiv arbeitet – inklusive Freigaben, Monitoring, Eskalation und Erfolgsmessung

Unternehmen, die das festlegen, nutzen SAP KI kontrolliert als Hebel für Produktivität und kommen über den Status eines Technologie‑Experiments hinaus.