Von Erkenntnissen zum Handeln: Ein praktischer Rahmen für die kontrollierte Ausführung von KI-Agenten

• Der Übergang von KI-Erkenntnissen zur Ausführung durch Agenten sollte schrittweise erfolgen. Beginnt mit der Freigabe durch einen Menschen, geht dann zur Nachbetrachtung über und erweitert die Eigenständigkeit des Agenten, sobald er konsistente Ergebnisse vorweisen kann.
• Fang mit kleinen Kampagnenaufgaben an, die klare Ergebnisse liefern. Budgetaktualisierungen aus einer vertrauenswürdigen Quelle, das Austauschen von Anzeigentexten, das Hinzufügen von Ausschlussbegriffen und ähnliche Maßnahmen machen es einfacher zu beurteilen, ob der Mitarbeiter die Arbeit korrekt erledigt hat.
• Nutze abgeschlossene Tests als Maßstab für das Vertrauen. Verlang mindestens 20 unterschiedliche, aufeinanderfolgende Erfolge, um von einer Stufe zur nächsten zu gelangen, wobei für Arbeitsabläufe, die große Medienbudgets steuern, eine höhere Schwelle gilt.
• Behalte nach dem Start die Kontrolle. Ausgabenobergrenzen, Fehlertests, Aktivitätsprotokolle und ein Notabschalter helfen den Teams, ungewöhnliches Verhalten zu erkennen und schnell zu reagieren.

KI-Agenten sind mittlerweile ein fester Bestandteil der Marketingauswertung. Manche Teams nutzen sie, um konkrete Fragen zur Performance zu klären, während fortgeschrittene Werbetreibende sich auf die Agenten verlassen, um Berichte zu erstellen, Visualisierungen zu generieren und Maßnahmen für Hunderte von Konten zu empfehlen.

Diese Arbeit erscheint relativ risikoarm, da der Agent es bei der Empfehlung belässt. Ein Mensch entscheidet immer noch, ob die Änderung vorgenommen wird.

Die größere Chance ergibt sich erst, wenn der Mitarbeiter aktiv werden kann. Er kann ein neues Budget festlegen, eine Kampagne erstellen, die Zielgruppenausrichtung anpassen oder auf eine Änderung des Inventars oder der Performance reagieren. Zu diesem Zeitpunkt arbeitet der Mitarbeiter im Rahmen einer laufenden Kampagne, bei der ein Fehler Auswirkungen auf Medienausgaben in Millionenhöhe haben kann.

Um einem Agenten ein solches Maß an Verantwortung zu übertragen, ist ein Proof of Concept erforderlich. Teams müssen mit Maßnahmen beginnen, die sich leicht bewerten lassen, den Agenten in genügend Szenarien testen, um Vertrauen aufzubauen, und die Überprüfung durch Menschen beibehalten, während seine Aufgaben zunehmen.

Bevor all das passieren kann, brauchen Teams außerdem eine solide Datengrundlage. Wenn die Mitarbeiter beginnen, Leistungs-, Bestands-, Preis-, Wettbewerbs- und andere Signale zu kombinieren, wird die Qualität der zugrunde liegenden Daten Teil des Kontrollsystems. Gemeinsame Definitionen, standardisierte Eingaben und eine vertrauenswürdige Datenquelle tragen dazu bei, dass der Mitarbeiter mit konsistenten und vollständigen Informationen arbeitet.

Das wird umso wichtiger, je mehr Verantwortung die Agenten übernehmen. Eine einfache Budgetaktualisierung basiert vielleicht auf relativ wenigen Eingaben, während eine komplexere Kampagnenentscheidung vom Agenten verlangen kann, mehrere Signale gleichzeitig zu interpretieren. Die Qualität und Konsistenz dieser Eingaben wirken sich direkt auf die Qualität der Entscheidung aus.

Drei Empfehlungen können Marketingfachleuten helfen, diesen Übergang sicher zu meistern.

Welche Kampagnenaufgaben sollten KI-Agenten als Erstes übernehmen?

Fang mit engen Anwendungsfällen an , bei denen man leicht feststellen kann, ob der Agent die Aufgabe korrekt erledigt hat. 

Ein gutes Beispiel dafür ist die Zuweisung von Kampagnenbudgets aus einer vertrauenswürdigen Quelle (falls eure Budgets so verwaltet werden). Agenturen erhalten Budgetanweisungen per E-Mail, über Asana-Aufgaben, Tabellenkalkulationen und interne Planungstools. Jemand muss die Anfrage lesen, die betroffenen Kampagnen identifizieren, diese Kampagnen auf der Plattform finden und die richtigen Zahlen eingeben.

Die herkömmliche Automatisierung hat mit diesem Arbeitsablauf zu kämpfen, weil die Eingaben nicht fest vorgegeben sind. Es kommt selten vor, dass eine E-Mail mit einer perfekt formatierten Kampagnen-ID und einem Budgetfeld eintrifft. Jemand muss interpretieren, was der Kunde damit meint.

Agenten kommen mit dieser Art von unstrukturierten Eingaben viel besser zurecht. Sobald der Agent die richtige Kampagne identifiziert hat, ist der restliche Schritt ganz einfach: Diese Nummer nehmen und dort eintragen.

In dieser Phase sollte der Mitarbeiter erklären, was er festgestellt hat und was er vorhat: 

Ich habe diesen Budgetantrag erhalten. Ich habe ihn dieser Kampagne zugeordnet. Ich habe vor, das Budget von diesem Betrag auf diesen Betrag anzupassen. Stimmst du dem zu?

Der Mensch bleibt am Tor stehen, und jede Aktion muss erst genehmigt werden, bevor der Mitarbeiter sie ausführen kann. Die Prüfer sollten aktiv nach Problemen suchen, darunter:

• Hat der Mitarbeiter die Anfrage falsch verstanden?
• Hat es die falsche Kampagne ausgewählt?
• War die ursprüngliche Anweisung mehrdeutig?

Jeder Fehler liefert dem Team Informationen, die es nutzen kann, um den Arbeitsablauf zu verbessern, die Anweisungen für den Mitarbeiter anzupassen oder eine weitere Kontrollmaßnahme einzuführen. Das Vertrauen wächst, wenn der Mitarbeiter die Arbeit in verschiedenen Szenarien korrekt erledigt.

Sobald das Team in verschiedenen Szenarien genügend Belege gesammelt hat, kann es erwägen, die Berechtigungen des Agenten zu erweitern – immer innerhalb festgelegter Grenzen und mit klaren Eskalationsregeln.

Wann sollte ein Agent von der manuellen Freigabe zur nachträglichen Überprüfung übergehen?

Nachdem der Agent dieselbe Art von Aufgabe dutzende Male ohne Korrektur erledigt hat, kann er anfangen, Maßnahmen zu ergreifen, bevor ein Mensch diese genehmigt. Der Mensch überprüft dann im Nachhinein, was der Agent getan hat.

Zeitliche Beschränkungen können das Risiko in dieser Phase verringern. Angenommen, ein Budgetantrag geht um 1 Uhr morgens ein. Der Sachbearbeiter hat vielleicht technisch gesehen die Möglichkeit, die Änderung sofort vorzunehmen. Der Arbeitsablauf kann jedoch vorschreiben, dass er bis 9 Uhr morgens an einem Wochentag warten muss, dann das neue Budget übernimmt und anschließend das Team benachrichtigt.

Zum Beispiel: Ich habe diese Anfrage gestern Abend erhalten. Ich habe die Budgets für diese Kampagnen von diesen Beträgen auf diese Beträge geändert. So habe ich die Anfrage verstanden.

Die Arbeit läuft weiter, ohne dass darauf gewartet wird, dass jemand jede einzelne Aktion genehmigt. Der Mensch wechselt von der Genehmigung jeder einzelnen Aktion hin zur Steuerung des Arbeitsablaufs: Er überprüft die Ergebnisse, geht auf Ausnahmen ein und verfeinert die Regeln. Wenn etwas falsch aussieht, kann der Prüfer eingreifen.

Solange der Mitarbeiter die Arbeit weiterhin korrekt ausführt, kann die Überprüfung gezielter erfolgen und sich auf Ausnahmen, Stichproben und risikoreichere Aktionen konzentrieren. Nach etwa 100 erfolgreichen Aktionen muss der Prüfer möglicherweise nicht mehr jedes Ergebnis einzeln überprüfen. Der Arbeitsablauf sollte weiterhin jede Aktion aufzeichnen und melden, damit das Team nachvollziehen kann, was passiert ist, und bei Bedarf Nachforschungen anstellen kann.

Wann können Agenten komplexere Kampagnenentscheidungen treffen?

Die letzte Phase ist am wertvollsten und erfordert das größte Vertrauen.

An dieser Stelle beginnt der Agent, Signale aus verschiedenen Quellen zu kombinieren und anhand dieser eine Entscheidung zu treffen. Er berücksichtigt dabei möglicherweise das Budget, den Lagerbestand, die Preisgestaltung, den Share of Voice und die Kampagnenleistung, bevor er eine Änderung empfiehlt oder umsetzt. 

Zu den Anwendungsfällen in dieser Kategorie gehören oft Arbeitsabläufe, die von Menschen noch nie in großem Maßstab durchgeführt wurden – sie waren entweder rein theoretischer Natur oder wurden nur für die umsatzstärksten und wichtigsten Produkte, Kategorien oder Kampagnen umgesetzt.

Da es für einen Menschen viel schwieriger ist, auf den ersten Blick zu erkennen, ob der Agent die richtige Maßnahme ergriffen hat, muss der Agent seine Überlegungen klar darlegen. Eine Empfehlung ohne Kontext liefert dem Prüfer zu wenige Informationen, um die Entscheidung zu bewerten.

Die Zusammenarbeit sollte so aussehen, als würde ein jüngerer Mitarbeiter einem erfahreneren Kollegen einen Vorschlag unterbreiten:

Ich empfehle diese Maßnahme. Das sind die Signale, die ich geprüft habe, und die Gründe für meine Entscheidung. Das ist das Ergebnis, das ich erwarte. Hier sind mein Konfidenzgrad, die Signale, die ihn beeinflusst haben, die Annahmen, die ich getroffen habe, und die Bedingungen, unter denen sich die Empfehlung ändern würde.

Diese Erklärung ermöglicht es dem Menschen, die Qualität der Entscheidung zu beurteilen und die Anweisungen für den Agenten im Laufe der Zeit zu verbessern.

Die Kampagnenverwaltung ist eine weitere große Herausforderung. Die Erstellung einer Social-Media-Kampagne beginnt oft mit einer Tabelle und endet damit, dass jemand sich durch Dutzende oder Hunderte von Feldern im Meta Business Manager klicken muss. Die Person kopiert den Kampagnennamen, gibt das Budget und die Termine ein, erstellt die Anzeigengruppen und wählt die passenden Zielgruppen sowie die Werbemittel aus.

Ein Großteil dieser Arbeit hängt davon ab, dass Informationen zwischen zwei Systemen präzise übertragen werden. Die Tabellenkalkulation enthält die Anweisungen, und die Publisher-Oberfläche enthält die Felder, in die diese Anweisungen eingegeben werden müssen. Ein Agent kann diesen Prozess lernen.

Für Agenturen könnte die von Agenten gesteuerte Kampagnenabwicklung die Zeit zwischen dem Erhalt eines Briefings und dem Start der Kampagne verkürzen. Ein Prozess, der derzeit eine Woche dauert, könnte irgendwann nur noch Stunden in Anspruch nehmen. Die Teams könnten konsequenter arbeiten und erfahrenen Marketingfachleuten mehr Zeit für Entscheidungen lassen, die ihr Urteilsvermögen erfordern.

Wie lange dauert es, bis man einem KI-Agenten vertraut?

Teams wollen oft einen Zeitrahmen wissen. Sie fragen, ob es einen Monat, sechs Monate oder ein Jahr dauert, bis Vertrauen entsteht. Die Anzahl und Vielfalt der erledigten Aufgaben sind ein besserer Maßstab.

Ein Mitarbeiter, der jeden Tag eine Aufgabe erledigt, kann in einem Monat 30 Beispiele generieren. Ein wöchentlicher Arbeitsablauf liefert im gleichen Zeitraum vier Beispiele. Diese Teams haben ganz unterschiedliche Mengen an Belegen gesammelt.

Es gibt keinen allgemeingültigen Schwellenwert. Diese Zahlen sind nur Richtwerte; Arbeitsabläufe mit größeren Auswirkungen, vor allem solche, bei denen erhebliche Medienausgaben gesteuert werden, sollten mehr Nachweise, strengere Kontrollen und eine umfassendere Genehmigung erfordern. Die Testläufe sollten sich auf deutlich unterschiedliche Szenarien beziehen, da wiederholte Versionen derselben Eingabe nur sehr wenig darüber aussagen, wie der Agent mit Abweichungen umgeht.

Bei Arbeitsabläufen, bei denen es um Medien im Wert von mehreren Millionen Dollar geht, sind vielleicht 50 erfolgreiche Durchläufe ein passenderer Schwellenwert.

Teams sollten sich außerdem auf eine kleine Anzahl von Anwendungsfällen konzentrieren. Der breite Einsatz von Agenten für schreibgeschützte Berichte und Empfehlungen birgt ein geringeres operatives Risiko. Für Schreibzugriff ist ein engerer Ansatzpunkt erforderlich.

Wähle drei bis fünf Anwendungsfälle aus und führe sie durch den gesamten Prozess. Die Verwaltung von 15 teilweise autonomen Arbeitsabläufen in verschiedenen Phasen erschwert das Testen und die Nachvollziehbarkeit. Eine kleinere Gruppe ermöglicht es dem Team, sich ausreichend zu konzentrieren, um herauszufinden, was funktioniert, und diese Erkenntnisse auf zukünftige Agenten anzuwenden.

Wie sollten Marketingfachleute Agenten testen, bevor sie ihnen Schreibzugriff gewähren?

Viele Teams fangen mit den Eingaben an, die der Agent ihrer Erwartung nach erhalten soll. Sie sammeln ein paar normale E-Mails aus der vergangenen Woche, geben sie dem Agenten und vergewissern sich, dass er jede einzelne richtig interpretiert.

Damit wird der Standard-Workflow getestet. Seltene und fehlerhafte Eingaben erfordern ebenso viel Aufmerksamkeit, da sie die größten Probleme verursachen können:

• Was passiert, wenn ein Dezimalpunkt fehlt? 
• Wie reagiert der Agent, wenn zwei Kampagnen ähnliche Namen haben? 
• Was passiert, wenn die Anfrage mit einem bestehenden Ausgabenlimit in Konflikt steht?

Die Teams sollten für diese Fälle simulierte Eingaben erstellen, bevor der Workflow in Betrieb geht. Der Testsatz könnte eine zusätzliche Null, ein fehlendes Datum, ein ungewohntes Anfragformat oder ein Budget enthalten, das weit außerhalb des normalen Bereichs liegt. Eine ungewöhnliche E-Mail kommt vielleicht einmal im Jahr an. Wenn man jetzt eine simulierte Version testet, sieht man, wie der Bearbeiter reagieren wird, bevor es um echtes Geld geht.

Diese Art von Tests erfordert Übung. Marketingfachleute legen in der Regel fest, welches Ergebnis sie sich von einem Workflow erhoffen. Bei den Agenten-Tests müssen sie außerdem festlegen, welche Aktionen das System blockieren soll und unter welchen Bedingungen eine manuelle Überprüfung erforderlich ist.

Welche Kontrollen sollten nach der Inbetriebnahme eines Agenten bestehen bleiben?

Nach erfolgreichem Test erhält der Agent die Erlaubnis, innerhalb festgelegter Grenzen zu arbeiten. Diese Grenzen bleiben Teil des Live-Workflows.

Fang damit an, Änderungen zu identifizieren, die eine manuelle Überprüfung erfordern. Wenn ein vorgeschlagenes Budget 70 % höher oder niedriger ist als das vorherige Budget der Kampagne, sollte der Mitarbeiter den Vorgang unterbrechen. Eine feste Ausgabenobergrenze kann jedes Budget blockieren, das über einem genehmigten Betrag liegt. Der Workflow sollte außerdem unterbrochen werden, wenn erforderliche Informationen fehlen oder wenn der Mitarbeiter eine Anfrage nicht eindeutig der richtigen Kampagne zuordnen kann.

Diese Grenzwerte begrenzen den Schaden, den eine falsche Eingabe verursachen könnte. Wenn jemand statt 1.000 Dollar 10.000 Dollar eingibt, kann der Mitarbeiter die Anfrage kennzeichnen, bevor sie die Kampagne erreicht.

Jede Maßnahme muss außerdem schriftlich dokumentiert werden. Bei einem Budget-Workflow sollte die Dokumentation beispielsweise Folgendes enthalten:

• Die ursprüngliche E-Mail, die Asana-Aufgabe oder die Quelle
• Die Anweisung, die der Agent interpretiert hat
• Das ausgewählte Budget und die Kampagnen-ID
• Der Grund für die Maßnahme
• Datum und Uhrzeit, zu der die Änderung stattfand

Die Dokumentation kann ganz einfach mit einem Google-Tabellenblatt beginnen. Das System ist weniger wichtig als die Möglichkeit, den Hergang zu rekonstruieren und die Aktion bis zu ihrer Quelle zurückzuverfolgen.

Ein Live-Agent braucht außerdem einen Kill-Schalter und die Möglichkeit, Änderungen rückgängig zu machen. Teammitglieder sollten eine einfache Möglichkeit haben, den Workflow zu stoppen, sobald sie eine falsche oder verdächtige Aktion bemerken, und die zuletzt vom Agenten vorgenommenen Änderungen rückgängig zu machen.

Gib dem Agenten niemals mehr Zugriff, als er braucht. Agenten denken mit und können kreativ werden. Wenn von einem Agenten erwartet wird, dass er auf bestimmte Konten zugreifen darf, auf andere aber nicht, und dass er bestimmte Aktionen ausführen darf, andere aber nicht, dann beschränke seine Berechtigungen und seinen Einblick auf die Konten und Tools, die er benötigt. Berechtigungen für Kampagnen, auf die er keinen Zugriff haben sollte, erhöhen das Risiko erheblich, dass der Agent sich Freiheiten nimmt und vom vorgesehenen Weg abweicht.

Aufgabentrennung – sowohl für Menschen als auch für Agenten. Die Person, die den Agenten entwickelt, sollte nicht die einzige sein, die ihn testet und validiert. Es passiert leicht, dass man etwas übersieht, wenn man selbst der Entwickler ist und möchte, dass alles klappt. Und das Gleiche gilt für die Agenten – wenn Agent A eine Aktion ausführt, sollte ein anderer Agent diese validieren, überprüfen oder überwachen, der nicht tief in demselben logischen Pfad verankert ist, der möglicherweise zu einem Fehler geführt hat. 

Warum sollten Marken und Agenturen dem jetzt Priorität einräumen?

Leute, die einen Großteil ihres Tages mit praktischer Kampagnenarbeit verbringen, könnten diese Veränderung mit Sorge betrachten. Auch Führungskräfte in Agenturen und Markenvermarkter müssen bedenken, wie schnell ihre Konkurrenten reagieren können.

Eine Marke, die auf Agenturen setzt, kann schneller auf Veränderungen bei Preisen, Lagerbeständen, Marktpräsenz und Leistung reagieren. Eine Agentur kann mit demselben Team mehr Kunden betreuen, Aufträge konsistenter abwickeln und einen Auftrag innerhalb von Stunden statt Tagen oder Wochen in eine laufende Kampagne umsetzen. Die meisten Unternehmen haben diesen Punkt noch nicht erreicht. Viele nutzen Agenturen nach wie vor hauptsächlich für reine Berichte und Empfehlungen.

Der Lernprozess braucht Zeit. Ein Unternehmen, das abwartet, bis seine Konkurrenten über zuverlässige, von Mitarbeitern gesteuerte Arbeitsabläufe verfügen, startet mit weniger Testerfahrung und weniger bewährten Kontrollmechanismen. Seine Konkurrenten wissen dann bereits, welche Anwendungsfälle funktionieren, welche Eingaben Probleme verursachen und wie viel manuelle Überprüfung jeder Arbeitsablauf erfordert.

Bestehende Prozesse funktionieren heute vielleicht noch gut. Die Wettbewerbsstandards werden sich aber weiterentwickeln, da andere Teams Agenten zunehmend in die tägliche Kampagnendurchführung einbinden.

Wenn du zu lange wartest, bevor du in diesen Zug einsteigst, wird es viel schwieriger, ihn noch zu erwischen.

Wie kann „ Skai “ Teams dabei helfen, von reinen Beobachtungsagenten zur aktiven Umsetzung überzugehen?

Der oben beschriebene Prozess erfordert ein praxistaugliches System zum Erstellen, Testen und Überwachen jedes einzelnen Workflows.

Skai „Studio“, das Anfang des Jahres angekündigt wurde, fasst diesen Prozess in einem einzigen Rahmen zusammen. Teams können einen Arbeitsablauf vor der Einführung testen, zunächst mit manueller Freigabe beginnen, weitere Ebenen der Agentenvalidierung hinzufügen und zur Überprüfung nach der Aktion übergehen, sobald der Agent genügend zuverlässige Ergebnisse geliefert hat.

Dasselbe Framework unterstützt Betriebszeitbeschränkungen, Maßnahmenprotokolle, Ausgabenobergrenzen und andere Kontrollmechanismen rund um den Arbeitsablauf. Die Teams können sich auf den Anwendungsfall konzentrieren und die für jede neue Autonomieebene erforderlichen Nachweise festlegen.

Manche Organisationen brauchen immer noch Unterstützung bei der Entscheidung, mit welchen Anwendungsfällen sie beginnen sollen und wie viel Kontrolle jeder einzelne erfordert. Die strategischen Beratungsdienste vonSkai können Teams dabei helfen, einen Fahrplan zu erstellen, das Betriebsmodell zu entwerfen und die für eine breitere Einführung erforderlichen Kontrollmechanismen einzurichten.

Dank der Berichte und Erkenntnisse hatten die Marketingteams einen logischen Ansatzpunkt für den Einsatz von Agenten. Die Umsetzung der Kampagnen ist die nächste Phase.

Der Nutzen steigt, wenn die Mitarbeiter die manuellen Aufgaben erledigen können, die den Start von Kampagnen verzögern und Marketingfachleute von wichtigeren Entscheidungen abhalten. Um diesen Punkt zu erreichen, braucht es gezielte Anwendungsfälle, wiederholte Tests, klare Nachweise und mehr Eigenverantwortung – aber erst, wenn sich der Mitarbeiter diese verdient hat. 

Möchtest du mehr erfahren? „ Skai “ hilft dir dabei, besser zu verstehen, wie eine agentische Transformation in deinem eigenen Unternehmen konkret aussieht. Melde dich noch heute bei uns.

---

Häufig gestellte Fragen