Zum Hauptinhalt springen

Logs & Monitoring - Konversationen nachverfolgen

In diesem Kapitel lernen Sie, wie Sie Konversationen mit Ihren Agenten nachverfolgen, analysieren und für Verbesserungen nutzen können.

📊 Was sind Logs?​

Logs sind detaillierte Aufzeichnungen aller Interaktionen zwischen Benutzern und Ihren Agenten. Sie enthalten:

  • 💬 Nachrichten: Was hat der Benutzer gefragt? Was hat der Agent geantwortet?
  • 🛠️ Tool-Aufrufe: Welche Tools wurden verwendet?
  • 💰 Token-Nutzung: Wie viele Tokens wurden verbraucht? Was hat es gekostet?
  • ⏱️ Zeitstempel: Wann fand die Konversation statt?
  • 🏷️ Metadaten: Verkaufskanal, Agent, Thread-ID etc.

🎯 Warum sind Logs wichtig?​

1. Qualitätskontrolle​

  • Prüfen Sie, ob Ihre Agenten korrekte Antworten geben
  • Identifizieren Sie Fehler oder unpassende Reaktionen

2. Kostenüberwachung​

  • Sehen Sie genau, welche Konversationen wie viel kosten
  • Identifizieren Sie teure Anfragen

3. Wissens-Management​

  • Bauen Sie eine FAQ-Datenbank aus echten Kundenfragen auf
  • Nutzen Sie häufige Fragen zur Agent-Verbesserung

4. Performance-Analyse​

  • Welche Tools werden am häufigsten genutzt?
  • Wie lange dauern Konversationen?

5. Debugging​

  • Bei Problemen: Was ist genau passiert?
  • Welche Tools wurden in welcher Reihenfolge aufgerufen?

🔍 Logs im Shopware-Backend finden​

Schritt 1: Logs-Übersicht öffnen​

  1. Melden Sie sich im Shopware-Backend an
  2. Navigieren Sie zu 5E OAI Agent Manager (im Hauptmenü)
  3. Klicken Sie auf den Tab "Assistant Logs"

Schritt 2: Was Sie sehen​

Die Logs-Übersicht zeigt eine Tabelle mit folgenden Spalten:

SpalteBeschreibung
DateDatum und Uhrzeit der Konversation
AgentWelcher Agent wurde verwendet?
QuestionDie Frage/Anfrage des Benutzers
AnswerDie Antwort des Agenten (gekürzt)
TokensAnzahl verbrauchter Tokens
CostGeschätzte Kosten in USD
Sales ChannelIn welchem Shop fand die Konversation statt?
Thread IDEindeutige ID der Konversation
TagsZugeordnete Kategorien/Schlagworte

🔎 Logs filtern und suchen​

Nach Zeitraum filtern​

  1. Klicken Sie auf das Datums-Filter
  2. Wählen Sie einen Zeitraum:
    • Heute
    • Letzte 7 Tage
    • Letzter Monat
    • Benutzerdefiniert

Nach Agent filtern​

  1. Klicken Sie auf den Agent-Filter
  2. Wählen Sie einen oder mehrere Agenten aus
  3. Nur Konversationen mit diesen Agenten werden angezeigt

Nach Tags filtern​

  1. Klicken Sie auf den Tag-Filter
  2. Wählen Sie Tags wie "versand", "rückgabe", "produkt" etc.
  3. Nur Konversationen mit diesen Tags werden angezeigt

Volltextsuche​

  1. Nutzen Sie das Suchfeld oben rechts
  2. Suchen Sie nach Stichworten in Fragen oder Antworten
  3. Beispiel: Suche nach "Lieferzeit" zeigt alle Konversationen, die diesen Begriff enthalten

📖 Einzelne Konversation ansehen​

Konversations-Details öffnen​

  1. Klicken Sie auf einen Log-Eintrag in der Tabelle
  2. Ein Detail-Dialog öffnet sich

Was Sie im Detail sehen​

1. Konversations-Header​

  • Thread-ID
  • Agent-Name
  • Datum und Uhrzeit
  • Verkaufskanal

2. Nachrichten-Verlauf​

Jede Nachricht zeigt:

┌─────────────────────────────────────────┐
│ 👤 Benutzer (14:32:15)                  │
├─────────────────────────────────────────┤
│ Ich suche eine rote Jacke in Größe M    │
└─────────────────────────────────────────┘

┌─────────────────────────────────────────┐
│ 🔧 Tool-Aufruf: product_search          │
├─────────────────────────────────────────┤
│ Parameter:                              │
│ - query: "rote Jacke"                   │
│ - filters: {size: "M"}                  │
│ - limit: 10                             │
├─────────────────────────────────────────┤
│ Ergebnis: 5 Produkte gefunden           │
└─────────────────────────────────────────┘

┌─────────────────────────────────────────┐
│ 🤖 Agent (14:32:18)                     │
├─────────────────────────────────────────┤
│ Ich habe 5 rote Jacken in Größe M      │
│ gefunden:                               │
│                                         │
│ 1. Winterjacke Rot - 89,99 €            │
│ 2. Regenjacke Sport - 49,99 €           │
│ ...                                     │
└─────────────────────────────────────────┘

3. Token-Statistik​

TypAnzahlKosten
Input Tokens1.245$0.0019
Output Tokens520$0.0031
Cached Tokens980$0.0002
Gesamt2.745$0.0052

4. Metadaten​

  • Model: Welches OpenAI-Modell wurde genutzt? (z.B. gpt-4o-mini)
  • Temperature: Einstellung für Kreativität (z.B. 0.7)
  • Reasoning Effort: Denk-Tiefe (z.B. medium)
  • Tools verwendet: Liste aller aufgerufenen Tools

📊 Token-Nutzung verstehen​

Was sind Tokens?​

Ein Token ist die kleinste Einheit, die OpenAI verarbeitet:

  • 1 Token ≈ 4 Zeichen
  • 1 Token ≈ 0,75 Wörter (im Deutschen)

Beispiel:

"Hallo, wie kann ich Ihnen helfen?"
= ca. 9 Tokens

Token-Typen​

1. Input Tokens (Eingabe)​

Alles, was an OpenAI gesendet wird:

  • Benutzernachricht
  • System Instructions
  • Tool-Beschreibungen
  • Konversations-Verlauf

Kosten-Beispiel (gpt-4o-mini):

  • $0.15 pro 1 Million Tokens
  • 1.000 Tokens = $0.00015

2. Output Tokens (Ausgabe)​

Alles, was OpenAI zurückgibt:

  • Agent-Antworten
  • Tool-Aufrufe

Kosten-Beispiel (gpt-4o-mini):

  • $0.60 pro 1 Million Tokens
  • 1.000 Tokens = $0.0006

3. Cached Tokens (Cache)​

Wiederverwendete Input-Tokens aus vorherigen Anfragen:

  • 50-90% günstiger als normale Input Tokens
  • Automatisch von OpenAI gecacht

Kosten-Beispiel (gpt-4o-mini):

  • $0.075 pro 1 Million Tokens (50% Rabatt)
  • 1.000 Tokens = $0.000075

💰 Kosten pro Konversation​

Kostenberechnung-Beispiel​

Eine typische Produktsuche:

Input Tokens:    1.500 Tokens × $0.00000015 = $0.000225
Output Tokens:     600 Tokens × $0.00000060 = $0.000360
Cached Tokens:   1.200 Tokens × $0.00000008 = $0.000096
─────────────────────────────────────────────────────
Gesamt:                                     $0.000681

Pro Tag (100 Konversationen):

  • 100 × $0.000681 = $0.068 (ca. 6 Cent)

Pro Monat (3.000 Konversationen):

  • 3.000 × $0.000681 = $2.04 (ca. 2 Euro)

🏷️ Tags verwenden​

Was sind Tags?​

Tags sind Schlagworte zur Kategorisierung von Konversationen:

  • versand - Fragen zu Lieferung
  • rückgabe - Fragen zu Retouren
  • produkt - Produktberatung
  • zahlung - Zahlungsfragen
  • fehler - Probleme/Fehler

Tags automatisch zuweisen​

Tags werden automatisch gesetzt, wenn der Agent das Tool tag_conversation nutzt.

Beispiel in Instructions:

Wenn der Kunde nach Versand fragt, nutze das Tool tag_conversation
mit dem Tag "versand".

Tags manuell hinzufügen​

  1. Öffnen Sie eine Konversation in der Detail-Ansicht
  2. Klicken Sie auf "Tags bearbeiten"
  3. Wählen Sie bestehende Tags oder erstellen Sie neue
  4. Speichern Sie

Tags für Analyse nutzen​

Beispiel-Szenario:

Sie möchten wissen, wie viele Kunden nach Versand fragen:

  1. Filter: Tag = "versand"
  2. Zeitraum: Letzter Monat
  3. Ergebnis: 450 Konversationen

Erkenntnisse:

  • Versandfragen sind häufig (450 von 3.000 = 15%)
  • Vielleicht sollten Sie Versandinformationen prominenter platzieren
  • Oder: FAQ zum Versand erstellen

📈 Logs für Verbesserungen nutzen​

1. Häufige Fragen identifizieren​

Vorgehen:

  1. Filtern Sie Logs der letzten 30 Tage
  2. Suchen Sie nach häufig wiederkehrenden Themen
  3. Erstellen Sie eine Liste

Beispiel-Ergebnisse:

  • "Wie lange dauert der Versand?" → 120 Mal
  • "Kann ich zurückgeben?" → 95 Mal
  • "Welche Größe passt mir?" → 78 Mal

Aktion:

  • Erstellen Sie FAQ-Einträge mit create_log_entry
  • Agent kann diese dann mit search_logs abrufen

2. Fehlerhafte Antworten finden​

Anzeichen für Probleme:

  • Agent gibt falsche Produktinformationen
  • Tool-Aufrufe schlagen fehl
  • Antworten sind unverständlich

Vorgehen:

  1. Lesen Sie problematische Konversationen komplett durch
  2. Identifizieren Sie das Problem (falsches Tool? Unklare Instructions?)
  3. Verbessern Sie Agent-Konfiguration

3. Tool-Nutzung analysieren​

Fragen:

  • Welche Tools werden am häufigsten genutzt?
  • Werden wichtige Tools gar nicht genutzt?
  • Ruft der Agent unnötige Tools auf?

Beispiel:

Sie sehen in den Logs:

  • product_search: 1.200 Aufrufe
  • get_order_status: 450 Aufrufe
  • get_shipping_info: 2 Aufrufe

Erkenntnis:

  • get_shipping_info wird kaum genutzt
  • Vielleicht sollten Sie in den Instructions explizit erwähnen, wann dieses Tool zu nutzen ist

4. Performance-Probleme identifizieren​

Warnsignale:

  • Konversationen dauern > 30 Sekunden
  • Viele Tool-Aufrufe hintereinander
  • Hohe Token-Nutzung

Lösungen:

  • Reasoning Effort senken (von high auf medium)
  • Nicht benötigte Tools deaktivieren
  • Instructions kürzen

🗄️ Datenbank-Struktur (für Fortgeschrittene)​

Die Logs werden in folgenden Tabellen gespeichert:

fel_assistant_logs​

Haupttabelle für Log-Einträge:

  • id - Eindeutige ID
  • question - Benutzerfrage
  • answer - Agent-Antwort
  • context - Zusätzlicher Kontext
  • meta_info - Metadaten (JSON)
  • created_at - Zeitstempel
  • sales_channel_id - Verkaufskanal

fel_assistant_chat_message​

Detaillierte Nachrichten pro Thread:

  • id - Eindeutige ID
  • thread_id - Thread-Referenz
  • role - user oder assistant oder tool
  • content - Nachrichteninhalt
  • tool_calls - Tool-Aufrufe (JSON)
  • token_usage - Token-Statistik (JSON)
  • created_at - Zeitstempel

fel_assistant_tags​

Tag-Definitionen:

  • id - Eindeutige ID
  • name - Tag-Name (z.B. "versand")
  • description - Beschreibung

fel_assistant_tag_usage​

Verknüpfung zwischen Logs und Tags:

  • log_id - Referenz zum Log-Eintrag
  • tag_id - Referenz zum Tag

📤 Logs exportieren (Workaround)​

Hinweis: Aktuell gibt es keinen direkten Export im UI.

Manuelle Export-Möglichkeiten:​

1. Über phpMyAdmin / Adminer​

SELECT
    created_at,
    question,
    answer,
    JSON_EXTRACT(meta_info, '$.tokens') as tokens,
    JSON_EXTRACT(meta_info, '$.cost') as cost
FROM fel_assistant_logs
WHERE created_at >= '2025-01-01'
ORDER BY created_at DESC;

Ergebnis als CSV exportieren.

2. Über Shopware CLI (für Entwickler)​

bin/console dbal:run-sql "SELECT * FROM fel_assistant_logs" > logs.csv

🔐 Datenschutz & Log-Bereinigung​

DSGVO-Konformität​

Logs enthalten potenziell personenbezogene Daten:

  • Kundenfragen können Namen, Adressen, Bestellnummern enthalten
  • IP-Adressen (wenn gespeichert)

Empfehlungen:

  1. Aufbewahrungsdauer festlegen

    • Z.B. Logs nach 90 Tagen automatisch löschen
    • In der Plugin-Konfiguration konfigurierbar

  2. Anonymisierung

    • Entfernen Sie sensible Daten aus Logs
    • Ersetzen Sie Bestellnummern, Namen etc.

  3. Auskunftspflicht

    • Kunden können Auskunft über gespeicherte Daten verlangen
    • Logs müssen durchsuchbar sein (z.B. nach E-Mail)

Logs manuell löschen​

  1. Gehen Sie zu 5E OAI Agent Manager → Assistant Logs
  2. Wählen Sie Log-Einträge aus (Checkbox)
  3. Klicken Sie auf "Löschen"
  4. Bestätigen Sie
Achtung

Gelöschte Logs können nicht wiederhergestellt werden!

🛠️ Troubleshooting​

Logs werden nicht angezeigt​

Lösung:

  1. Prüfen Sie, ob Logging in der Plugin-Konfiguration aktiviert ist
  2. Prüfen Sie den Zeitraum-Filter (vielleicht zu eng eingestellt?)
  3. Cache leeren: bin/console cache:clear

Token-Nutzung stimmt nicht​

Hinweis: Die Kosten sind Schätzungen basierend auf OpenAI-Preisen.

Für genaue Kosten:

Performance bei vielen Logs​

Problem: Mit tausenden Logs wird die Übersicht langsam.

Lösungen:

  • Nutzen Sie Filter (Zeitraum, Agent, Tags)
  • Löschen Sie alte, nicht mehr benötigte Logs
  • Aktivieren Sie in der Datenbank Indizes (für Entwickler)

📊 Beispiel-Auswertung​

Szenario: Monatlicher Report​

Sie möchten wissen, wie erfolgreich Ihr Agent im letzten Monat war.

Vorgehen:

  1. Filter setzen:

    • Zeitraum: Letzter Monat
    • Agent: Ihr Produktberater-Agent

  2. Zahlen erheben:

    • Anzahl Konversationen: 2.847
    • Durchschnitt Tokens pro Konversation: 1.250
    • Gesamtkosten: ca. $2.30

  3. Tags analysieren:

    • produkt: 1.200 (42%)
    • versand: 650 (23%)
    • rückgabe: 450 (16%)
    • zahlung: 320 (11%)
    • Sonstige: 227 (8%)

  4. Top-Fragen identifizieren:

    • "Welche Größe passt mir?" → 95 Mal
    • "Habt ihr das auch in blau?" → 78 Mal
    • "Wie lange dauert Versand?" → 67 Mal

  5. Maßnahmen ableiten:

    • ✅ FAQ "Größentabelle" erstellen
    • ✅ Farbvarianten im Produktberater erwähnen
    • ✅ Versandinformationen in Init Instructions aufnehmen

📋 Checkliste: Logs effektiv nutzen​

  • Logging in Plugin-Konfiguration aktiviert
  • Regelmäßig Logs prüfen (z.B. wöchentlich)
  • Tags für Kategorisierung nutzen
  • Häufige Fragen als FAQ-Einträge speichern
  • Token-Nutzung im Auge behalten
  • Fehlerhafte Antworten identifizieren und beheben
  • Datenschutz-Richtlinien einhalten
  • Alte Logs regelmäßig bereinigen
  • Monatliche Auswertung erstellen
  • Erkenntnisse zur Agent-Verbesserung nutzen

Nächste Schritte​

Jetzt verstehen Sie, wie Sie Logs überwachen und analysieren!

➡️ Wissens-Management - Bauen Sie eine FAQ-Datenbank auf

➡️ Kosten-Management - Kosten optimieren

➡️ Zurück zur Haupt-Dokumentation