Präzision oder Recall? Top-K und Schwelle richtig setzen
Im Visualizer steuerst du, wie dein Zeptix-Bot Wissen sucht. Zwei Schalter im Knoten „Wissen suchen" bestimmen, ob dein Bot eher viele Treffer einsammelt (Recall) oder nur die besten zulässt (Präzision). Wer beides maximal will, bekommt am Ende keines davon. Diese Anleitung zeigt, wie du die richtige Mischung findest.
TL;DR
- Top-K = wie viele Wissens-Snippets in die Antwort einfließen.
- Mindest-Ähnlichkeit = ab welchem Score ein Treffer überhaupt zählt.
- Mehr Top-K → mehr Recall, aber unschärfere Antworten.
- Höhere Schwelle → mehr Präzision, aber Lücken bei seltenen Fragen.
- Standard 8 / 0.5 ist für die meisten Bots ein guter Start.
Was Top-K und Schwelle bedeuten
Wenn ein Endnutzer fragt: „Wie kündige ich mein Abo?", durchsucht Zeptix deine Wissensbasis und liefert Treffer mit einem Ähnlichkeits-Score. Top-K legt fest, wie viele dieser Treffer am Ende in den Antwort-Prompt eingebaut werden. Mindest-Ähnlichkeit ist die Untergrenze: schlechtere Treffer werden gar nicht erst weitergegeben.
| Knob | Wert klein | Wert groß |
|---|---|---|
| Top-K | Schmaler Kontext, kürzere Antworten | Breiter Kontext, längere Antworten |
| Mindest-Ähnlichkeit | Auch schwache Treffer erlaubt | Nur sehr ähnliche Treffer zählen |
Wann mehr Recall hilft
Mehr Recall (höheres Top-K, niedrigere Schwelle) lohnt sich, wenn dein Bot oft mit „Ich weiß es nicht" antwortet, obwohl die Information in der Wissensbasis steht. Typische Symptome:
- Endnutzer formulieren ungewöhnlich, der Bot findet nichts.
- Deine Wissensbasis ist groß und divers (technische Spezifikationen, FAQ, Tutorials gemischt).
- Du hast lange Dokumente mit verteilten Aussagen.
In diesen Fällen: Top-K von 8 auf 12 oder 16 erhöhen, Schwelle von 0.5 auf 0.40 senken. Beobachte das Verhalten — wenn Antworten plötzlich ungenau werden, ziehst du wieder zurück.
Wann mehr Präzision hilft
Mehr Präzision (kleineres Top-K, höhere Schwelle) macht Sinn, wenn dein Bot zu oft fantasiert oder Quellen mischt, die nicht zusammen gehören:
- Der Bot beantwortet Fragen mit Inhalten aus dem falschen Produkt.
- Antworten klingen zusammenhängend, sind aber faktisch falsch.
- Du hast nur einen klaren, gut strukturierten Wissensbestand.
Hier: Top-K auf 4 oder 6 setzen, Schwelle auf 0.60 oder 0.65 anheben, im Knoten „Quellen verankern" zusätzlich Mindest-Quellen auf 2 stellen. Lieber sagt der Bot „Das weiß ich nicht", als etwas Falsches zu erfinden.
Konkrete Empfehlungen je nach Bot-Typ
| Bot-Typ | Top-K | Schwelle | Mindest-Quellen |
|---|---|---|---|
| FAQ-Bot mit klaren Antworten | 6 | 0.55 | 1 |
| Wissens-Bot über große Doku | 12 | 0.45 | 1 |
| Coaching-Bot mit weichen Themen | 8 | 0.50 | 1 |
| Compliance-Bot, juristisch heikel | 4 | 0.65 | 2 |
| Marketing-Bot, kreativ | 8 | 0.40 | 0 |
Wie du das im Visualizer einstellst
- Öffne
https://zeptix.dev/visualizerund wähle deinen Bot in der Navigationsleiste. - Klicke im Canvas auf den Knoten „Wissen suchen". Der Inspector öffnet rechts.
- Schiebe Top-K auf den gewünschten Wert (4, 6, 8, 12, 16, 20).
- Stelle Mindest-Ähnlichkeit zwischen 0.30 und 0.70 ein.
- Klicke Speichern. Die neue Konfiguration ist sofort live.
- Teste mit der Live-Vorschau, ob Antworten sich wie erwartet ändern.
Für Fortgeschrittene
Falls du sehr viele unterschiedliche Themen hast, kombiniere höheres Top-K (z.B. 16) mit dem Knoten „Auswahl schärfen" (Reranker). Der Reranker sortiert die 16 Treffer neu und gibt am Ende doch nur die besten 8 weiter. Das holt dir Recall und Präzision — kostet aber 150 bis 300 ms Latenz pro Frage.
Mehr dazu in Reranker erklärt — wann sich der zweite Sortierer lohnt.
Häufige Fehler
- Top-K = 20 + Schwelle = 0.30: Maximal-Recall ohne Filter. Antworten werden lang, vage, mischen Themen.
- Top-K = 4 + Schwelle = 0.70: Maximal-Präzision. Bei 70 Prozent aller Fragen sagt der Bot „weiß ich nicht".
- Vergessen zu testen: Nach dem Speichern immer 5 echte Fragen durchspielen. Pipeline-Tuning ohne Tests führt fast immer zu schlechteren Ergebnissen.
Nächste Schritte
- Lies Evidence-Modi: Strikt, Ausgewogen, Hilfreich, um zu verstehen, wie der Bot Quellen wirklich verwendet.
- Probiere Reranker erklärt, wenn du höheres Top-K mit guter Präzision kombinieren willst.
- Wenn die Trefferquote insgesamt zu niedrig ist, hilft der Artikel Trefferquote bei Fragen erhöhen — dort geht es um die Wissensbasis selbst, nicht um die Pipeline.