Time to First Token (TTFT) ist die Zeit zwischen dem Senden einer Anfrage an ein großes Sprachmodell und dem Eintreffen des ersten Tokens der Antwort. Sie umfasst Warteschlange, Netzwerk, Verarbeitung des Prompts und den ersten Generierungsschritt und bestimmt, wie reaktionsschnell sich ein gestreamter Chat oder Agent für Nutzer anfühlt.
Was ist Time to First Token (TTFT)?
Time to First Token (TTFT) misst, wie lange Nutzer warten, bis ein Sprachmodell zu antworten beginnt. Beim Streaming erscheint die Antwort Token für Token, deshalb ist die erste sichtbare Ausgabe für die gefühlte Geschwindigkeit wichtiger als die Zeit bis zum letzten Token. TTFT ist für LLM-Anwendungen ungefähr das, was Time to First Byte für Webseiten ist: ein Maß für die erste Reaktion, nicht für die Gesamtdauer.
Die Latenz eines LLM wird meist in zwei Teile zerlegt: TTFT und die Zeit pro Ausgabe-Token nach dem ersten (auch Inter-Token-Latenz genannt). Die gesamte Generierungszeit ergibt sich näherungsweise aus TTFT plus Anzahl der Ausgabe-Tokens mal Zeit pro Ausgabe-Token.
Beide Teile haben unterschiedliche Ursachen und erfordern unterschiedliche Maßnahmen. Die TTFT wird von allem bestimmt, was vor dem Start der Generierung passiert, vor allem von der Verarbeitung der Eingabe. Die Zeit pro Ausgabe-Token hängt dagegen hauptsächlich von Modellgröße, Hardware und Last ab. Wer nur die gesamte Anfragedauer betrachtet, vermischt beide Effekte: Eine Antwort, die zehn Sekunden dauerte, kann schnell begonnen haben und einfach lang gewesen sein. Sie kann Nutzer aber auch die meiste Zeit auf einen leeren Bildschirm haben blicken lassen.
Was die TTFT beeinflusst
- Warteschlangen beim Anbieter oder Inferenzserver unter Last sowie Rate Limiting.
- Netzwerk: Roundtrips, TLS-Aufbau und Entfernung zum Modell-Endpunkt.
- Prefill: Das Modell muss die gesamte Eingabe verarbeiten, bevor es generiert. Lange System-Prompts, Chatverläufe und abgerufene Dokumente verlängern diese Phase.
- Modellgröße und Hardware: Größere Modelle und ausgelastete Beschleuniger verarbeiten Eingaben langsamer.
- Reasoning: Modelle, die vor der Antwort nachdenken, liefern das erste sichtbare Token unter Umständen spät, je nachdem, ob die Denkphase gestreamt wird.
- Arbeit der Anwendung vor dem Aufruf: Retrieval, Guardrail-Prüfungen und Tool-Aufrufe passieren, bevor Nutzer etwas sehen.
TTFT messen
Auf Client-Seite starten Sie einen Timer beim Senden der Anfrage und stoppen ihn, sobald der erste Inhaltsblock im Stream ankommt. Messen Sie auf dem Server, der das Modell aufruft, und idealerweise auch in der Oberfläche, denn die TTFT beim Endnutzer enthält Ihre eigene Vorverarbeitung. Berichten Sie Perzentile wie p50, p95 und p99 statt Mittelwerten und schlüsseln Sie nach Modell, Prompt-Version und Eingabelänge auf.
Die OpenTelemetry GenAI Semantic Conventions definieren für Modellserver das Histogramm gen_ai.server.time_to_first_token (Einheit Sekunden) sowie gen_ai.server.time_per_output_token; beide haben den Status „Development“. Auf Client-Seite erfassen viele Instrumentierungen die TTFT als Span-Attribut oder Event neben gen_ai.client.operation.duration.
Beispiel: ein langsamer Chat-Assistent
Ein illustratives Szenario: Nach einem Release steigt die p95-TTFT eines Chat-Assistenten von etwa 1,2 auf 3,5 Sekunden, während die Zeit pro Ausgabe-Token unverändert bleibt. Der Trace zeigt, dass das Retrieval nun zwölf statt vier Dokumente in den Prompt einfügt, was die Eingabe-Tokens ungefähr verdreifacht. Weil die Prefill-Zeit mit der Eingabelänge wächst, steigt auch die TTFT. Die Begrenzung auf die relevantesten Dokumente senkt die TTFT wieder, ohne messbaren Qualitätsverlust in den Evals des Teams.
TTFT senken
- Antworten streamen, damit Nutzer die Ausgabe sehen, sobald sie entsteht.
- Prompt kürzen: Verlauf beschneiden, weniger, aber bessere Dokumente abrufen, ungenutzte Anweisungen entfernen.
- Prompt Caching nutzen, wo der Anbieter es unterstützt, damit ein stabiler Präfix nicht erneut verarbeitet werden muss.
- Passendes Modell wählen: ein kleineres Modell für einfache Schritte, das große nur, wo es nötig ist.
- Vorverarbeitung parallelisieren, etwa Retrieval und Guardrail-Prüfungen, und Verbindungen offen halten.
- Nahe Region wählen und Warteschlangen sowie Rate Limits des Anbieters überwachen.
Prüfen Sie jede Optimierung mit Evals, bevor Sie sie ausrollen. Ein kürzerer Kontext oder ein kleineres Modell senkt die TTFT, kann aber die Antwortqualität verschlechtern. Messen Sie deshalb Latenz und Qualität immer gemeinsam.
TTFT als Service Level Indicator
Für interaktive KI-Funktionen eignet sich die TTFT gut als SLI, zum Beispiel: „95 Prozent der Chat-Anfragen erhalten das erste Token innerhalb eines beispielhaften Ziels von 2 Sekunden.“ Kombinieren Sie sie mit Fehlerrate und einer Qualitätsmetrik, denn eine schnelle, aber falsche Antwort hilft nicht. Legen Sie unterschiedliche Ziele für unterschiedliche Funktionen fest: Ein Chat braucht einen schnellen Start, eine nächtliche Zusammenfassung von Dokumenten nicht. Wie Sie daraus Ziele und Alarme ableiten, lesen Sie unter Was ist ein SLO.
Wie Obseria hilft
Die AI Observability von Obseria erfasst LLM-Aufrufe als OpenTelemetry-Traces mit Latenz, Token-Verbrauch und Kosten pro Modell und Prompt-Version. So sehen Sie, ob Änderungen der TTFT vom Anbieter, von längeren Prompts oder von Ihren eigenen Retrieval- und Guardrail-Schritten kommen.