Wie wir messen

Diese Seite beschreibt kurz, wie eine Auswertung entsteht. Details sind in der Masterarbeit dokumentiert.

Welcher KI-Dienst

Wir messen nur ChatGPT. Die Fragen werden über die offizielle API von OpenAI gestellt (Responses API mit Websuche). Das ist eine API-basierte Annäherung an ChatGPT, keine Nachbildung der ChatGPT-App. Antworten in der App können abweichen. Google Gemini und Perplexity werden nicht gemessen.

Welche Fragen

Jede Auswertung nutzt 20 Fragen. 10 enthalten den Namen des Unternehmens, zum Beispiel welche Leistungen es anbietet oder wo es tätig ist. 10 enthalten den Namen nicht. Sie fragen, wie es potenzielle Kunden tun würden, nach Anbietern einer Branche an einem Ort. Die Fragen werden standardmäßig auf Deutsch gestellt. Eine Person prüft die Fragen, bevor sie an den KI-Dienst gehen. Danach wird der Fragensatz eingefroren und nicht mehr geändert. Wird dasselbe Unternehmen erneut gemessen, gilt derselbe Fragensatz.

Wie Antworten ausgewertet werden

Aussagen über das Unternehmen werden mit einem Satz geprüfter Fakten verglichen. Diese stammen aus dem Fragebogen und von der Website des Unternehmens. Jede Kennzahl wird mit Zähler und Nenner gezeigt, nicht nur als Prozentwert:

Faktische Richtigkeit: richtige Aussagen geteilt durch alle geprüften Aussagen (richtige und falsche). Nicht überprüfbare Aussagen werden getrennt ausgewiesen.
Abdeckung: richtig genannte erwartete Fakten geteilt durch alle erwarteten Fakten.
Sichtbarkeit: Antworten auf die Fragen ohne Unternehmensnamen, die das Unternehmen nennen, geteilt durch alle dieser Antworten, die mindestens einen Anbieter oder eine Plattform nennen.
Genannte andere Anbieter und angegebene Quellen

Kennzahlen mit einem Nenner unter 5 werden als geringe Datenbasis markiert.

KI-Einsatz und menschliche Prüfung

Aussagen werden mit einem KI-Modell (Anthropic Claude) extrahiert und geprüft. Eine Person prüft die Fragen vor der Messung und jeden Bericht vor der Freigabe. Berichte sind als KI-generiert gekennzeichnet.

Einschränkungen

KI-Antworten ändern sich mit der Zeit. Die Suchergebnisse hinter den Diensten lassen sich nicht festschreiben.
Der Ort wird nur im Fragetext angegeben.
Die Ergebnisse einer kostenlosen Auswertung sind vorläufig. Die Referenzfakten stammen aus dem Fragebogen und von der Website des Unternehmens. Eine Person prüft sie, unabhängig überprüft werden sie nicht.
Eine Auswertung trifft keine Aussage über künftige Sichtbarkeit, Umsätze oder Kundenzahlen.
Gemessen wird nur ChatGPT. Google Gemini und Perplexity werden nicht genutzt. Über Google-KI-Antworten oder andere KI-Dienste treffen die Ergebnisse keine Aussage.