Wie wir messen

Welche KI-Dienste

Die Fragen werden über die offiziellen APIs von OpenAI (mit Websuche) und Google Gemini (mit Google-Search-Grounding) gestellt. Das ist eine Annäherung an KI-Dienste, keine Nachbildung der Consumer-Apps. Antworten in diesen Apps können abweichen.

Welche Fragen

Jede Auswertung nutzt 20 Fragen. 10 enthalten den Namen des Unternehmens, zum Beispiel welche Leistungen es anbietet oder wo es tätig ist. 10 enthalten den Namen nicht und fragen, wie es potenzielle Kunden tun würden, nach Anbietern einer Branche an einem Ort. Die Fragen werden standardmäßig auf Deutsch gestellt. Eine Person prüft die Fragen, bevor sie gestellt werden.

Wie Antworten ausgewertet werden

Aussagen über das Unternehmen werden mit den Fakten aus dem Fragebogen verglichen. Jede Kennzahl wird mit ihren Fallzahlen gezeigt, nicht nur als Prozentwert:

• Faktische Richtigkeit: Anteil der geprüften Aussagen, die richtig sind
• Abdeckung: Anteil der erwarteten Fakten, die richtig genannt werden
• Sichtbarkeit: Anteil der Antworten mit mindestens einem genannten Anbieter, die das Unternehmen nennen
• Genannte andere Anbieter und angegebene Quellen

Kennzahlen, die auf weniger als 5 Antworten beruhen, werden als geringe Datenbasis markiert.

KI-Einsatz und menschliche Prüfung

Aussagen werden mit einem KI-Modell (Anthropic Claude) extrahiert und geprüft. Eine Person prüft jeden Bericht vor der Freigabe. Berichte sind als KI-generiert gekennzeichnet.

Einschränkungen

• KI-Antworten ändern sich mit der Zeit. Die Suchergebnisse hinter den Diensten lassen sich nicht festschreiben.
• Der Ort wird nur im Fragetext angegeben.
• Ergebnisse der kostenlosen Auswertung sind vorläufig, weil sie mit selbst angegebenen Fakten verglichen werden.
• Eine Auswertung trifft keine Aussage über künftige Sichtbarkeit, Umsätze oder Kundenzahlen.