Forschungsprototyp · Masterarbeit

Wie beschreibt ChatGPT Ihr Unternehmen?

Sembrelio stellt ChatGPT Fragen, wie potenzielle Kunden sie stellen würden, und vergleicht die Aussagen über Ihr Unternehmen mit den Fakten aus Ihrem Fragebogen und Ihrer Website.

Kostenlose Auswertung anfordern Wie wir messen

Etwa 10 Minuten Aufwand für Sie
Jeder Bericht von einer Person geprüft
Kostenlos

Auswertung · Musterfirma GmbHBeispieldarstellung, Werte fiktiv

Sichtbarkeit: 3 / 9 Antworten; von 9 allgemeinen Antworten, die mindestens einen Anbieter oder eine Plattform nennen
Richtigkeit: 38 / 44 Aussagen
Nicht prüfbar: 14 / 58 Aussagen
Abdeckung: 12 / 30 Fakten

Falsch

ChatGPT nennt einen veralteten Standort und ordnet ein eingestelltes Produkt dem aktuellen Sortiment zu.

Ablauf

In drei Schritten zum Bericht

Fragebogen ausfüllen
Sie beschreiben Ihr Unternehmen und Ihr Angebot. Diese Angaben sind zusammen mit Ihrer Website die Referenz für die Prüfung.
Messung
Jede Auswertung nutzt 20 Fragen. Eine Person prüft die Fragen, bevor sie an den KI-Dienst gehen. Danach wird der Fragensatz eingefroren und nicht mehr geändert.
Bericht erhalten
Sie sehen, ob Ihr Unternehmen genannt wird, welche Aussagen richtig oder falsch sind, welche Fakten fehlen, welche Quellen angegeben werden und welche anderen Anbieter ChatGPT bei allgemeinen Fragen zu Ihrer Branche nennt.

Kennzahlen

Vier Werte, jeweils mit Zähler und Nenner

Jede Kennzahl wird mit Zähler und Nenner gezeigt, nicht nur als Prozentwert.

Wie wir messen

Sichtbarkeit: Antworten auf die Fragen ohne Ihren Unternehmensnamen, die Ihr Unternehmen nennen, geteilt durch alle dieser Antworten, die mindestens einen Anbieter oder eine Plattform nennen.
Faktische Richtigkeit: Richtige Aussagen geteilt durch alle geprüften Aussagen (richtige und falsche).
Nicht überprüfbar: Nicht überprüfbare Aussagen werden getrennt ausgewiesen.
Abdeckung: Richtig genannte erwartete Fakten geteilt durch alle erwarteten Fakten.

Für den industriellen Mittelstand

Was antwortet ChatGPT, wenn nach Anbietern gefragt wird?

KI-Assistenten beantworten auch Fragen nach Lieferanten und Anbietern. Ein Unternehmen sieht diese Antworten in der Regel nicht.

Die Auswertung zeigt für Ihr Unternehmen, was ChatGPT zum Zeitpunkt der Messung sagt. Sie ist eine Momentaufnahme und trifft keine Aussage über künftige Sichtbarkeit, Umsätze oder Kundenzahlen.

Forschungsprojekt

Sembrelio ist ein Forschungsprototyp im Rahmen einer Masterarbeit an der Frankfurt School. Ihre Angaben fließen nur mit einer gesonderten Einwilligung pseudonymisiert in die Forschung ein.

Offene Methode

Wir messen über die offizielle API von OpenAI mit Websuche. Das ist eine Annäherung an ChatGPT, keine Nachbildung der ChatGPT-App. Die Einschränkungen nennen wir auf der Methodenseite.

Ihre Daten

Sie können Ihre Einwilligung zur Forschung jederzeit widerrufen und die Löschung Ihrer Daten verlangen. Details in der Datenschutzerklärung.

Wer steht dahinter

Sembrelio ist ein Forschungsprojekt von Faith Katingi, Ekaterina Kuznetsova und Thomas Hilbig im Rahmen ihrer Masterarbeit an der Frankfurt School of Finance & Management.

Wer wir sind