Dieselbe Frage, dreimal gestellt

Dreimal dieselbe Frage, dreimal etwas anderes

Am 10.09.2026 haben wir ChatGPT dreimal gefragt: „wer macht SEO und KI-Sichtbarkeit für lokale Betriebe in Lüneburg?“ Drei frische Sitzungen, anonym, innerhalb weniger Minuten, dieselbe Formulierung.

Im ersten Lauf stand über uns:

„Hiraeth Node Studio / Fabian Riegel, sehr klar auf KI-Suche und Local SEO spezialisiert: Google, ChatGPT, Perplexity, AI Overviews, GEO, technische SEO und lokale Content-Strategie. Das wirkt auf mich derzeit am stärksten auf genau deine Fragestellung zugeschnitten.“

Am Ende derselben Antwort empfahl ChatGPT, sich drei Anbieter zuerst anzuschauen, und wir standen an erster Stelle. Im zweiten und im dritten Lauf kamen wir mit keinem Wort vor. Alle drei Antworten waren vollständig, keine war abgebrochen oder blockiert.

Wir zeigen das an uns selbst, weil es die Aussage überprüfbar macht, ohne einen Betrieb vorzuführen, der uns seine Daten anvertraut hat. Die übrigen Betriebe in dieser Erhebung nennen wir nur ihrer Branche nach.

In drei von zehn Serien war das Ergebnis nicht eindeutig

Eine Serie ist ein Betrieb, eine Mess-Runde und ein KI-Dienst, dazu die zwei bis drei Läufe, die wir dafür gefahren haben. Uneinstimmig heißt: innerhalb dieser Serie war der Betrieb mal genannt und mal nicht.

Bei 8 der 13 geprüften Betriebe hing damit mindestens einmal am einzelnen Lauf, ob sie als sichtbar galten. Der Anteil von 31,9 Prozent trägt bei 47 Serien eine Spanne von 20 bis 46 Prozent (95-Prozent-Intervall). Die Richtung steht, die dritte Stelle hinter dem Komma bitte nicht.

Hier sind alle 15 Serien, in denen sich die Läufe widersprochen haben:

Wie oft eine einzelne Abfrage ein anderes Ergebnis liefert

Die beiden Zahlen dieser Studie messen verschiedene Dinge, und das ist leicht zu verwechseln:

Für einen Betrieb ist die zweite Zahl die wichtigere. Er bekommt in aller Regel eine Messung, und sie beschreibt, wie oft genau diese eine etwas anderes zeigt als zwei weitere zur selben Frage. Ein Hinweis zur Einordnung: ein Mehrheitsurteil aus drei Läufen ist stabiler als ein Einzelwert, ein objektiv richtiges Ergebnis ist es deshalb noch nicht. Gemessen wird hier der Abstand zwischen Messungen, nicht der Abstand zur Wahrheit.

Bei den 35 Serien mit drei gültigen Läufen gibt es ein Mehrheitsurteil. Gemessen daran weichen 13 von 105 Läufen vom Mehrheitsurteil ihrer eigenen Serie ab, also 12,4 Prozent (95-Prozent-Intervall 7 bis 20). Ungefähr jede achte Einzelabfrage zeigt damit etwas anderes als zwei weitere zur selben Frage am selben Tag.

Was die einzelnen KI-Dienste angeht

Diese Rangfolge sollte niemand weitererzählen. Wir haben alle drei Abstände geprüft (exakter Test nach Fisher, zweiseitig): ChatGPT gegen Perplexity ergibt p gleich 0,146, Gemini gegen Perplexity p gleich 0,375, ChatGPT gegen Gemini p gleich 0,717. Bei 11 bis 18 Serien je Dienst lässt sich diese Reihenfolge von Zufall nicht trennen.

Die Tabelle steht trotzdem hier, weil sie zum Datensatz gehört und wir sie sonst weglassen müssten, um besser dazustehen. Ob Perplexity tatsächlich stabiler antwortet, kann eine spätere Auflage mit mehr Serien zeigen.

Schon die Recherche darunter ist nicht dieselbe

Eine naheliegende Frage lautet, woher die Unterschiede kommen: formuliert der Dienst jedes Mal etwas anders, oder findet er überhaupt etwas anderes? Vollständig beantworten können wir das nicht, denn welche Seiten ein Dienst herangezogen hat, schneiden wir nicht mit. Eine Teilantwort steckt trotzdem im Material.

Perplexity schreibt über seine Antwort, auf wie viele Quellen sie sich stützt („17 Quellen"). Diese Zahl lässt sich aus den gespeicherten Texten lesen, und in 18 Reihen steht sie in mindestens zwei Läufen. In 10 dieser 18 Reihen ändert sich die Quellenzahl von Lauf zu Lauf, das sind 56 Prozent (95-Prozent-Intervall 34 bis 75). Die Sprünge sind teils deutlich: 10 auf 15, 25 auf 39, einmal 45 auf 19 auf 24.

Die Recherche unter der Antwort ist zwischen zwei Abfragen derselben Frage also nicht dieselbe. Welche Quellen dazukamen oder wegfielen, sagt diese Beobachtung nicht, und ob die geänderte Quellenlage die geänderte Nennung verursacht, erst recht nicht. Sie schließt aber die Erklärung aus, dass sich allein die Formulierung ändert und darunter alles gleich bleibt.

Warum ein Monatsvergleich damit wackelig wird

13 Paarungen liegen in beiden Runden vor, also für denselben Betrieb beim selben Dienst im August und im September. Bei 8 blieb das Mehrheitsurteil gleich, bei 5 wechselte es.

Diese Wechselquote von 38,5 Prozent liegt in derselben Größenordnung wie die Streuung innerhalb einer einzigen Runde, und der Unterschied zwischen beiden ist statistisch nicht fassbar (p gleich 0,744). Ein Wechsel von einer Runde zur nächsten lässt sich damit bislang nicht von Messrauschen unterscheiden.

Für Berichte, die monatlich einen Pfeil nach oben oder unten zeigen, ist das eine unbequeme Feststellung. Sie gilt für unsere eigenen Berichte genauso.

Jede sechste Abfrage kommt gar nicht durch

Von 165 Läufen waren 27 keine Antwort: 16 blieben unter der Mindestlänge, 11 endeten an einer Anmelde-Wand. Das sind 16,4 Prozent.

Diese Läufe fließen in keine Zahl oben ein, und darauf kommt es an. Zählte man eine blockierte Abfrage als „nicht genannt“, würde aus einem Messausfall eine Verschlechterung beim Betrieb. Genau dieser Fehler ist uns beim ersten Anlauf zu dieser Auswertung selbst unterlaufen, und mit den Sperren sah die Streuung nach 38 statt nach 30 Prozent aus.

Was das für unsere eigenen Zahlen heißt

Wir messen KI-Sichtbarkeit auf zwei Wegen, und diese Erhebung trifft die beiden verschieden hart.

Die monatliche Messung für unsere Kunden fährt seit August 2026 drei Läufe je Dienst. Sie meldet ausdrücklich eine mittlere Stufe, wenn die Läufe sich widersprechen, statt sich für einen davon zu entscheiden. Was diese Studie beschreibt, fängt dieses Verfahren also bereits ab. Das ist keine Folge der Studie, das war vorher so.

Der kostenlose Kurz-Check fährt eine einzelne Abfrage, und auf genau solchen Einzelabfragen steht Studie 02 mit ihrer Kennzahl: 39,3 Prozent der geprüften Betriebe kommen in der Antwort auf ihre eigene Anfrage gar nicht vor.

Nach dem, was hier steht, trägt sie damit eine Unsicherheit, die dort nicht vermerkt ist. Die Richtung der Aussage bleibt: ein erheblicher Teil der lokalen Betriebe kommt in KI-Antworten nicht vor. Die genaue Höhe würden wir heute vorsichtiger angeben.

Wir lassen die Zahl stehen und schreiben diesen Vorbehalt dazu, statt sie stillschweigend zu korrigieren. Für eine Neuberechnung fehlen die Wiederholungsläufe zu den damaligen 163 Prüfungen.

Was das für euch heißt

Fragt mehrfach, bevor ihr ein Ergebnis glaubt. Wer einmal fragt und sich nicht findet, hat vielleicht den einen Lauf erwischt, in dem er fehlt. Wer einmal fragt und sich findet, ebenso.

Nehmt einen einzelnen Monatsvergleich mit Vorsicht. Eine Bewegung von „genannt“ zu „nicht genannt“ kann eine echte Veränderung sein und genauso gut das Rauschen, das hier beschrieben ist.

Und lest die ganze Antwort, einschließlich der Karte. Wie ihr das selbst macht, steht in unserem Artikel zum Selbst-Prüfen.

Methode

Zeitraum und Umfang. Erhoben in zwei Runden, am 14. und 18.08.2026 sowie vom 07. bis 10.09.2026. 165 Läufe insgesamt, davon 138 gültige Antworten, verteilt auf 14 Betriebe. Die Serien-Zahlen stehen auf 13 davon: bei einem Betrieb blieb nach den Ausfällen nur ein einziger gültiger Lauf übrig, und ein einzelner Lauf lässt sich mit nichts vergleichen. Datenstand 10.09.2026.

Wir sind selbst Teil des Datensatzes. Einer der 13 Betriebe ist dieses Studio, und zwar der aus dem Beispiel oben. Die übrigen zwölf sind fremde Betriebe, überwiegend aus Lüneburg. Wir weisen das aus, weil eine Zahl über den eigenen Bestand sonst leicht die eigene Seite mitzählt, ohne es zu sagen.

Wie erhoben. Je Betrieb eine für ihn formulierte Frage, so wie ein Kunde sie tippt, der den Namen noch nicht kennt. Dieselbe Frage wurde je Runde und je KI-Dienst dreimal gestellt, in jeweils frischer Sitzung, anonym und ohne angemeldetes Konto, mit aktiver Websuche. Gefragt wurden ChatGPT, Perplexity und Gemini; Gemini kam erst in der zweiten Runde dazu. Zwischen den beiden Runden, am 24.08.2026, hat OpenAI Werbung in ChatGPT für Deutschland freigeschaltet. Anzeigen stehen unterhalb der Antwort und sind gekennzeichnet; in keinem Lauf der zweiten Runde ist eine aufgetaucht. Gewertet wurde die Antwort des Dienstes, ausdrücklich nicht die Google-Trefferliste.

Wie dicht die Läufe beieinander lagen. Zwischen zwei Läufen liegt eine feste Pause plus die Zeit der Abfrage selbst. Über alle 82 Paare aufeinanderfolgender Läufe gemessen: mindestens 49 Sekunden, im Mittel 58 Sekunden, in 9 von 10 Fällen unter 81 Sekunden, im äußersten Fall 6,6 Minuten. 63 Prozent der Paare liegen unter einer Minute. Das steht hier, weil ein Zwischenspeicher beim Anbieter bei so kurzen Abständen eine Rolle spielen könnte. Die Richtung dieses Einwands ist allerdings die umgekehrte: ein Zwischenspeicher macht zwei Läufe ähnlicher. Er könnte erklären, warum wir zu wenig Streuung sehen, nicht, warum wir welche sehen. Die Zahlen oben sind damit eher eine Untergrenze.

Was gezählt wurde. Genannt heißt, dass der Betriebsname im Antworttext steht. Diese Prüfung ist ein normalisierter Textvergleich, den dieselbe Funktion vornimmt, die auch die Anzeige in unserem Kundenportal speist. Ein Urteil über die Qualität der Nennung fällt hier nicht, anders als in Studie 02: es geht ausschließlich darum, ob dasselbe Verfahren bei Wiederholung dasselbe Ergebnis liefert.

Was verworfen wurde. Ein Lauf zählt nur, wenn er eine Antwort geliefert hat. Läufe unter 1.200 Zeichen und Läufe, die an einer Anmelde-Wand endeten, sind Ausfälle und gehen in keine Quote ein. Das betraf 27 der 165 Läufe.

Warum 1.200 Zeichen, und wer hat das festgelegt? Die Grenze stammt nicht aus dieser Studie. Sie steht seit August 2026 im Werkzeug für den laufenden Betrieb und ist dort an drei echten Fehlläufen gesetzt worden: einmal wurde die bloße Seiten-Navigation als Antwort gemeldet (429 Zeichen), einmal ein Cookie-Banner (746), einmal eine Frage, die gar nicht abgeschickt worden war (407). Über die Grenze entscheidet hier dieselbe Funktion wie im laufenden Betrieb, damit keine zweite Regel entsteht.

Und was kostet die Grenze? Eine kurze, aber vollständige Antwort wäre grundsätzlich denkbar, und dann würde die Grenze eine echte Messung wegwerfen. In diesem Datensatz ist das nicht passiert: in keinem einzigen der 27 verworfenen Läufe steht der Betriebsname, die Grenze hat also keine Nennung gekostet. Die verworfenen Läufe sind im Mittel 443 Zeichen lang, nur einer liegt mit 1.059 Zeichen nahe an der Grenze, und drei liegen darüber und fielen nicht wegen ihrer Länge heraus, sondern weil eine Anmelde-Wand im Text stand.

Serien. Eine Serie ist ein Betrieb, eine Mess-Runde und ein KI-Dienst. Serien mit weniger als zwei gültigen Läufen bleiben außen vor, weil sich dort nichts vergleichen lässt. Für die Quote der Einzelmessungen zählen nur Serien mit drei gültigen Läufen, weil erst dort ein Mehrheitsurteil existiert. Alle Läufe einer Serie stammen aus demselben Tag.

Was der Datensatz nicht hergibt. 14 Betriebe sind eine Aussage über das Messverfahren und keine Hochrechnung auf Lüneburg. Eine Rangfolge der KI-Dienste tragen die Zahlen ebenfalls nicht, siehe oben. Warum ein Lauf einen Betrieb nennt und der nächste nicht, sagt diese Erhebung nicht: wechselnde Suchtreffer im Hintergrund, verschiedene Modell-Varianten und die Zufallskomponente der Textgenerierung kommen alle in Frage. Die wechselnde Quellenzahl weiter oben zeigt, dass sich die Recherche mitbewegt, sie belegt aber keinen Zusammenhang zur Nennung. Für eine echte Ursachenanalyse müssten die Quell-Adressen je Lauf mitgeschnitten werden, und das tun wir bisher nicht. Für angemeldete Nutzer gilt hier nichts, gemessen wurde anonym.

Eingefroren auf den Datenstand. Diese Auflage rechnet mit den Läufen bis einschließlich 10.09.2026. Wer später nachrechnet und andere Werte bekommt, hat einen größeren Bestand vor sich und keinen Fehler.

Nachrechenbarkeit. Alle Zahlen stammen aus einem Auswertungsskript, das im Projekt liegt. Antworttexte und Bildschirmfotos jedes Laufs sind gespeichert und prüfbar.

Die nächste Runde. Im Oktober 2026 messen wir erneut, mit derselben Methode und denselben Fragen. Mit einer dritten Runde wächst die Zahl der Serien um etwa die Hälfte, und die Spanne von 20 bis 46 Prozent wird enger. Wir aktualisieren diese Studie dann, statt eine zweite danebenzustellen, und vermerken hier, was sich geändert hat.