Traue keiner KI, die du nicht selber trainiert hast

**Traue keiner KI, die du nicht selber trainiert hast. **Ode so ähnlich. Geht glaube ich auf Julius Cäsar zurück.

Egal. Worum geht es? Kurzer Einspieler für den Kontext: Eines meiner “Hobbies” ist es, hier und da irgendwelche Domains anzumelden, um irgendwelche verrückten Projekte zu realisieren. Meistens verläuft sich der Spaß im Sand, ich vergesse, dass es da noch ein Projekt gibt oder ich wechsel in regelmäßigen Abständen den Inhalt auf der Domain, weil ich eine noch bessere Idee finde.

Eine dieser schicksalhaften Domains nennt sich pictero.com, die ich nun schon seit über 10 Jahrne besitze. Vor einigen Jahren einmal habe ich darauf ein eher ikonisches Projekt gestartet: Eine Art Meme-Generator, aber einer von der ironischen Sorte. Eine Persiflage auf die “küchenpsychologischen” Twitter-Tweets: Man konnte einen Tweet nehmen und diesen mit “lustigen” Bildern kombinieren. Zu den Motiven gehörten einfach nur Bilder von Wurst, Katzenbilder oder irgendwas mit Chuck Norris. RIP in Peace lieber Chuck. Hier schau selber: https://nickyreinert.de/2019/2019-10-15-pictero-generator-fuer-poesie-album-sprueche/

Ich fand das damals ziemlich witzig. Ich finde es immer noch witzig. Aber das ist nicht der Punkt. Humor ist eine schräge Sache. Man bleibt nur hängen, wenn die Reibung stimmt.

Egal.

Später dann lief darauf eine Oberfläche, mit der man KI-Bilder erzeugen konnte. Im Hintergrund war das an eine Hugging-Face Applikation angebunden. Auch darüber habe ich gebloggt .

Und dann hatte ich eine andere wilde Idee: Eine Kombination aus Zeitmaschine und Meme-Aggregator. Um den Inhalt soll es gar nicht gehen, den die Idee hielt nur drei Tage, weil ich dann feststellte, dass ich selber eine Sache sehr oft suche: Einen einfachen Werkzeugkasten für Bilder. Keine Adobe-Alternative, sondernn einfach eine kleine App, mit der man hier und da kleinere Aufgaben erledigen kann. Und das Ding habe ich dann mal schnell vibegecodet hingestellt und freue mich nun darüber.

Und dann habe ich überlegt, wie man den Kram auch sichtbar macht, also in diesem Internet. Wissen schon. Angefangen bei einer Sitemap, über eine Robot.txt, allerlei Meta-Daten und natürlich eine Grounding-Page. Das ganze Programm (D13Y-&SEO-Experten nehmen dir für diese Wissenschaft 10k Euro ab, du kannst aber auch einfach Claude Code fragen frozzel (づ ￣ ³￣)づ)

Was habe ich also getan? Ich habe einmal die gängigen KI-Chatbots gefragt, was sie zu der Seite wissen. Und das Ergebnis war… erstaunlich. Erstaunlich, weil: Die KI mit einer unfassbar überzeugenden Sicherheit absoluten Stuss erzählt. Selbst wenn man nachhakt.

Aber schaut selber, was ich als Antwort auf die ziemlich eindeutige Frage “Erzähl mir mehr über die Seite “pictero.com”” so vorgeschlagen bekommen habe….

Gemini

Gemini startet hart durch und schwadroniert von Abo-Fallen:

Und Gemini ist davon so überzeugt, dass es mir direkt einen ganzen Aufsatz liefert. Also frage ich explizit nach: “Das ist falsch, ich rede explizit von “pictero.com”.

Und es wird nicht besser:

Ja gut - Gemini erkennt zwar, dass es sich geirrt hat, aber liefert danach nicht weniger Unsinn ab. Also hake ich erneut nach:

Nein Gemini - auch das ist falsch. Also weise ich Gemini darauf hin, dass die Informationen veraltet sind.

Auch das ist falsch. Und die weitere Erlkärung ist stark übertrieben: es handelte sich bei der letzten Anwedung um ein ziemlich unbequemes Interface und war lange nicht verbreitet. Es war eine Spielwiese ohne Nutzwerbasis oder Traffic.

Also hake ich erneut nach.

Auf die obligatorische Entschuldigung folgt erneut… Unsinn. Ich bleibe hartnäckig:

Nein, wieder daneben. Letzter Versuch:

Jetzt kommen wir der Sache zwar etwas näher. Aber das ist immer noch falsch. Es gibt auf der Seite tatsächlich Inhalte. Und dabei handelt es sich nicht mal um eine komplizierte dynamische Webseite - tatsächlich gibt es eine Sitemap und diverse GEO/D13Y-Maßnahmen.

Das Ende vom Lied: Nachdem Gemini in wirklich zahlreichen Antworten jämmerlich versagt, bittet es mich nun, die Seite selber aufzurufen. Danke für nichts. Weiter geht es mit…

ChatGPT

Auch ChatGPT ist so davon überzeugt, mich richtig zu verstehen, dass es gleich mit einem ganzen Aufsatz in die Konversation startet:

Aber es wird nicht besser. Bevore ChatGPT den Browser anschmeißt, behauptet es also erstmal irgendwas, um überhaupt irgendwas zu schreiben. Das geht natürlich alles fleißg auf dein Token-Konto:

Egal - wir geben nicht auf! Wir fordern nun direkt eine Websuche an:

Offenbar nutzt ChatGPT einen Cache oder Index, der nicht ganz so regelmäßig aktualisiert wird. Man kennt das ja von Google. Allerdings ist die Gefahr hier, dass man annehmen könnte, ChatGPT hätte tatsächlich das Web durchsucht und nicht nur einen Cache. Denn schließlich gibt es ja den Quellen-Verweis:

OK. Die gute Nachricht: Irgendwann versteht ChatGPT natürlich, was hinter der Seite steckt. Die schlechte Nachricht und das ist vielleicht eine Binse: Wir können ChatGPT schlicht nicht trauen und müssen jeden Fakt wohl mindestens einmal hinterfragen.

Aber vielleicht liegt es ja an mir?

Diesmal aktiviere ich explizit das Tool “Websuche” und der Prompt ist nun etwas deutlicher:

Und jetzt wird es sogar noch wilder! ChatGPT bezieht sich zwar auf pictero.com und beschreibnt die Inhalte auf den ersten Blick auch irgendwie halbwegs korrekt, wenn auch sehr vage. Aber die Überraschung folgt stehenden Fußes:

ChatGPT behauptet also, sich auf pictero.com zu beziehen, nutzt aber weiterhin die Informationen zur Seite picter.com.

Das ist wild.

Copilot

Copilot nutzt im Hintergrund auch nur ChatGPT. Aber dennoch schauen wir mal, wie der Microsoft-Harnesse sich auswirkt (Modus: “Smart Plus”)

Und das ist beeindruckend! Denn der erste Treffer sitzt so präzise, dass es mir die Freudetränen in die Augen treibt.

Disclaimer

Der Test mit Gemini ist etwa 1 Woche alt, ChatGPT und Copilot wurden genau heute getestet. Ich habe Gemini heute noch einmal kurz angeworfen und auch eine falsche Antwort erhalten, die sogar noch mal deutlich von der ursprünglichen Antwort abweicht:

Auch heute half erneutes Nachfragen nicht nach.

Das ganze ist natürlich nicht gerade wissenschaftlich und sollte unter “anekdotische Evidenz” abgelegt werden. Aber gleichzeitig sollte man sich fragen: Schaffen ChatGPT und Gemini nur bei “relevanten” Themen korrekt zu antworten? Was ist relevant?

Wie dem auch sei, Ergebnis:

Copilot: 1 ChatGPT: 0 Gemini: 0