KI aussperren: So verbietest du Künstlicher Intelligenz die Nutzung der Inhalte deiner Webseite

Unabhängig davon, ob du ein Fan oder kein Fan von Künstlicher Intelligenz bist, möchtest du die KI vielleicht davon abhalten, die Texte oder Bilder deiner Webseite auszulesen und zu nutzen. Nicht nur SchrifstellerInnen oder KünstlerInnen haben hier nun Bedenken bezüglich der Nutzung ihres geistigen Eigentums. Es ist absolut verständlich, dass mit solchen Neuerungen auch Sorgen und Befürchtungen aufkommen.

Daher zeige ich dir in diesem Artikel, was du tun kannst, um KI einen Riegel vorzuschieben, ein Stoppschild aufzustellen und zu sagen: „Ich erlaube dir nicht, dass du meine Inhalte nutzt!“

Bedenke aber, ein Verbot gilt erst ab dem Zeitpunkt der Einrichtung und nicht für davor ausgelesene Daten. Außerdem gibt es meines Erachtens keine Garantie, dass die Verbote zum Auslesen sicher eingehalten werden. Schwarze Schafe gibt es leider immer und überall.

Wo solltest du überall etwas tun?

Meines Erachtens macht so etwas nur Sinn, wenn man alle Bereiche abdeckt, wo man hier etwas dagegen tun kann, hierzugehören die folgenden drei

1. KI aussperren über Code im Header

     <meta name="robots" content="noai, noimageai">

Oben siehst du den Code, der in den Header der Webseite eingebaut werden sollte. Normalerweise muss man dazu heutzutage nicht mehr in die Untiefen des HTML Codes abtauchen. Viele Themes bieten inzwischen die Möglichkeit im Header, Body und Footer individuellen Code einzugeben. Halte hierfür Ausschau nach Begriffen, wie "Advanced Settings" und "code fields" oder "Erweiterte Einstellungen" und Codefelder. 

Im Folgenden siehst du zwei Screenshots des Avada und Thrive Themes als Beispiel, die du durch Anklicken vergrößern kannst:

2. Widerspruchstext im Impressum

Dr. jur. Thomas Schwenke war so liebenswürdig in einem seiner letzten Newsetter einen deutschen und einen englischen Text zu teilen, den man im Impressum ergänzen kann - ein herzliches Dankeschön an dieser Stelle:

KI Widerspruch

Der Inhaber dieser Website verbietet die Nutzung oder das Herunterladen von Inhalten dieser Website durch Dritte für die Entwicklung, das Training oder den Betrieb von künstlicher Intelligenz oder anderen maschinellen Lernsystemen ("Text- und Data-Mining") vorbehaltlich einer ausdrücklichen schriftlichen Zustimmung des Inhabers der Website. Ohne eine solche Zustimmung ist es untersagt, die Inhalte der Website für Text- und Data-Mining zu verwenden. Vorhandene Meta-Angaben im HTML-Code sind zu beachten ("<meta name="robots" content="noai, noimageai">"). Der Nutzungsvorbehalt gilt jedoch auch dann, wenn auf der Website keine Meta-Angaben vorhanden sind, die entsprechende Verfahren aussperren, und selbst dann, wenn Bots, die den Zweck haben, die Website zu Zwecken des Text- und Data-Minings auszulesen, nicht mittels technischer Verfahren ausgesperrt werden.

AI contradiction

The owner of this website prohibits the use or downloading of content from this website by third parties for the development, training or operation of artificial intelligence or other machine learning systems (“text and data mining”), subject to the express written consent of the owner of the website. Without such consent, it is prohibited to use the content of the website for text and data mining. Existing meta information in the HTML code must be respected (“<meta name=”robots“ content=”noai, noimageai“>”). However, this reservation of use also applies if there is no meta information on the website that blocks the corresponding processes, and even if bots that have the purpose of reading the website for the purposes of text and data mining are not blocked by means of technical processes.

3. KI aussperren über die robots.txt

Der dritte und letzte Schritt ist die Anlage oder Anpassung einer robots.txt Datei, in welcher du den Bots verbietest bzw. erlaubst, deine Seite zu besuchen und zu scannen.

Es gibt hier zwei Ansätze. Du kann nur die unerwünschten aussperren oder du schließt erst alle Bots aus und definierst dann, welche Zugang haben sollen.

Da die erste Lösung ein ständiges Nacharbeiten bei neuen KI's bedeuten würde, bevorzuge ich die zweite, welche allerdings die Gefahr birgt, dass man ungewollt Crawler von einer Suchmaschine aussperrt.

Übrigens bieten die SEO Plugins Yoast SEO und RankMath SEO eine bequeme Möglichkeit, eine robots.txt anzulegen bzw. zu bearbeiten. Wie das geht und was du tust, wenn du weder Yoast noch RankMath installiert hast bzw. nutzt, zeige ich dir im Folgenden.

Aber erst eine kurze Erklärung zur robots.txt und ihrem Inhalt.

3.1 Was ist die robots.txt und wie ist sie aufgebaut?

Die robots.txt ist eine ganz normale Textdatei, wie du sie mit jedem Texteditor erstellen kannst. Um einen Bot (einen Crawler, einen kleinen Suchroboter) auszusperren oder zuzulassen gibt es einen fixen Aufbau der Maschinensprache, den sogenannten Syntax:

Der "User agent:" ist der Syntax für z.B. den Crawler einer Suchmaschine, wie z.B. für Google 

User-agent: Googlebot

Gefolgt vom Syntax für die Genehmigung oder Verweigerung:

Allow: /

oder eben

Disallow: /

Insgesamt sieht das dann so aus, wenn man Google Crawler zulassen möchte. Im Anschluss kommt eine Leerzeile und dann der nächste User Agent.

User-agent: Googlebot
Allow:/

User-agent: ...

3.2 So findest du heraus, ob du bereits eine Robots.txt hast

Du hängst ganz einfach an deine Webseiten URL am Ende /robots.txt an. Wenn du eine Datei hast, dann wird sie nun geöffnet.

3.3 Robots.txt mit Yoast SEO erstellen bzw. bearbeiten

Um die robots.txt zu erstellen oder zu bearbeiten öffnest du die "Werkzeuge" im Menü von Yoast SEO und klickst dann auf "Datei-Editor". Solltest du noch keine robots.txt Datei haben, kannst du sie hier ganz einfach anlegen.

3.4 Robots.txt mit RankMath SEO erstellen bzw. bearbeiten

Öffne die "Allgemeinen Einstellungen" im Menü von RankMath SEO und klicke dann auf "Bearbeiten der robots.txt". Im schwarzen Feld kannst du die Syntax eingeben.

3.5 Was tust du, wenn du weder Yoast SEO noch RankMath SEO nutzt?

Auch das ist kein Problem, dann erstellst du mit einem Texteditor deiner Wahl eine Datei mit der Bezeichnung robots und lädst diese via FTP Zugang in das Hauptverzeichnis (root) deiner WordPress Installation hoch.

3.6 So kannst du im Anschluss testen

Sobald du die robots.txt-Datei bearbeitet hast, kannst du das Crawling von Seiten auf deiner Website durch Bots simulieren und mit einem robots.txt-Tester (< wie diesem) prüfen, ob du auf die Seite zugreifen kannst oder nicht.

Hier drei Screenshots, wie der Tester aussieht, für ein positives Ergebnis und für ein negatives Ergebnis - zum Vergrößern einfach anklicken.

Hole dir einfach meine robots.txt Datei

Ich kann mir gut vorstellen, dass du nun keine Lust hast, deine eigene robots.txt Datei zu erstellen bzw. dir zusammenzusuchen, welche Bots du nicht von deiner Webseite ausschließen willst. Vor allem wäre es ja blöd, wenn du dir selbst durch Ausschluss einer Suchmaschine "ins Knie schießt".

Also habe ich mir Folgendes überlegt: Da dich meine Inhalte und Tipps offensichtlich interessieren, möchte ich dir als Dankeschön für die Anmeldung zu meinem Newsletter (dem Technik-Boten - der alle zwei Wochen erscheint) gerne meine robots.txt Datei als Vorlage schenken. Du kannst sie gerne einfach zum Kopieren (in Yoast oder RankMath) nutzen oder zum direkten Hochladen via FTP auf deine Webseite. 

Bonus: So widersprichst du KI bei Meta

Urheberrecht und KI sind ja leider noch eine rechtliche Grauzone. Standardmäßig ist die Einstellung bei Meta (Facebook und Instagram - folge mir dort gerne) aktuell so, dass KI's deine Inhalte zum Training verwenden dürfen - außer du widersprichst.

Wie das bei Facebook funktioniert und wie du bei Instagram vom Widerspruchsrecht Gebrauch machen kannst, zeige ich dir in den folgenden kurzen Anleitungsvideos:

Ich hoffe dieser Artikel hat dir gefallen bzw. geholfen und freue mich natürlich, wenn du mir in einem Kommentar sagst, wenn dem so ist.

Deine

PS: Solltest du dir Unterstützung von mir als Web-Technikerin wünschen, dann nutze die Möglichkeit für ein Kennenlernen in Form eines kostenlosen, unverbindlichen Infogespräches.

PPS: Dieser Artikel enthält viele Fachbegriffe aus der Onlinetechnik. Ich habe mich bemüht, diese so leicht verständlich wie möglich zu halten. Für die Erklärung von fast 100 Begriffen rund um das Thema Webseite, schaue dir gerne auch mein Webseiten ABC an.