Was ist Bot-Traffic?

Bot-Traffic beschreibt jeden nicht-menschlichen Traffic zu einer Website oder einer App. Der Begriff Bot-Traffic wird oft negativ interpretiert, aber in Wirklichkeit ist Bot-Traffic nicht unbedingt gut oder schlecht; es hängt alles vom Zweck der Bots und den Präferenzen des Websitebetreibers ab.

Einige Bots sind für nützliche Dienste wie Suchmaschinen und digitale Assistenten (z. B. Siri, Alexa) unentbehrlich. Die meisten Unternehmen begrüßen diese Art von Bots auf ihren Websites.

Andere Bots können böswillig sein, z. B. Bots, die für Credential Stuffing, Data Scraping und DDoS-Angriffe eingesetzt werden. Selbst einige der gutartigeren „schädlichen“ Bots, wie z. B. nicht autorisierte Webcrawler, können lästig sein, da sie die Websiteanalyse stören und Klickbetrug verursachen können.

Es wird angenommen, dass über 40 % des gesamten Internet-Traffics aus Bot-Traffic besteht, und ein beträchtlicher Teil davon sind böswillige Bots. Deshalb suchen so viele Unternehmen nach Möglichkeiten, den Bot-Traffic auf ihren Websites in den Griff zu bekommen.

Woran kann man Bot-Traffic erkennen?

Webtechniker haben direkten Einblick in die Netzwerkanfragen an ihre Websites und können damit wahrscheinlichen Bot-Traffic identifizieren. Auch mit einem integrierten Webanalysetool wie Google Analytics oder Heap kann man Bot-Traffic erkennen.

Die folgenden Anomalien bei Analysen sind typische Merkmale des Bot-Traffics:

• Ungewöhnlich hohe Zahl von Seitenaufrufen: Wenn bei einer Website ein plötzlicher, beispielloser und unerwarteter Anstieg der Seitenaufrufe auftritt, ist es wahrscheinlich, dass sich Bots durch die Website klicken.
• Ungewöhnlich hohe Bounce Rate: Als Bounce Rate wird die Anzahl der Benutzer bezeichnet, die eine einzelne Seite eines Webauftritts aufrufen und dann die Website wieder verlassen, ohne auf der Seite etwas anzuklicken. Ein unerwarteter Anstieg der Bounce Rate kann dadurch bewirkt werden, dass Bots auf eine einzelne Seite gerichtet sind.
• Überraschend lange oder kurze Sitzungsdauer: Die Sitzungsdauer bzw. die Zeit, die Benutzer auf einer Website bleiben, sollte relativ stabil sein. Eine unerklärliche Erhöhung der Sitzungsdauer könnte ein Hinweis darauf sein, dass Bots die Website ungewöhnlich langsam durchsuchen. Umgekehrt könnte eine unerwartete Verkürzung der Sitzungsdauer dadurch bewirkt werden, dass Bots die Seiten auf der Website viel schneller durchklicken als ein menschlicher Benutzer.
• Junk-Konversionen: Zu einer Zunahme von vorgetäuschten Konversionen – z. B. Kontoerstellungen mit unsinnigen E-Mail-Adressen oder mit gefälschten Namen und Telefonnummern ausgefüllte Kontaktformulare – kann es kommen, wenn Formulare von Bots oder Spam-Bots ausgefüllt werden.
• Plötzlicher Traffic-Anstieg aus einem unerwarteten Gebiet: Ein plötzlicher Anstieg der Benutzer aus einer bestimmten Region, vor allem aus einer Region, in der es unwahrscheinlich ist, dass dort viele Personen die Muttersprache der Website sprechen, kann ein Hinweis auf Bot-Traffic sein.

Wie kann Bot-Traffic Analytics beeinträchtigen?

Wie oben erwähnt, kann nicht autorisierter Bot-Traffic die Analytics-Metriken wie Seitenaufrufe, Bounce Rate, Sitzungsdauer, Geolocation von Benutzern und Konversionen beeinflussen. Diese Abweichungen in den Metriken können für den Betreiber der Website sehr frustrierend sein. Es ist sehr schwierig, die Performance einer Website zu messen, die unter Bot-Aktivitäten zu leiden hat. Auch Versuche zur Verbesserung der Website, wie z. B. A/B-Tests und Optimierung der Konversionsrate, werden durch statistische Störungen durch Bots beeinträchtigt.

So filtert man Bot-Traffic aus Google Analytics heraus

Google Analytics bietet eine Option zum „Ausschließen aller Treffer von bekannten Bots und Spidern“ (Spider sind Suchmaschinen-Bots, die Webseiten durchsuchen). Wenn die Quelle des Bot-Traffics identifiziert werden konnte, kann der Benutzer auch eine bestimmte Liste von IP-Adressen angeben, die von Google Analytics ignoriert werden sollen.

Auch wenn diese Maßnahmen verhindern, dass einige Bots Analytics stören, werden sie nicht alle Bots stoppen. Zudem verfolgen die meisten schädlichen Bots ein Ziel und stören nicht nur die Traffic-Analytics, und diese Maßnahmen tragen keineswegs dazu bei, schädliche Bot-Aktivitäten außerhalb der Erhaltung von Analytics-Daten zu mindern.

Wie kann Bot-Traffic die Performance beeinträchtigen?

Das Senden großer Mengen an Bot-Traffic ist eine sehr verbreitete Methode für Angreifer, um einen DDoS-Angriff auszulösen. Bei einigen Arten von DDoS-Angriffen wird so viel Angriffs-Traffic auf eine Website geleitet, dass der Ursprungsserver überlastet und die Website langsam oder für echte Benutzer überhaupt nicht mehr verfügbar wird.

Wie kann Bot-Traffic das Geschäft beeinträchtigen?

Einige Websites können durch böswilligen Bot-Traffic finanziell beeinträchtigt werden, selbst wenn ihre Performance davon nicht betroffen ist. Websites, die auf Werbung angewiesen sind, und Websites, die Waren mit begrenztem Bestand verkaufen, sind besonders anfällig.

Für Websites, die Anzeigen schalten, können Bots, die auf der Website landen und auf verschiedene Elemente der Seite klicken, gefälschte Anzeigenklicks auslösen. Dies wird als Klickbetrug bezeichnet. Dies mag zunächst zu einem Anstieg der Werbeeinnahmen führen, doch Online-Werbenetzwerke können Bot-Klicks sehr gut erkennen. Wenn sie vermuten, dass auf einer Website Klickbetrug begangen wird, ergreifen sie Maßnahmen, meist in Form eines Verbots dieser Website und Verbannen des Eigentümers aus ihrem Netzwerk. Aus diesem Grund müssen Besitzer von Websites, die Anzeigen hosten, immer auf der Hut vor Bot-Klickbetrug sein.

Websites mit begrenztem Bestand können Ziel von Inventory Hoarding-Bots sein. Wie der Name schon sagt, besuchen diese Bots zu E-Commerce-Sites und legen haufenweise Waren in ihre Einkaufswagen, wodurch diese Waren für echte Käufer nicht erhältlich sind. In manchen Fällen kann dies auch zu einer unnötigen Aufstockung des Bestands von einem Lieferanten oder Hersteller führen. Die Inventory Hoarding-Bots kaufen nie etwas ein; sie sind einfach nur dazu bestimmt, die Verfügbarkeit des Bestands zu untergraben.

Viele Websites haben sich darauf verlassen, Originalinhalte zu erstellen, um Nutzer-Traffic anzuziehen und mit diesem Traffic Einnahmen zu generieren, manchmal durch Werbung. Der Anstieg der Nutzung von KI-Tools in den 2020er Jahren hat sich negativ auf solche Geschäftsmodelle ausgewirkt. KI-Tools nutzen Originalinhalte aus dem Internet, um ihre zugrunde liegenden Large Language Models (LLMs) zu trainieren, Suchindizes zur Verwendung in Verbindung mit diesen Modellen zu erstellen und Inhalte in Echtzeit als Reaktion auf Prompts abzurufen. Nutzer, die Antworten von LLMs erhalten, besuchen möglicherweise nie die Websites, auf deren Inhalt die Antwort basiert. KI-Crawler-Bots, die Originalinhalte beschaffen, können Website-Betreibern direkte Kosten verursachen, da sie viele Anfragen für Webseiten senden können.

Wie können Websites mit Bot-Traffic umgehen?

Der erste Schritt, um Bot-Traffic zu einer Website zu stoppen oder zu verwalten, besteht darin, dass ein Website-Administrator seine Präferenzen in einer robots.txt-Datei deklariert. Robots.txt-Dateien enthalten Anweisungen für Bots, welche die Seite durchsuchen, und sie können so konfiguriert werden, dass sie Bots anweisen, bestimmte Webseiten nicht zu besuchen oder mit ihnen zu interagieren. Es sollte jedoch beachtet werden, dass nur einige Bots die Regeln in robots.txt-Dateien einhalten; diese Dateien verhindern nicht wirklich, dass Bots Websites crawlen. Cloudflare bietet einen ausgeklügelten verwalteten robots.txt-Dienst, um Website-Administratoren dabei zu unterstützen, ihre Präferenzen den Crawler-Betreibern mitzuteilen.

Um den Traffic von KI-Crawler-Bots zu überwachen, sollten Website-Betreiber einen Dienst wie AI Audit von Cloudflare nutzen. Dieser Dienst ermöglicht es Website-Betreibern, entweder KI-Crawler zuzulassen oder zu blockieren (Blockieren bedeutet, dass die KI-Crawler zu keinem Zweck auf Inhalte zugreifen können). Die Pay-per-Crawl-Funktion von AI Audit ermöglicht es Website-Betreibern auch, Betreibern von KI-Bots Gebühren für das Crawlen zu berechnen, falls sie dies wünschen.

Eine Reihe weiterer Tools kann ebenfalls dazu beitragen, missbräuchlichen Bot-Traffic zu reduzieren. Eine Rate-Limiting-Lösung, wie das WAF-Produkt von Cloudflare, kann missbräuchlichen Bot-Traffic mit hohem Volumen, der von einer einzigen IP-Adresse ausgeht, erkennen und verhindern.

Netzwerktechniker können auch den Datenverkehr überprüfen und manuell verdächtige Netzwerkanfragen identifizieren, die von einem IP-Adressbereich ausgehen, sowie alle Anfragen von diesen IP-Adressen. Dies ist jedoch ein sehr arbeitsintensiver Prozess, und es ist unwahrscheinlich, dass er die Mehrheit des bösartigen Bot-Traffics stoppt, mit dem eine Website konfrontiert sein könnte.

Unabhängig von dem Rate Limiting und von direkten Eingriffen eines Technikers ist eine Bot-Management-Lösung der einfachste und wirksamste Weg zur Abwehr von schädlichem Bot-Traffic. Eine Bot-Management-Lösung kann Intelligenz und Verhaltensanalysen einsetzen, um böswillige Bots anzuhalten, bevor sie überhaupt eine Website erreichen. So nutzt z. B. Cloudflare Bot Management die Intelligenz von über 13 Millionen Internetwebsites und Webapplikationen und setzt maschinelles Lernen ein, um Bot-Missbrauch proaktiv zu erkennen und anzuhalten. Der Super Bot Fight Mode, der in den Tarifen Pro und Business verfügbar ist, bietet kleineren Unternehmen eine ähnliche Transparenz und Kontrolle über ihren Bot-Traffic.

FAQs

Was ist Bot-Traffic?

Bot-Traffic bezeichnet alle nicht-menschlichen Aktivitäten auf einer Website oder in einer Anwendung. Bot-Traffic ist nicht grundsätzlich gut oder schlecht; es hängt vom Zweck des Bots ab, wobei einige Bots für Dienste wie Suchmaschinen unverzichtbar sind, während andere böswillig sind.

Wie kann ich feststellen, ob meine Website Bot-Traffic erhält?

Sie können Bot-Traffic erkennen, indem Sie in Ihren Website-Analysen nach Auffälligkeiten suchen. Wichtige Anzeichen sind ungewöhnlich hohe Seitenaufrufe oder Absprungraten, plötzliche Änderungen der Sitzungsdauer, eine Zunahme von Junk-Konversionen oder ein plötzlicher Anstieg des Traffics aus einem unerwarteten geografischen Gebiet.

Sind alle Bots schädlich?

Einige Bots sind nützlich und sogar unverzichtbar. Beispielsweise sind Suchmaschinen-Bots (auch Spider oder Crawler genannt) notwendig, damit eine Website indexiert wird und in den Suchergebnissen erscheint. Böswillige Bots können jedoch schädliche Aktionen ausführen, wie z. B. das Extrahieren von Daten (Data Scraping), das Ausfüllen von Anmeldeinformationen (Credential Stuffing) und das Ausführen von DDoS-Angriffen.

Wie kann sich Bot-Traffic negativ auf meine Website auswirken?

Böswilliger Bot-Traffic kann Ihrer Website in mehrfacher Hinsicht schaden. Er kann Ihre Analysen verfälschen und die Performance-Messung erschweren. Böswillige Bots können auch die Performance Ihrer Website beeinträchtigen, indem sie Ihren Server überlasten. Im geschäftlichen Bereich können Bots Klickbetrug bei Anzeigen begehen oder Bestände von E-Commerce-Websites horten und so den Verkauf beeinträchtigen.

Wie kann ich den Bot-Traffic auf meiner Website verwalten?

Ein erster Schritt ist die Verwendung einer robots.txt-Datei, um Bots Anweisungen zu geben. Dies ist jedoch keine narrensichere Methode, da böswillige Bots diese ignorieren. Zu den effektiveren Tools gehören Rate Limiting, um Traffic mit hohem Volumen zu blockieren, und – was am effektivsten ist – eine spezielle Bot-Management-Lösung, die maschinelles Lernen und Verhaltensanalysen nutzt, um zwischen vertrauenswürdigen und schädlichen Bots zu unterscheiden.

Was ist eine Datei robots.txt?

Eine robots.txt-Datei besteht aus einer Reihe von Anweisungen für Bots, die Ihre Website besuchen. In dieser Datei können Sie Regeln festlegen, z. B. welche Seiten Bots nicht durchsuchen dürfen. Vertrauenswürdige Bots halten sich an diese Regeln, viele schädliche Bots jedoch nicht.