Was ist der LinerBot?
Der LinerBot ist der offizielle Web-Crawler des Unternehmens Liner, Inc. Er hat die Aufgabe, das Internet zu durchsuchen und große Mengen an Daten zu sammeln. Diese Daten dienen als Grundlage für die KI-gestützten Funktionen von „Liner“, einem Dienst, der als persönlicher KI-Arbeitsbereich und Recherche-Assistent beworben wird. Der Bot sammelt also die Inhalte fremder Webseiten, um die Fragen der Liner-Nutzer zu beantworten und deren KI-Modelle zu trainieren. Ähnlich wie der Bytespider ist der LinerBot für sein extrem hohes Anfragevolumen bekannt.
Arbeitsweise
Der LinerBot arbeitet als aggressiver, systematischer Crawler, der Webseiten mit einer sehr hohen Frequenz besucht. Viele Webseitenbetreiber berichten, dass der Bot in kurzer Zeit Hunderttausende oder sogar Millionen von Anfragen an ihre Server sendet. Dieses Verhalten kann die Serverressourcen erheblich belasten und im schlimmsten Fall die Erreichbarkeit der Webseite für echte menschliche Besucher beeinträchtigen.
Der Crawler identifiziert sich mit dem folgenden User-Agent-String:
Mozilla/5.0 (compatible; LinerBot/1.0; +https://getliner.com/liner-bot)
Der LinerBot respektiert in der Regel die Anweisungen in der robots.txt-Datei, sodass eine Blockade über diesen Weg meistens wirksam ist.

Über den Autor
