Definition von Web Spidering und Web Crawlers

Spider sind Programme (oder automatisierte Skripts), die das Web durchsuchen und nach Daten suchen. Spiders gehen durch Webseiten-URLs und können Daten von Webseiten wie E-Mail-Adressen abrufen. Spider werden auch verwendet, um Informationen auf Websites an Suchmaschinen zu liefern.

Spider, die auch als "Webcrawler" bezeichnet werden, durchsuchen das Web und nicht alle sind in ihrer Absicht freundlich.

Spammer Spider-Websites zum Sammeln von Informationen

Google, Yahoo! und andere Suchmaschinen sind nicht die einzigen, die sich für das Crawlen von Websites interessieren - ebenso wie Betrüger und Spammer.

Spider und andere automatisierte Tools werden von Spammern verwendet, um E-Mail-Adressen zu finden (im Internet wird dies häufig als "Harvesting" bezeichnet) auf Websites und dann zum Erstellen von Spam-Listen.

Spiders sind auch ein Werkzeug, das von Suchmaschinen verwendet wird, um mehr Informationen über Ihre Website zu erfahren. Wenn Sie jedoch keine Option auswählen, kann eine Website ohne Anweisungen (oder "Berechtigungen") zum Crawlen Ihrer Website ein erhebliches Risiko für die Informationssicherheit darstellen. Spiders reisen mit folgenden Links und sind sehr geschickt darin, Links zu Datenbanken, Programmdateien und anderen Informationen zu finden, auf die sie möglicherweise keinen Zugriff haben.

Webmaster können Protokolle anzeigen, um zu sehen, welche Spider und andere Roboter ihre Websites besucht haben. Diese Informationen helfen Webmastern dabei, zu wissen, wer wie oft ihre Website indiziert.

Diese Informationen sind nützlich, da Webmaster es ihnen ermöglichen, ihre SEO- und Update-Dateien robot.txt zu optimieren, um zu verhindern, dass bestimmte Roboter in der Zukunft ihre Website crawlen.

Tipps zum Schutz Ihrer Website vor unerwünschten Roboter-Crawlern

Es gibt eine recht einfache Möglichkeit, unerwünschte Crawler von Ihrer Website fernzuhalten. Selbst wenn Sie sich keine Sorgen darüber machen, dass bösartige Spider Ihre Website durchsuchen (die Verschleierung der E-Mail-Adresse schützt Sie nicht vor den meisten Crawlern), müssen Sie dennoch wichtige Anweisungen für Suchmaschinen bereitstellen.

Alle Websites sollten über eine Datei im Stammverzeichnis verfügen, die als robots.txt-Datei bezeichnet wird. Mit dieser Datei können Sie Web-Crawler anweisen, wo sie nach Indexseiten suchen sollen (sofern in den Metadaten einer bestimmten Seite nicht anders angegeben, um nicht indiziert zu sein), falls es sich um eine Suchmaschine handelt.

So wie Sie gewünschten Crawlern sagen können, wohin sie navigieren sollen, können Sie ihnen auch sagen, wohin sie nicht gehen können, und sogar bestimmte Crawler Ihrer gesamten Website blockieren.

Es ist wichtig zu bedenken, dass eine gut zusammengestellte robots.txt-Datei für Suchmaschinen von enormem Wert sein kann und sogar ein Schlüsselelement für die Verbesserung der Leistung Ihrer Website sein kann. Einige Roboter-Crawler ignorieren Ihre Anweisungen jedoch weiterhin. Aus diesem Grund ist es wichtig, alle Ihre Software, Plugins und Apps jederzeit auf dem neuesten Stand zu halten.

Verwandte Artikel und Informationen

Aufgrund der weit verbreiteten Verbreitung von Informationen zu schädlichen (Spam-) Zwecken wurde im Jahr 2003 ein Gesetz erlassen, das bestimmte Praktiken illegal macht. Diese Verbraucherschutzgesetze fallen unter das CAN-SPAM Act von 2003.

Es ist wichtig, dass Sie sich die Zeit nehmen, sich über das CAN-SPAM-Gesetz zu informieren, wenn Ihr Unternehmen Massenmails oder Informationsbeschaffung durchführt.

Weitere Informationen zu Anti-Spam-Gesetzen und zum Umgang mit Spammern finden Sie in den folgenden Artikeln:

• CAN-SPAM Act 2003
• CAN-SPAM Act-Regeln für gemeinnützige Organisationen
• 5 CAN-SPAM-Regeln Kleinunternehmer müssen verstehen