Webscraping User-Agent

Informationen zum Besuch des User-Agents „Mozilla/5.0 (compatible; StatistikHessen, Web Scraping Policy: https://statistik.hessen.de/ua)“ auf Ihrer Seite

In Ihren Log-Dateien finden Sie Hinweise auf einen User-Agent „Mozilla/5.0 (compatible; StatistikHessen, Web Scraping Policy: https://statistik.hessen.de/ua)“, der eine oder mehrere Seiten abgerufen hat und dabei den Link zu dieser Seite hinterlassen hat? Hier erhalten Sie u. a. Informationen zu den Fragen, von wo dieser User-Agent stammt, wer diesen User-Agent betreibt und was dieser User-Agent auf Ihrer Seite gemacht hat.

Inhalt

Von wo stammt dieser User-Agent?

„Mozilla/5.0 (compatible; StatistikHessen, Web Scraping Policy: https: //statistik.hessen.de/ua)“ ist der sogenannte User-Agent-String eines Computerprogramms des Hessischen Statistischen Landesamtes, das automatisch URLs aufruft, den Quelltext der Seiten abruft, verarbeitet und ggf. speichert.

Dieses Computerprogramm verhält sich dabei im Grunde wie eine Person, die einen Browser benutzt und auf Ihrer Internetseite surft, um dort die Informationen zu lesen oder Dienste zu nutzen, die Sie dort bereitstellen für alle Personen, die die URL zu dieser Seite ebenfalls kennen oder z. B. über eine Suchmaschine gefunden haben.

Ist dieses Computerprogramm gefährlich für meinen Webserver oder für andere Personen, die meine Seite besuchen/nutzen?

Nein. Das Computerprogramm, das diesen Eintrag in Ihren Log-Dateien hinterlässt, stellt keine Gefahr dar, weder für Ihren Webserver noch für andere Nutzende Ihrer Internetseite. Die durch das Computerprogramm verursachte Serverlast unterscheidet sich nicht von einer Nutzung durch eine Person/einen normalen Browser. D.h., dass auch andere Personen in der Nutzung Ihrer Internetseite nicht eingeschränkt werden.

Der Aufruf der Internetseiten über das Computerprogramm findet möglichst zu Zeiten statt, zu denen mutmaßlich eher wenige Zugriffe auf Ihre Seite stattfinden (z. B. vor allem nachts), um Einschränkungen anderer Personen beim Besuch Ihrer Seite von vorneherein zu vermeiden.

Zwischen einzelnen Kontaktversuchen zum Server Ihrer Internetseite werden zudem kurze Pausen eingefügt. Das Computerprogramm verschafft sich keinen Zugang zu Informationen, die jeder anderen Person nicht ebenfalls zugänglich wäre, die die URL der Internetseite kennt. D.h. das Computerprogramm umgeht keinerlei Zugangssperren (z. B. sog. Captchas o.Ä.) und respektiert Vorgaben einer robots.txt, sofern vorhanden und zutreffend.

Was macht das Computerprogramm auf meiner Seite?

Das Computerprogramm besucht Ihre Internetseite wie eine Person, die über einen Browser Ihre Internetseite aufruft. Dabei wird der Quelltext der Internetseite übertragen. Dieser Quelltext wird temporär gespeichert und nach bestimmten Angaben durchsucht und ggf. Angaben auf der Interseite extrahiert. Diese Angaben werden für Auswertungszwecke gespeichert.

Das Computerprogramm analysiert den Quelltext der Internetseite, um zielgerichtet nur die notwendige Information herunterzuladen.

Beim Aufruf Ihrer Internetseite sorgt das Computerprogramm dafür, durch einen eindeutigen User-Agent-String einen Hinweis auf seinen Ursprung, das Hessische Statistische Landesamt, in den Log-Dateien Ihres Servers zu hinterlassen.

Warum besucht das Computerprogramm ausgerechnet meine Seite?

Das Hessische Statistische Landesamt führt verschiedene Tests zur automatisierten Datenerhebung im Internet für Zwecke der Wirtschaftsstatistik durch, verbunden mit den Zielen, Unternehmen und Betriebe, die der amtlichen Statistik Auskunft geben, ggf. in Zukunft zu entlasten oder vorhandene Erhebungen zu ergänzen, ohne das eine Belastung der Auskunftspflichtigen entsteht. Um zu überprüfen, ob Informationen aus dem Internet geeignete Datenquellen darstellen, führt das Hessische Statistische Landesamt verschiedene technische Tests seiner Software an verschiedenen Internetseiten durch. Automatische Datenerhebung im Internet ist noch nicht im Regelbetrieb der amtlichen Statistik verankert. Dass in Ihren Server-Logdateien der User-Agent-String mit dem Verweis auf das Hessische Statistische Landesamt auftaucht, ist daher im Moment Zufall.

„Dürfen die das?“ Kann ich verhindern, dass das Computerprogramm meine Seiten besucht?

Nach § 5 Abs. 5 Satz 2 Bundesstatistikgesetz (BStatG) dürfen die statistischen Ämter Daten aus „allgemein zugänglichen Quellen“ auch ohne Gesetz oder Rechtsverordnung erheben. Zur Pflege und Führung des Statistikregisters dürfen zudem gemäß § 13 Abs. 2 Satz 4 BStatG Angaben aus allgemein zugänglichen Quellen verwendet werden.

https://www.gesetze-im-internet.de/bstatg_1987/

Das Computerprogramm verschafft sich beim Aufruf Ihrer Internetseite keinen Zugang zu Informationen, die jeder anderen Person nicht ebenfalls zugänglich wäre, die die URL der Internetseite kennt. D.h. das Computerprogramm umgeht keinerlei Zugangssperren (z.B. sog. Captchas o. Ä.) und respektiert Vorgaben einer robots.txt-Datei, sofern vorhanden und zutreffend.

Das Computerprogramm des Hessischen Statistischen Landesamtes weist sich mit dem User-Agent-String „Mozilla/5.0 (compatible; StatistikHessen, Web Scraping Policy: https: //statistik.hessen.de/ua)“ aus.

Weitere Informationen

Die amtliche Statistik in Deutschland untersucht verstärkt neue Datenquellen und Wege der Datenerhebung zur Erfüllung ihrer gesetzlichen Aufgaben, um Belastungen für auskunftgebende Personen und Betriebe zu reduzieren. Dazu gehört die Datenerhebung über das Internet aus allgemein zugänglichen Quellen.

Die erhobenen Daten werden solange gespeichert, wie sie für statistische Zwecke benötigt werden. Eine Weitergabe der Daten an Dritte erfolgt nicht. Betroffenen steht ein Recht auf Auskunft zu. Sollten die Daten unrichtig sein, kann unverzüglich Berichtigung verlangt werden. Die Datenschutzaufsichtsbehörde des HSL ist der Hessische Beauftragte für Datenschutz und Informationsfreiheit, an den Sie sich im Beschwerdefall richten können. Kontakt: Hessischer Beauftragter für Datenschutz und Informationsfreiheit, Gustav-Stresemann-Ring 1, 65189 Wiesbaden, Telefon: 0611-14080, https://datenschutz.hessen.de/

Wenn Sie sich näher mit dem Thema „automatisierte Datenerhebung im Internet“ beschäftigen wollen:

Kontakt

Bei Fragen wenden Sie sich gerne an das Hessische Statistische Landesamt:

Hessisches Statistisches Landesamt, Wiesbaden
https://statistik.hessen.de

Ansprechpersonen sind:

Herr Normen Peters
E-Mail: normen.peters@statistik.hessen.de oder
Herr Patrik Vollmer
E-Mail: patrik.vollmer@statistik.hessen.de

Beauftragte Person für Neue Digitale Daten: Herr Patrik Vollmer
E-Mail: patrik.vollmer@statistik.hessen.de

Beauftragte Person für Datenschutz: Herr Dr. Siniša Begenišić
E-Mail: datenschutzbeauftragter@statistik.hessen.de

Sprechen Sie uns an

Inhaltlich verantwortlich:

Normen Peters
0611 3802-517
E-Mail

Patrik Vollmer
0611 3802-552
E-Mail

Wir sind gerne für Sie da.