Ist Web-Scraping überhaupt legal?

Wir müssen über Cloudflare sprechen…

Google als Beispiel:

Einer der größten Web-Scraper der Welt ist Google. Das Unternehmen begann mit Web-Scraping von Internetdaten und baute darauf eine Suchmaschine auf. Sie sammeln öffentliche Internetdaten, speichern sie, verarbeiten sie und zeigen sie auf ihrer eigenen Website mit einem Original-Link zurück zur Quelle. Ist das legal?

Was sind öffentliche Daten?

Eine Website ohne Authentifizierung wird als öffentliche Daten betrachtet – jemand veröffentlicht die Daten im Internet zur öffentlichen Nutzung. Wenn die Daten nicht öffentlich sind, fügen sie eine Benutzerregistrierung mit allgemeinen Bedingungen zur Datennutzung hinzu.

Texte und Bilder sind oft urheberrechtlich geschützt. Wenn Sie diese scrapen und eins-zu-eins auf Ihrer eigenen Website kopieren, sollten Sie diese Daten als Zitat behandeln und einen Link zur ursprünglichen Website einfügen. Allerdings interessieren sich die meisten unserer Kunden für sachliche Produktinformationen wie Spezifikationen, Preise, Entwicklungen oder SEO. Diese Art von Daten können perfekt mit Web-Scraping gesammelt werden.

Lokale Gesetze:

Wir haben es auch mit lokalen Vorschriften zu tun, wie in der EU mit der DSGVO. Wir dürfen nur nicht-personenbezogene Daten scrapen. Wenn wir personenbezogene Informationen scrapen möchten, benötigen wir die Genehmigung der Person, deren personenbezogene Daten es sind. Wir dürfen diese Art von Daten nicht sammeln. Daher bitten wir Sie, uns nicht zu bitten, Daten von Facebook zu scrapen, da wir das nicht tun werden.

Allgemeine Geschäftsbedingungen und Daten hinter einem Login:

Allgemeine Bedingungen müssen auf persönlicher Ebene akzeptiert werden, was bedeutet, dass Sie registrieren müssen, dass der Benutzer den Bedingungen zugestimmt hat und seinen Namen dokumentieren. Dies geschieht normalerweise, wenn Sie ein Konto erstellen. Manchmal fragen uns Kunden, ob wir Daten hinter einem Login sammeln können. Technisch können wir das tun, aber dann müssen wir zuerst die Bedingungen überprüfen und die Genehmigung der Website einholen, von der wir Informationen sammeln.

Schutz gegen Scraping:

Wie gehen wir mit dem Schutz gegen Scraping um? Viele Websites haben Erkennung für Scraper und machen ihre Daten schwer zu scrapen. Es sind jedoch immer noch öffentliche Daten, und Sie dürfen diese sammeln. Man könnte sogar argumentieren, dass es ein unlauterer Wettbewerb ist, weil diese Websites ihre Daten kostenlos an Google weitergeben (ohne Schutz), aber nicht an andere Scraper. Trotzdem ist es für uns immer noch legal erlaubt, diese Daten zu sammeln, und wir haben fortgeschrittene Technologie, um dies zu tun.

Wie wir Daten legal sammeln:

– Wir halten unsere Datensammlung in Einklang mit der DSGVO. – Wir überlasten Websites nicht; im Allgemeinen machen wir nicht mehr als 1 Anfrage alle 5 Sekunden. – Wir haben eine Ethikkommission, die jede Aufgabe basierend auf Anforderungen validiert, die strenger sind als gesetzlich erlaubt.