Lesezeit ca. 6 Min.
arrow_back

Scraping von Webseiten trotz Reactive Design und dynamischer Inhalte: Blick unter die Haube


Logo von Linux Magazin
Linux Magazin - epaper ⋅ Ausgabe 3/2020 vom 06.02.2020

Screen-Scraper scheitern mit ihrer Aufgabe oft an komplexen Webseiten. Mike Schilli steuert deshalb den Chrome-Browser mittels des DevTools-Protokolls fern und entlockt mit dieser Methode selbst hochgradig dynamischen Webseiten ihre Daten. Mike Schilli


Vorbei sind die Zeiten, in denen Hobbyisten einfach schnell mit Curl und Konsorten Webseiten herunterladen konnten, um deren Inhalt maschinell weiterzuverarbeiten. Moderne Webauftritte wimmeln nur so von Reactive Design und dynamischen Inhalten, die nur zum Vorschein kommen, wenn ein echter Webbrowser mit eingeschaltetem Javascript darauf zeigt. ...

Weiterlesen
epaper-Einzelheft 5,99€
NEWS Jetzt gratis testen
Bereits gekauft?Anmelden & Lesen
Leseprobe: Abdruck mit freundlicher Genehmigung von Linux Magazin. Alle Rechte vorbehalten.
Lesen Sie jetzt diesen Artikel und viele weitere spannende Reportagen, Interviews, Hintergrundberichte, Kommentare und mehr aus über 1350 Magazinen und Zeitungen. Mit der Zeitschriften-Flatrate NEWS von United Kiosk können Sie nicht nur in den aktuellen Ausgaben, sondern auch in Sonderheften und im umfassenden Archiv der Titel stöbern und nach Ihren Themen und Interessensgebieten suchen. Neben der großen Auswahl und dem einfachen Zugriff auf das aktuelle Wissen der Welt profitieren Sie unter anderem von diesen fünf Vorteilen:

  • Schwerpunkt auf deutschsprachige Magazine
  • Papier sparen & Umwelt schonen
  • Nur bei uns: Leselisten (wie Playlists)
  • Zertifizierte Sicherheit
  • Freundlicher Service
Erfahren Sie hier mehr über United Kiosk NEWS.

Mehr aus dieser Ausgabe

Titelbild der Ausgabe 3/2020 von Für und Wider. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Für und Wider
Titelbild der Ausgabe 3/2020 von News. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
News
Titelbild der Ausgabe 3/2020 von Zahlen & Trends. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Zahlen & Trends
Titelbild der Ausgabe 3/2020 von Weshalb Edge Computing nötig und wie es realisierbar ist: Rechnen im Außendienst. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Weshalb Edge Computing nötig und wie es realisierbar ist: Rechnen im Außendienst
Mehr Lesetipps
Blättern im Magazin
Simples API mit Go und GraphQL: Hübsch portioniert
Vorheriger Artikel
Simples API mit Go und GraphQL: Hübsch portioniert
Vorschau 04/2020
Nächster Artikel
Vorschau 04/2020
Mehr Lesetipps