Einen einfachen Web Crawler in PHP erstellen

Web-Scraping ist ein nützliches Verfahren, das es ermöglicht, Daten von einer Website zu extrahieren und zu analysieren. Mit PHP kann man dieses Verfahren einfach und schnell durchführen. In diesem Artikel werden wir die Grundlagen des Web Scraping mit PHP erläutern.

Was ist Web Scraping?

Web-Scraping ist der Prozess, bei dem Daten von einer Website extrahiert werden, um sie für eine weitere Analyse oder Verwendung zu verwenden. Es ist ein automatisierter Prozess, der mithilfe von Skripten oder Programmen durchgeführt wird. Ein Web-Scraper durchsucht eine Website nach bestimmten Daten, die für den Benutzer von Interesse sind. Diese Daten können beispielsweise Preise, Produktinformationen oder Kontaktdaten sein.

Warum Web-Scraping mit PHP?

PHP ist eine serverseitige Skriptsprache, die für die Erstellung von dynamischen Webanwendungen verwendet wird. Es ist einfach zu erlernen und zu verwenden und hat eine große Anzahl von Bibliotheken und Erweiterungen, die für das Web-Scraping nützlich sind. Außerdem ist PHP plattformunabhängig und läuft auf fast allen Betriebssystemen. Es ist auch eine der am weitesten verbreiteten Programmiersprachen für das Web.

Schrittweise Anleitung für Web-Scraping mit PHP

Schritt 1: Analysieren Sie die Website und identifizieren Sie die zu extrahierenden Daten.

Bevor Sie mit dem Web-Scraping beginnen, müssen Sie die Website analysieren und die zu extrahierenden Daten identifizieren. Sie können das HTML der Website verwenden, um die Struktur und den Inhalt der Website zu verstehen.

Schritt 2: Verwenden Sie eine Bibliothek für das Web-Scraping.

Es gibt verschiedene Bibliotheken und Tools, die für das Web-Scraping mit PHP verfügbar sind. Einige der gängigsten Bibliotheken sind:

cURL: Eine Bibliothek für die Übertragung von Daten zwischen Servern und Clients.
Simple HTML DOM: Eine Bibliothek zum Durchsuchen von HTML-Dokumenten.
Goutte: Eine Bibliothek für das Web-Scraping mit dem Symfony-Framework.
php-webdriver: Eine Bibliothek für das Web-Scraping von Webanwendungen.

Schritt 3: Laden Sie die Website.

Nachdem Sie die Bibliothek ausgewählt haben, die Sie verwenden möchten, müssen Sie die Website laden. Hier ist ein Beispielcode, der die Simple HTML DOM-Bibliothek verwendet, um die Website zu laden:

<?php
include_once('simple_html_dom.php');
$html = file_get_html('http://example.com/');
?>

Schritt 4: Extrahieren Sie die Daten.

Nachdem Sie die Website geladen haben, können Sie die Bibliothek verwenden, um die Daten zu extrahieren. Hier ist ein Beispielcode, der den Titel der Website extrahiert:

<?php
include_once('simple_html_dom.php');
$html = file_get_html('http://example.com/');
$title = $html->find('title', 0)->plaintext;
echo$title;
?>

Schritt 5: Verarbeiten Sie die Daten.

Nachdem Sie die Daten extrahiert haben, können Sie sie für weitere Analysen oder Verwendungen verarbeiten. Hier ist ein Beispielcode, der die Website-Titel in eine Textdatei schreibt:

<?php
include_once('simple_html_dom.php');
$html = file_get_html('http://example.com/');
$title = $html->find('title', 0)->plaintext;
$file = fopen('website_title.txt', 'w');
fwrite($file, $title);
fclose($file);
?>

Dieser Code öffnet eine Textdatei namens “website_title.txt”, schreibt den extrahierten Titel der Website hinein und schließt die Datei.

Beispielcode:Produktdaten von Amazon scrapen

Ein Beispiel für die Anwendung von PHP beim Web Scraping ist das Extrahieren von Produktinformationen von einer E-Commerce-Website wie Amazon. Mit PHP können Sie die Website durchsuchen, die Produktinformationen extrahieren und in einer Datenbank speichern.

Hier ist ein Beispielcode, der die Simple HTML DOM-Bibliothek verwendet, um den Produkttitel, den Preis und die Produktbeschreibung von einer Amazon-Produktseite zu extrahieren:

<?php
include_once('simple_html_dom.php');
$url = 'https://www.amazon.com/dp/B08HJJQF8Z'; // Amazon-Produktseite-URL
$html = file_get_html($url);
// Extrahieren des Produkttitels
$title = $html->find('#productTitle', 0)->plaintext;
$title = trim($title);
// Extrahieren des Preises
$price = $html->find('#priceblock_ourprice', 0)->plaintext;
$price = preg_replace('/[^0-9.]+/', '', $price);
// Extrahieren der Produktbeschreibung
$description = $html->find('#productDescription', 0)->plaintext;
$description = trim($description);
// Speichern der extrahierten Daten in einer Datenbank
$servername = "localhost";
$username = "username";
$password = "password";
$dbname = "database_name";
$conn = mysqli_connect($servername, $username, $password, $dbname);
$sql = "INSERT INTO products (title, price, description)
VALUES ('$title', '$price', '$description')";
mysqli_query($conn, $sql);
mysqli_close($conn);
?>

Alternative: Web Scraping ohne Programmierung

Wie bereits erwähnt, ist PHP nur ein Werkzeug, das bei der Erstellung eines Webcrawlers verwendet wird. Computersprachen wie Python und JavaScript sind ebenfalls gute Werkzeuge für diejenigen, die mit ihnen vertraut sind. Heutzutage, mit der Entwicklung der Web-Scraping-Technologie, tauchen immer mehr Web-Scraping-Tools wie Octoparse, Beautiful Soup, Import.io und Parsehub usw. auf. Sie vereinfachen den Prozess der Erstellung eines Web-Crawlers.

Mit Octoparse stehen Ihnen über 100 benutzerfreundliche Vorlagen zur Verfügung, um Daten schnell und einfach zu extrahieren. Darüber hinaus ermöglicht Ihnen die Octoparse-Vorlage die gezielte Extraktion der gewünschten Daten auf einfache Weise. Die Benutzerfreundlichkeit der Octoparse-Vorlage ist besonders hervorzuheben! Über 30.000 Nutzer verwenden die Vorlagen.

https://www.octoparse.de/template/contact-details-scraper

Hier bekommen Sie Octoparse! 🤩

Preis: $0~$249 pro Monat

Packet & Preise: Octoparse Premium-Preise & Verpackung

Kostenlose Testversion: 14-tägige kostenlose Testversion

Herunterladen: Octoparse für Windows und MacOs

Wenn Sie Probleme bei der Datenextraktion haben, oder uns etwas Vorschlägen geben möchten, kontaktieren Sie bitte uns per E-Mail (support@octoparse.com). 💬

Autor*in: Das Octoparse Team ❤️