Alle Kollektionen
Octoparse Performance
Pagination Einstellung
Umgang mit Scrollen (Unendliches Scrollen)
Umgang mit Scrollen (Unendliches Scrollen)
Vor über einer Woche aktualisiert

Endloses Scrollen ist eine Technik, die am häufigsten von Websites mit JavaScript oder AJAX verwendet wird, um Inhalte dynamisch zu laden.

Wenn Sie die Seiten nach unten ziehen, sehen Sie normalerweise das Zeichen „Laden“, und die neuen Inhalte werden bald in die Seite eingefügt:

loading

Ähnlich, wie Sie die Seite manuell nach unten scrollen, kann Octoparse mit den richtigen Einstellungen das machen. Sie brauchen nur Octoparse mitzuteilen, welche Seite gescrollt werden soll, wie oft die gescrollt werden soll und wie lange Octoparse zwischen den beiden Scrollvorgängen warten soll.

In diesem Tutorial zeigen wir Ihnen, wie Sie mit der Website mit endlosem Scrollen in Octoparse umgehen sollen.

Sie können zum Üben die URL des Beispiels verwenden:

Notiz: Dieses Tutorial richtet sich nur gegen das Scrollen der ganzen Seite. Wenn Sie nur einen bestimmten Bereich der Seite scrollen müssen, schauen Sie bitte dieses Tutorial an: Daten Scraping mit Web-Scrollen.


Methode 1: Verwendung der automatischer Datenerfassungsfunktion

  • Schritt 1: Selektieren Sie „Daten der Webseite automatisch detektieren“ in der Tipps-Platte.

  • Schritt 2: Modifizieren Sie die Einstellungen des Scrollen.

    Prozess 1: Klicken Sie auf „Bearbeiten“ unter „Seitenblättern hinzufügen“, und dann stellen Sie diese Optionen wie nötig ein: Scroll-Methode, wiederholende Anzahl und Wartezeit.

    Prozess 2: Klicken Sie auf „Bestätigen“, um die Einstellungen zu speichern.

Tipps

1. Scrollen bis zum Ende der Seite: Octoparse wird direkt nach unten scrollen, ohne in der Mitte der Seite anzuhalten. Es wird Ihnen helfen, wenn Sie nur benötigen, nach unten zu scrollen und alle Items oder Elemente zu laden.

2. Scrollen nur einen Bildschirm: Octoparse würde jedes Mal nur für einen Bildschirm blättern. Ziehen Sie diese Option in Betracht, wenn die Seite Inhalte lädt, während Sie kontinuierlich nach unten scrollen.

(Scrollen nur einen Bildschirm kann für alle Websites verwendet werden, während Scrollen bis zum Ende der Seite bei einigen Websites nicht funktioniert.)

3. Geben Sie eine Zahl für Wiederholungen ein, welche die Anzahl der Male ist, die Sie Scroll-down (z. B. Die Anzahl des Scrollen) wiederholen möchten. Vermutlich möchten Sie zuerst die Ziel-Webseite manuell scrollen, einfach um zu finden, wie viele Schriftrollen Sie brauchen, damit alle erforderten Informationen geladen sind.

4. Selektieren Sie eine geeignete Wartezeit zwischen allen zwei Scrollvorgängen. Sie könnten die längere Wartezeit für die Seite auswählen, die mehr Zeit zu laden brauchen.

  • Schritt 3: Erstellen Sie einen Workflow mit den Einstellungen.

Sie würden einen Workflow wie folgendes Bild erhalten:

  • Schritt 4: Klicken Sie auf „Seite scrollen“, um die Einstellungen des Scrollen weiter zu bearbeiten oder modifizieren.

Seite prüfen

Notiz: Stellen Sie sicher, dass Sie ausreichend lange Scrollzeiten und angemessene Intervalle zwischen zwei Scrollvorgängen einrichten.

  • Schritt 5: Überprüfen Sie, ob die erstellte Schleife alle Elemente lokalisieren könnte.

Sie können zu den Einstellungen des Schleifenelementes gehen, um zu sehen, ob alle Elemente lokalisiert werden. Natürlich sollen Sie auch es sicherstellen, dass das Schleifenmodus die Variable Liste mit dem richtigen XPath ist.


Methode 2: Manuelle Erstellung eines unendlosen Scrollen

Sie können einen Scrollvorgang von „Zur Webseite“ oder „Klick Item“ einstellen. Oder fügen Sie ein neue Schleife hinzu, um nach unten zu scrollen.

  • Schritt 1: Klicken Sie auf das Item und dann auf „Alle ähnlichen Elemente wählen“, danach klicken Sie auf „Schleife klicken“.

Die erstellte Schleife würde auf jede Produkt-URL klicken, um die Daten zu erhalten.

  • Schritt 2: Stellen Sie einen Schritt „Nach Unten Scrollen“ ein.

    • Klicken Sie auf die Aktion „Zur Webseite“, um auf das Einstellungsmenü zuzugreifen.

    • Finden Sie den Bereich „Scrollen Sie die Seite nach unten, nachdem sie geladen wird“ unter „Optionen“.

  • Alternativ können Sie den Scrollen-Schritt mit einer Schleife einrichten (als ein separater Schritt).

    • Fügen Sie eine Schleife im Workflow hinzu und wählen Sie den Schleifenmodus als „Seite scrollen“.

    • Ziehen Sie dann die ursprüngliche Schleife in Scrollen.

  • Schritt 3: Klicken Sie das ursprüngliche Schleifenelement an, und dann wählen Sie den Modus davon als „Variable Liste“.

  • Schritt 4: Verwenden Sie bitte diesen Matching-XPath für diese Schleife: //h3[@class="wd-entities-title"]/a

  • Schritt 5: Klicken Sie wieder auf den Schritt „Element anklicken“, um in die Detailseite zurückzukehren und dann weiter Infos zu scrapen.

  • Schritt 6: Scrapen Sie alle gewünschten Daten.

Notiz: Erfahren Sie mehr über Erstellung des Scrollen und Schleifenelement.

Hat dies Ihre Frage beantwortet?