Einrichtung von IP-Proxys
Vor über einer Woche aktualisiert

Sie folgen jetzt einem Tutorial für die neueste Version von Octoparse. Wenn Sie zur Zeit eine ältere Version verwenden, empfehlen wir Ihnen kräftig es, ein Upgrade zu machen, weil sie schneller, leichter und stärker ist! Herunterladen und Installierung eines Upgrades hier, wenn Sie nicht so bereits machen!

Wenn Sie auf eines der folgenden Probleme gestoßen sind, sollten Sie versuchen, IP-Proxys manuell in Octoparse einzurichten:

  • Es ist nicht möglich, sich bei Octotoparse anzumelden, weil Ihr Unternehmen oder Ihre Institution ein Intranet verwendet und externe Anfragen einschränkt

  • Die Ziel-Webseiten reagiert sehr empfindlich auf Web Scraping und setzt Anti-Scraping-Strategien wie IP-Sperren ein, um Scraping zu unterbinden

In diesem Tutorial zeigen wir Ihnen, wie Sie Proxys mit der neuesten Version einrichten, um die oben genannten Probleme zu lösen.


Möglichkeit 1: Verwendung von Proxy, um sich bei Octoparse anzumelden (nur für Anmeldeprobleme)

Dies ist für Benutzer gedacht, deren Unternehmen externe Anfragen einschränkt. Die Proxy-Einstellung in der Anmeldeschnittstelle wird nur während des Anmeldevorgangs und NICHT bei der Aufgabenbearbeitung oder beim Scraping angewendet.

  • Schritt 1: Klicken Sie auf den Einstellung-Button in der Anmeldungsplatte.

  • Schritt 2: Wählen Sie „Manuelle Proxy-Konfigurationen“ und geben Sie die IP-Adresse und das Port ein.

  • Schritt 3: Sie können die Verbindungprüfen, um anzuschauen, ob sie funktioniert. Dann drücken Sie „Bestätigung“ zur Speicherung der Einstellungen.


Möglichkeit 2: Wechseln externes Proxyservers, um der IP-Blockierung entgegenzuwirken

Octoparse Cloud-IPs sind Rechenzentrums-IPs, die blockiert werden können. Wenn eine Website Ihre IP oder unsere Cloud blockiert, können Sie in den Aufgabeneinstellungen einen IP-Proxy einrichten. Sie können Ihre eigenen IP-Proxys oder die in Octoparse integrierten Proxys verwenden.

Die Proxy-Einstellung wird nur angewendet, während die Aufgabe läuft, und nicht angewendet, während Sie die Aufgabe bearbeiten.

2.1 Einrichtung der in Octoparse intergrierten Proxys

Octoparse-Proxys sind Wohn-IPs, so dass sie besser funktionieren können, um nicht blockiert zu werden.

  • Schritt 1: Öffnen Sie die Aufgabe, für die Sie Proxys einrichten möchten.

  • Schritt 2: Klicken Sie auf den Aufgabeneinstellungen -> Anti-Blockierung

  • Schritt 3: Wählen Sie „Zugriff auf Websites über Proxys“.

  • Schritt 4: Klicken Sie auf „Octoparse-Proxys verwenden“.

  • Schritt 5: Wählen Sie „Standardmäßig“ oder Länder/Regionen, die Sie für die IP-Adresse haben möchten. („Standardmäßig“ bedeutet es, dass Sie die IPs aus beliebigen Ländern verwenden.)

  • Schritt 6: Wählen Sie „Drehungszeit“ für das Rotationsintervall aus.

  • Schritt 7: Klicken Sie auf „Speichern“ Button in der unteren rechten Ecke der Benutzeroberfläche, um Ihre Einstellungen zu speichern.

Notiz!

  • Octoparse vorgestellte Proxys können auch funktioniern, wenn Sie eine Aufgabe erstellen (von Version 8.6.8).

  • Octoparse-Proxys kosten 3 $/GB. Stellen Sie bitte sicher, dass Sie genügendes Proxy-Guthaben oder Kontoguthaben erhalten, um diese Funktion zu benutzen. Um IP-Proxys zu aktivieren, müssen Sie mindestens über 3 $ an Guthaben des Kontos verfügen. Die auf der Seite angezeigten Kontoguthaben können für den Kauf von Proxys verwendet werden. Sie können Ihr Guthaben einfach durch Klicken auf den „Kredite hinzufügen“ Button aufstocken.

  • Die Proxynutzung basiert auf dem Seitenladeverkehr.

  • 1GB Proxys können normalerweise 500 Seiten scrapen. Die Proxys könnten nicht für alle Websites verfügbar sein. Sie benötigen vielleicht ein paar Kredite zum Test hinzufügen.

  • Die Kredite könnten nicht zurückerstattet werden.

2.2 Verwendung Ihrer eigenen IP-Proxys

Eine andere Möglichkeit, IP-Proxys einzurichten, ist der Zugriff auf Ihre eigene IP in Octoparse. Aber eigene IP-Proxys können nur in lokalen Läufen verwendet werden.

  • Schritt 1: Klicken Sie auf „Eigene Vollmachten verwenden“.

  • Schritt 2: Klicken Sie auf „Konfigurieren“.

  • Schritt 3: Geben Sie IP-Proxys in den Kasten ein.

  • Schritt 4: Speichern Sie bei dem Klick auf „Bestätigen“ die Einstellungen.

Notiz: Octoparse unterstützen nur HTTP-Proxys - Bitte trennen Sie durch einen Doppelpunkt die IP-Adresse des Proxyservers und die Portnummer. Z.B. 58.22.214.29:2318.

Hat dies Ihre Frage beantwortet?