Screen Scraping ist eine Technik zur Datenerfassung, die in der Regel verwendet wird, um Informationen zu kopieren, die auf einem digitalen Display angezeigt werden, damit sie für einen anderen Zweck verwendet werden können. In diesem Artikel werden wir den Prozess des Screen Scraping und die Funktionsweise eines Screen Scrapers vorstellen.
Screen Scraping
Screen Scraping klingt nach etwas, das Sie an einem frostigen Morgen mit Ihren Autofenstern machen? Aber im Internet bedeutet es, Daten von einer Website zu erfassen, die Sie abrufen möchten.
Normalerweise wird Screen Scraping mit dem programmatischen Sammeln visueller Daten aus einer Quelle in Verbindung gebracht und bezieht sich auf das Lesen der Textdaten vom Bildschirm eines Computerterminals.
Als die Methode, Bildschirmanzeigedaten von einer Anwendung zu sammeln und zu übersetzen, so dass eine andere Anwendung sie anzeigen kann, wird Screen Scraping normalerweise durchgeführt, um visuelle Daten aus einer älteren Anwendung zu erfassen, um sie über eine modernere Benutzeroberfläche anzuzeigen.
Aber warum wird Screen Scraping in der Regel für die Übertragung von Daten verwendet?
In Techopedia gibt es eine sogenannte Erklärung: In der Regel wird eine ältere Anwendung entweder durch ein neues Programm ersetzt oder durch das Umschreiben des Quellcodes auf den neuesten Stand gebracht. Aber in einigen Fällen sind die beiden Methoden unmöglich. Deshalb sollte Screen Scraping Software geschrieben werden, um sie in eine modernere Benutzeroberfläche zu übersetzen. Und normalerweise wird Screen Scraping in solchem Fall verwendet, wenn alle anderen Optionen nicht verwirklicht werden können.
Hier können wir den Begriff über Screen Scraping erhalten, dass es eigentlich den Prozess von der Datenerfassung darstellt. Und mit anderen Worten umfasst Screen Scraping im Allgemeinen alle Verfahren, um die Texte aus Computerbildschirmen auszulesen und zu erfassen.
Es gibt auch einen wichtigen Punkt, worauf Sie achten sollten. Obwohl Screen Scraping auch das Extrahieren von Daten aus einer Website oder Anwendung beinhaltet, unterscheidet es sich vom Web Scraping, das sich auf das Erhalten inpidueller Daten auf einer Website konzentriert. Im Vergleich dazu konzentriert sich Screen Scraping mehr auf visuelle Informationen, die auf einem Bildschirm angezeigt werden, und zielt es nicht auf spezifische Daten oder Elemente ab.
Screen Scrapers
Ein Screen Scraper ist ein Computerprogramm, das eine Screen Scraping-Technik einsetzt, um zwischen alten Anwendungsprogrammen (die für die Kommunikation mit inzwischen in der Regel veralteten Eingabe-/Ausgabegeräten und Benutzeroberflächen geschrieben wurden) und neuen Benutzeroberflächen zu übersetzen, so dass die mit den alten Programmen verbundene Logik und Daten weiterhin verwendet werden können.
Ein hilfreicher Screen Scraper sollte die zwei folgenden Anforderungen erfüllen:
- Erfassung von Eingabebildschirm und Weitergabe an die Altanwendung zur Verarbeitung.
- Rückgabe der Daten aus der Anwendung an den Benutzer und korrekte Anzeige auf dem Bildschirm des Benutzers.
In der Frühphase der PCs emulierten Screen Scraper ein Terminal (z. B. IBM 3270) und gaben vor, ein Benutzer zu sein, um interaktiv Informationen auf dem Großrechner zu extrahieren und zu aktualisieren. Heutzutage wird das Konzept auf jede Anwendung angewandt, die ein Interface über Webseiten bietet.
Screen Scraper spielen eine wichtige Rolle bei der Datenmigration und bei Integrationsszenarien. Da sie es modernen Anwendungen ermöglichen, mit älteren Anwendungen zu kommunizieren, die keine API anbieten, und die Dateneingabe bei der Automatisierung ergänzen, kommen Screen Scraper in vielen Geschäftsszenarien zum Einsatz. Auch wenn die Kunden Zugriff auf die Datenbank der Altanwendungen haben, wenn Daten übertragen werden müssen, ist es für sie bequemer und weniger fehleranfällig, mit Hilfe von Screen Scrapern direkt über die Benutzeroberfläche zu gehen.
Datenextraktion ohne Kodierung
Sowohl Web-Scraping- als auch Screen-Scraping-Techniken sind für die Datenerfassung wertvoll. Die beiden Techniken können gleichzeitig eingesetzt werden, um sicherzustellen, dass Sie die richtige Art von Daten sammeln. Mit Web Scraping können Sie bestimmte Elemente einer Website, wie URLs, Texte, Statistiken usw., erfassen und in eine JSON- oder Excel-Datei exportieren. Dann können Sie einen Screen Scraper verwenden, um visuelle Daten, wie Diagramme und Tabellen, zu extrahieren.
Wenn es um die Datenextraktion geht, denken die meisten Menschen, dass dies etwas ist, das nur Menschen mit einem technischen Hintergrund vorbehalten ist. Tatsächlich aber kann der Prozess ohne Programmierung ablaufen. Es gibt eine Reihe von Web Scraping Tools für Benutzer, die mit der Programmierung nicht vertraut sind. Octoparse ist eines von ihnen.
Wenn Sie die benötigten Daten extrahieren möchten, können Sie mit Octoparse mit dynamischen, unstrukturierten Daten arbeiten, indem Sie einfach auf einzelne Datenpunkte klicken, danach wird es automatisch ein effizienter Code zur Datenextraktion generiert. Bei diesem Prozess ist keine Kodierung erforderlich. Außerdem können Sie Daten in Formate Ihrer Wahl exportieren, z. B. Excel, JSON, CSV, TXT, HTML und sogar direkt in Ihre Datenbank über API. Octoparse ermöglicht es Ihnen, Daten mit nur wenigen Schritte zu sammeln.
Nehmen wir das Extrahieren von Produktdaten aus eBay als Beispiel.
Je nach Bedarf können Sie entweder die integrierten Vorlagen verwenden oder Ihre eigene Scraping-Aufgabe erstellen. Über 30.000 Nutzer verwenden die Vorlagen.
https://www.octoparse.de/template/ebay-produkt-listing-scraper
Wenn Sie sich für die Verwendung der Vorlagen entscheiden, müssen Sie nur die erforderlichen Parameter eingeben und dann auf „Save & Run“ klicken. Sobald die Ausführung abgeschlossen ist, können die Daten zu exportieren sein.
Wenn Sie Ihren eigenen Scraper erstellen möchten, sollten Sie den „Advanced mode“ wählen. Geben Sie einfach die URL der Webseite in die Suchleiste ein, klicken Sie auf „Start“ und erstellen Sie den Workflow. Das folgende Video zeigt die schrittweise Anleitung:
Zusammenfassung
Screen Scraping ist eine Technik, mit der Daten aus einem Computerbildschirm oder einer Anwendung extrahiert werden, um sie für andere Zwecke zu nutzen. Screen Scraping spielt eine wichtige Rolle bei der Datenmigration und bei Integrationsszenarien, insbesondere wenn keine APIs für Altanwendungen verfügbar sind. Im Gegensatz zu Web Scraping konzentriert sich Screen Scraping auf die Erfassung von visuellen Informationen vom Bildschirm. Tools wie Octoparse machen die Datenextraktion einfach und erfordern keine Programmierkenntnisse und nur wenige Schritte.
Wenn Sie Probleme bei der Datenextraktion haben, oder uns etwas Vorschlägen geben möchten, kontaktieren Sie bitte uns per E-Mail (support@octoparse.com). 💬
👍👍 Wenn Sie Interesse an Octoparse und Web Scraping haben, können Sie es zunächst 14 Tage lang kostenlos ausprobieren.
Autor*in: Das Octoparse Team ❤️
Konvertiere Website-Daten direkt in Excel, CSV, Google Sheets und Ihre Datenbank.
Scrape Daten einfach mit Auto-Dedektion, ganz ohne Coding.
Scraping-Vorlagen für beliebte Websites, um Daten mit wenigen Klicks zu erhalten.
Mit IP-Proxys und fortschrittlicher API wird nie blockiert.
Cloud-Dienst zur Planung von Datenabfragen zu jedem gewünschten Zeitpunkt.
