Zdjęcia
Założenia projektu
Przeznaczenie
Automatyzacja procesu pobierania danych ze stron internetowych i katalogów
Charakterystyka
Jest to zbiór programów, często dedykowanych konkretnym stronom, z
których scrapowane są ogromne ilości danych tekstowych i/lub
multimedialnych. Cały proces poprzedzony jest często wirtualnym
zalogowaniem się do serwisu.
Proces scrapowania rozpoczyna się od wskazania elementów witryny/katalogu, z których dane mają być odczytane.
Oprogramowanie umożliwia zarówno skrapowanie ogromnej ilości danych, jak
również ich przetworzenie i usystematyzowanie oraz zapis w formatach
takich jak csv czy w bazie danych.
Korzyści
Znaczne przyspieszenie (a w wielu przypadkach umożliwienie) skopiowania ogromnych ilości danych tekstowych i multimedialnych z zasobów dostępnych w internecie.
Technologia jaka została wykorzystana
JavaScript, node.js
Rodzaj aplikacji
webowa
Zdjęcia
Przedstawienie projektu
Inne nasze projekty
