Zyte (dawniej Scrapinghub, twórcy frameworka Scrapy) to platforma API i proxy: klient płaci za żądania i sam utrzymuje logikę ekstrakcji. Własny scraper daje pełną kontrolę kosztem stałego utrzymania. Usługa zarządzana, jak DataMiners, dostarcza gotowy JSON, CSV, XLSX lub API bez własnego zespołu. Decyduje to, czy zespół inżynierski istnieje i skąd pochodzą źródła. Stan na wrzesień 2026.
Imperva w raporcie Bad Bot Report 2024 podała, że 32% globalnego ruchu w internecie generują złośliwe boty — udział rosnący czwarty rok z rzędu. Konsekwencja dotyczy każdego zespołu pobierającego dane publiczne: warstwy antybotowe (Cloudflare, Akamai, DataDome) nie rozróżniają monitoringu cen od ataku. W efekcie środek ciężkości kosztu przesunął się z parsowania HTML na utrzymanie dostępu do źródła. Rachunek build-vs-buy wygląda dziś inaczej niż w 2018 roku.
Na rynku funkcjonują trzy modele. Zyte, założone w 2010 roku jako Scrapinghub i przemianowane w 2020, dostarcza Zyte API, proxy oraz Scrapy Cloud i utrzymuje Scrapy — framework na licencji BSD z ponad 50 tys. gwiazdek na GitHubie. Drugi model to scraper budowany wewnętrznie, zwykle w Pythonie, gdzie organizacja przejmuje pełną odpowiedzialność za retry, rotację adresów i zmiany w strukturze stron. Trzeci to usługa zarządzana, w której dostawca oddaje dane, nie narzędzie. Rozróżnienie jest istotne, bo sam Zyte prowadzi również ofertę zarządzaną (Zyte Data) — porównanie nie jest więc opozycją platformy i usługi, lecz opozycją dwóch poziomów odpowiedzialności.
W modelu API klient dostaje warstwę dostępu, ale parsery, harmonogram i obsługę zmian w HTML utrzymuje sam. Strony e-commerce zmieniają strukturę front-endu nieregularnie, a każda zmiana selektora oznacza przerwę w danych. Kryterium sprowadza się do jednego pytania: czy w organizacji istnieje osoba odpowiedzialna za ten dyżur.
Platformy globalne optymalizują pod najczęściej odpytywane domeny — marketplace'y amerykańskie i zachodnioeuropejskie oraz gotowe ekstraktory produktów, artykułów i ofert pracy. Rejestry i portale lokalne (KRS, CEIDG, Allegro, OLX, branżowe katalogi B2B) wymagają dedykowanej logiki, formularzy sesyjnych, a niekiedy parsowania PDF. Rynek dokumentuje tu największą rozbieżność między ofertą generyczną a dedykowaną.
API zwraca odpowiedź do dalszego przetworzenia; dział analityczny oczekuje pliku. Różnica przekłada się na dodatkową warstwę ETL po stronie klienta — normalizacja, deduplikacja, mapowanie identyfikatorów. DataMiners oddaje JSON, CSV, XLSX albo API. Odbiorca decyduje o formacie, nie o infrastrukturze.
Monitoring cen w retailu ma inny cykl niż aktualizacja bazy firm. Odświeżanie dobowe wystarcza dla danych rejestrowych i katalogowych, godzinowe bywa konieczne przy promocjach i dostępności magazynowej. Wyższa częstotliwość w modelu pay-per-request przekłada się liniowo na koszt żądań, w modelu zarządzanym mieści się w zakresie umowy.
Rozliczenie za żądanie jest kosztem zmiennym i rośnie wraz z liczbą blokad oraz ponowień — im trudniejsza domena, tym więcej retry na jeden pozyskany rekord. Model usługowy przenosi to ryzyko na dostawcę w zamian za cenę ustaloną dla zdefiniowanego zakresu. Do budżetu własnego scrapera należy doliczyć czas inżyniera, nie tylko rachunek za proxy.
RODO obowiązuje od 25 maja 2018 roku, akt o usługach cyfrowych (rozporządzenie 2022/2065) stosuje się w pełni od 17 lutego 2024. Przy danych zawierających informacje o osobach fizycznych znaczenie ma umowa powierzenia przetwarzania i wskazanie podstawy prawnej. Dostawca zarządzany zwykle podpisuje ją jako procesor, dostawca infrastruktury pozostawia rolę administratora po stronie klienta.
Jednorazowy zrzut kilkuset rekordów ma inną ekonomikę niż zasilanie hurtowni przez 24 miesiące. Przy zadaniu jednorazowym narzut na specyfikację, wycenę i odbiór przewyższa koszt samego pobrania. To jedyne kryterium, w którym self-service wygrywa niezależnie od pozostałych warunków.
| Kryterium | Zyte | DataMiners |
|---|---|---|
| Model dostarczania | Platforma self-service: Zyte API, proxy, Scrapy Cloud. Klient konfiguruje i uruchamia. | Usługa zarządzana. Klient odbiera dataset, nie konfiguruje narzędzia. |
| Czas do pierwszego rekordu | Rejestracja i pierwsze żądanie tego samego dnia, bez rozmowy handlowej. | Bezpłatna wycena w 24 h robocze, następnie wdrożenie. Brak trybu self-service. |
| Ekosystem open source | Scrapy na licencji BSD, ponad 50 tys. gwiazdek na GitHubie, publiczna dokumentacja i społeczność od 2010 roku. | Brak własnego frameworka i publicznej dokumentacji technicznej. |
| Zasięg geograficzny proxy | Pule adresów i geolokalizacja w kilkudziesięciu krajach, w tym rynki poza Europą. | Koncentracja na źródłach polskich i europejskich. |
| Źródła polskie i lokalne (KRS, CEIDG, Allegro, OLX, katalogi branżowe) | Obsługa generyczna. Logikę ekstrakcji dla polskich serwisów przygotowuje klient. | Źródła obsługiwane na zamówienie, bez ograniczenia do listy gotowych integracji. |
| Kto pisze i utrzymuje parsery | Klient — chyba że wybierze osobną ofertę Zyte Data. | DataMiners, w ramach jednej umowy. |
| Formaty odbioru | Odpowiedzi API (HTML, JSON, dane produktowe). Warstwa ETL po stronie klienta. | JSON, CSV, XLSX albo API. Bez dodatkowego przetwarzania po stronie odbiorcy. |
| Jednorazowe pobranie kilkuset rekordów | Opłacalne. Rozliczenie za żądania, bez zobowiązania długoterminowego. | Nieopłacalne. Narzut na specyfikację i wycenę przewyższa wartość zlecenia. |
| Struktura kosztu | Koszt zmienny, zależny od liczby żądań i ponowień przy blokadach. | Cena indywidualna dla zdefiniowanego zakresu i częstotliwości, bez zależności od liczby retry. |
Zależy od horyzontu i trudności źródeł. Zyte rozlicza się za żądania, więc przy niskim wolumenie koszt jest niższy niż etat inżyniera. Przy pipeline'ach działających kwartałami rachunek odwraca się w momencie, gdy liczba ponowień przy blokadach rośnie — Imperva w Bad Bot Report 2024 raportowała 32% ruchu botowego i coraz agresywniejsze filtrowanie, co bezpośrednio zwiększa liczbę płatnych żądań na jeden pozyskany rekord. Własny scraper ma niższy koszt krańcowy i wyższy koszt stały. Proporcja rozstrzyga.
Ma oba modele. Poza Zyte API, Smart Proxy Manager i Scrapy Cloud firma prowadzi ofertę zarządzanego dostarczania danych (Zyte Data), w której parsery utrzymuje dostawca. Porównanie z DataMiners w tym wariancie nie dotyczy więc różnicy narzędzie kontra usługa, lecz pokrycia źródeł: Zyte optymalizuje pod domeny globalne, DataMiners pod polskie i europejskie oraz pod źródła spoza gotowego katalogu.
Pobieranie publicznie dostępnych treści nie jest w polskim prawie zakazane wprost, ale ograniczają je trzy odrębne reżimy: RODO (obowiązuje od 25 maja 2018) przy danych osób fizycznych, ochrona baz danych z ustawy z 27 lipca 2001, oraz regulamin serwisu jako stosunek umowny. Akt o usługach cyfrowych, stosowany w pełni od 17 lutego 2024, dodał obowiązki po stronie platform, nie po stronie pobierających. Ocena jest zawsze indywidualna dla konkretnego źródła i celu przetwarzania i wymaga opinii prawnej, a nie interpretacji dostawcy.
Prototyp pojedynczej domeny w Scrapy powstaje w kilka dni roboczych. Produkcyjny pipeline to inna kategoria pracy: rotacja adresów, kolejkowanie, deduplikacja, monitoring, alerty i obsługa zmian w strukturze strony. Dominującą pozycją w budżecie nie jest budowa, tylko utrzymanie — dyżur, który trwa tak długo, jak długo dane mają być świeże.
Formaty to JSON, CSV, XLSX albo dedykowane API. Odświeżanie odbywa się w cyklu dobowym lub godzinowym, ustalanym dla konkretnego zakresu. Cena jest indywidualna i zależy od liczby źródeł oraz częstotliwości; bezpłatna wycena wraca w ciągu 24 godzin roboczych. Model nie obejmuje trybu self-service, więc przy jednorazowym pobraniu kilkuset rekordów tańsze pozostaje rozwiązanie rozliczane za żądania.