Scrapy
Scrapy – otwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane[2].
 Logo programu | |
| Autor | Scrapinghub |
|---|---|
| Pierwsze wydanie | 28 czerwca 2008 |
| Aktualna wersja stabilna | 1.8.0 (28 października 2019; ponad 5 lat temu)[1] |
| Język programowania | Python |
| System operacyjny | Microsoft Windows, macOS, Linux |
| Rodzaj | framework |
| Licencja | Licencja BSD |
| Strona internetowa | |
Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa[2].
Aby wykorzystywać framework, potrzebny jest Python w wersji 2.7 lub 3.5+ (implementacja CPython) albo 5.9 (implementacja PyPy)[2].
Przypisy
edytuj- ↑ Release notes. doc.scrapy.org. [dostęp 2020-01-03]. (ang.).
- ↑ a b c Frequently Asked Questions. doc.scrapy.org. [dostęp 2018-03-27]. (ang.).