Web Scraping with Python

• Doświadczenie Programming, najlepiej w Python. Jeśli uczestnicy posiadają doświadczenie w programowaniu w innym języku niż Python, szkolenie może zostać rozszerzone o bardziej wprowadzające ćwiczenia w Python.

Publiczność

• Deweloperzy

Web Scraping to technika wyodrębniania danych ze strony internetowej, a następnie zapisywania ich w lokalnym pliku lub bazie danych.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać Python do automatyzacji procesu indeksowania wielu stron internetowych w celu wyodrębnienia danych do przetwarzania i analizy.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstalować i skonfigurować Python oraz wszystkie niezbędne pakiety.
• Pobierać i analizować dane przechowywane na wielu stronach internetowych.
• Zrozumieć, jak działają strony internetowe i jak jest zbudowana ich HTML.
• Tworzyć pająki do przeszukiwania sieci w dużej skali.
• Używać Selenium do przeszukiwania stron internetowych opartych na AJAX.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktycznych zadań.
• Praktyczna implementacja w środowisku live-lab.

Opcje dostosowywania kursu

• Kurs zakłada znajomość programowania.
• Aby poprosić o dostosowane szkolenie w ramach tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

Wstęp

Konfigurowanie środowiska programistycznego

Python Elementarz: Struktury danych, warunki warunkowe, obsługa plików itp.

Python Pakiety do skrobania sieci: Scrapy i BeautifulSoup

Jak działa witryna internetowa

Jak HTML jest zorganizowane

Tworzenie żądania internetowego

Skrobanie HTML strony

Praca z XPath i CSS

Filtrowanie danych przy użyciu zwykłych Expressjonów

Tworzenie robota sieciowego

Indeksowanie stron AJAX i JavaScript za pomocą Selenium.

Najlepsze praktyki dotyczące skrobania sieci

Rozwiązywanie problemów

Podsumowanie i wnioski