Web Scraping with Python

• Programming 经验，最好是在 Python 方面。如果参与者具备 Python 以外的程式语言经验，培训可以扩展以包含更多 Python 的入门练习。

观众

• 开发人员

Web Scraping是一种从网站提取数据然后将其保存到本地文件或数据库的技术。

这种由讲师指导的现场培训（现场或远程）面向希望使用Python自动化爬行许多网站以提取数据以进行处理和分析的开发人员。

在培训结束时，参与者将能够：

• 安装和配置Python及所有相关套件。
• 检索和解析存储在多个网站中的数据。
• 了解网站的运作方式及其HTML的结构。
• 构建爬虫以大规模爬取网页。
• 使用Selenium爬取AJAX驱动的网页。

课程格式

• 互动式讲座和讨论。
• 大量练习和实作。
• 在实时实验环境中进行动手实作。

课程自定义选项

• 本课程假设学员具备编程知识。
• 如需为本课程定制培训，请联系我们进行安排。

介绍

设置开发环境

Python 入门：数据结构、条件、文件处理等。

Python 网页抓取软件包：Scrapy 和 BeautifulSoup

网站如何运作

HTML 是如何构建的

发出 Web 请求

抓取 HTML 页

使用 XPath 和 CSS

使用常规 Express离子过滤数据

创建网络爬虫

使用 Selenium 抓取 AJAX 和 JavaScript 页面。

网页抓取最佳实践

故障 排除

总结和结论