本书主要介绍Python爬虫编写的基础知识,以及对爬虫数据的存储、深入处理和分析。全书分为四部分: **部分为爬虫基础篇,第二部分为实战基础篇(9个案例),第三部分为框架应用篇(5个案例),第四部分为爬虫应用场景及数据处理篇(6个案例)。 本书由浅入深地介绍爬虫常用的方法和工具,以及对爬虫数据处理的应用和实现。但需要注意的是,爬虫的技术栈不仅包含这几部分,而且在实际工作中的细分方法也不尽相同。本书只是对目前爬虫技术中*为常用的一些知识点用案例的形式进行了分类和讲解,而更多的应用也值得读者在掌握一定的基础技能后进一步探索。 本书适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等学校计算机科学、软件工程等相关专业的师生阅读。

**部分爬虫基础篇 第1章Python网络爬虫基础 1.1HTTP、HTML与JavaScript 1.1.1HTTP 1.1.2HTML 1.1.3JavaScript 1.2Requests的使用 1.2.1Requests简介 1.2.2使用Requests编写爬虫程序 1.3常见的网页解析工具 1.3.1BeautifulSoup 1.3.2XPath与lxml 1.4Scrapy框架与Selenium 1.4.1爬虫框架: Scrapy 1.4.2模拟浏览器: Selenium 1.5本章小结 第二部分实战基础篇 第2章爬取某游戏Top100选手信息 2.1JavaScript对象与JSON 2.2爬取方案分析 2.2.1方案一 2.2.2方案二 2.3本章小结 第3章爬取豆瓣电影简介 3.1确定信息源 3.2获取网页信息 3.3解析信息内容 3.4批量爬取网页信息 3.5本章小结 第4章爬取源代码练习评测结果 4.1网站分析 4.2编写爬虫 4.3运行并查看结果 4.4本章小结 第5章爬取网络中的小说和购物评论 5.1下载网络小说 5.1.1分析网页 5.1.2编写爬虫 5.1.3运行并查看TXT文件 5.2下载购物评论 5.2.1查看网络数据 5.2.2编写爬虫 5.2.3数据下载结果与爬虫分析 5.3本章小结 第6章爬取新浪财经股票资讯 6.1编写爬虫 6.2运行并查看结果 6.3展示网页 6.4本章小结 第7章爬取豆瓣电影海报 7.1豆瓣网站分析与爬虫设计 7.1.1从需求出发 7.1.2处理登录问题 7.2编写爬虫 7.2.1爬虫脚本 7.2.2程序分析 7.3运行并查看结果 7.4本章小结 第8章爬取免费IP代理项目 8.1代理服务器的分类 8.2网站分析 8.3编写爬虫 8.4运行并查看结果 8.5本章小结 第9章爬取微信群聊成员信息 9.1用Selenium爬取Web端微信信息 9.2基于Python的微信API工具 9.3爬虫的部署和管理 9.3.1配置远程主机 9.3.2编写本地爬虫 9.3.3部署爬虫 9.3.4查看运行结果 9.3.5使用爬虫管理框架 9.4本章小结 第10章爬取网易跟帖 10.1网页自动化工具的简介 10.2分析网页 10.3编写爬虫 10.4运行并通过MongoDB查看数据 10.5本章小结 第三部分框架应用篇 第11章爬取机场航班信息 11.1分析网页 11.2编写爬虫 11.3爬虫的使用说明 11.4本章小结 第12章爬取拼多多商品的评论数据 12.1分析网页 12.2环境搭建 12.3编写爬虫 12.4运行并查看数据库MongoDB 12.5本章小结 第13章使用爬虫框架Gain和PySpider 13.1Gain框架 13.2使用Gain做简单爬取 13.3PySpider框架 13.4使用PySpider进行爬取 13.5本章小结 第14章爬取新浪新闻并通过客户端展示 14.1项目分析 14.2创建数据库 14.3设置页面下载器 14.4生产者消费者模型 14.5客户端界面设计 14.6本章小结 第15章爬取某机场航班出发时间数据 15.1程序设计 15.1.1分析网页 15.1.2将数据保存到数据库 15.2编写爬虫 15.2.1前置准备 15.2.2代码编写 15.2.3运行并查看数据库中的结果 15.3本章小结 第四部分爬虫应用场景及数据处理篇 第16章用爬虫和Flask搭建新闻接口服务 16.1编写爬虫 16.1.1爬取数据源网页 16.1.2搭建Flask服务 16.1.3程序代码详情 16.2本章小结 第17章网易云音乐评论内容的爬取与分析 17.1jieba库 17.2WordCloud库 17.3网页分析 17.4编写爬虫 17.5运行结果 17.6本章小结 第18章爬取二手房数据并绘制热力图 18.1数据爬取 18.1.1分析网页 18.1.2地址转换成经纬度 18.1.3编写爬虫 18.1.4数据下载结果 18.2绘制热力图 18.3本章小结 第19章用爬虫数据搭建附近二手房价格搜索引擎 19.1编写爬虫 19.1.1准备数据 19.1.2安装以及使用ES 19.1.3实现房价地理位置坐标搜索的搜索引擎 19.2本章小结 第20章爬取豆瓣电影影评并简单分析数据 20.1需求分析与爬虫设计 20.1.1网页分析 20.1.2函数设计 20.2编写爬虫 20.2.1编写程序 20.2.2可能的改进 20.3本章小结 第21章爬取用户影评数据并通过**算法**电影 21.1明确目标与数据准备 21.1.1明确目标 21.1.2数据采集与处理 21.1.3工具选择 21.2初步分析 21.2.1用户角度分析 21.2.2电影角度分析 21.3用**算法实现电影** 21.4本章小结 参考文献