逛到一个网站http://www.meiguoliyu.com/发现里边的内容挺不错的,但是一页就那么一点内容,总共几百页,一页一页点过去浏览也太累了
用PYTHON写了个程序把这几百页的内容都整合到一个文件里去,只用了十几行代码,python果然够简洁的。
导入库urllib,urllib2作为基本的HTTP连接的库,re库为正则表达式库,整合数据时需要。
http://www.meiguoliyu.com/html/meiguoliyu/2009/0307/liyudingyi.html为该网站内容的第一页的地址。
将所有内容存在本地HTTP_LIYU_DOWN.html文件里
以下就开始WHILE循环啦
下面是具体的解释:
直接urllib.urlopen(url).read()调用就可以读取该地址网页内容,并存在content里
然后就是在数据里搜寻目标数据了
看网页代码寻找规律,
标题部分
正文部分
可以发现
标题位于<title>与</title>之间,
而正文位于 <div class="content"> 与 </div><!--/content -->
之间,
下一页的连接地址位于 <li>下一篇:<a href.与</li>之间,且以http://.开头,以html结尾。
用正则表达式搜寻这两个特征:
标题为'<title>.*</title>'
正文为'<div class="content.*</div><!-- /content -->'
链接地址为'<li>下一篇:<a href.*</li>'
更新链接地址到URL后,就可以开始循环直到末页为止了
运行效果为
-----------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------
可见所有正文部分都被集合在了一起,方便了许多
分享到:
相关推荐
使用python批量下载图片,从已知的图片网站上批量下载免费图片到本地保存。使用python语言实现。
使用python批量下载usgs数据,这里只是调取py脚本的详细步骤和使用方法。适用完全小白,github看不懂的。
基于python开发的批量下载某网站pdf文档
用python批量下载快手某个主播的所有短视频,可以自动翻页,检索到全部,采用多线程同时下载,macos上亲测可用,使用方法python3 ks_author_multi_task.py
使用Python and shell 批量下载哨兵一号(sentinel-1)的精密轨道数据
【小白必看】使用Python批量下载英雄联盟皮肤图片的技术实现 , 对于博客理解不清晰的可以通过视频讲解来学习哦!!!! 【小白必看】使用Python批量下载英雄联盟皮肤图片的技术实现 , 对于博客理解不清晰的可以通过视频...
使用Python批量下载ECMWF欧洲中心数据,附Python程序+相应安装包+使用图文教程.
python 批量下载百度图片 , 支持关键词,目录创建,图片信息汇总,代码简单易懂,有兴趣可以下载下
批量下载apk,每个apk下载的时候会显示进度,文件名和包名一一对应的保存在电脑桌面apk.txt文件里,本脚本为博客:python批量下载apk到本地(360助手网站的所有apk)的升级版
python批量下载百度图片的打包好了的可执行程序。程序所有需要的依赖包都已经打包后,可以直接运行使用,使用步骤在程序中会有每一步的提示。
python爬虫批量下载apk文件,python爬虫批量下载apk文件,python爬虫批量下载apk文件,python爬虫批量下载apk文件,python爬虫批量下载apk文件
1、输入指定链接批量下载微信公众号文章图片; 2、输入多个文章链接,批量下载微信公众号图片; 3、输入多个文章链接,批量导出微信公众号文章文本; 4、输入指定链接,下载音频; 5、wkhtmltopdf.exe免安装将html...
通过python爬虫批量下载PDF文件,当前代码使用下载人教版学生教材举例; 其中涉及到批量下载、文件重命名、正则表达式等具体应用
使用python批量生成word文档
如下所示: import webbrowser import codecs import time ...以上这篇python 自动批量打开网页的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持软件开发网。 您可能感兴
利用python写的批量图片下载器,程序可自动上网搜索用户 输入的关键字图片并下载
python 批量下载图片,讲义与 图片链接 视频链接: https://www.bilibili.com/video/BV1Gt4y1q7K5
python源码,批量下载PDF,让你的工作不在发愁,提高效率
很多时候有批量生成二维码的需求,虽然有很多在线工具,但使用场景都无法完全匹配;所幸自己写个工具,方便工作,提高效率! 使用方法很简单,一键搞定;
Python 自动办公- 用Python批量往Word文档中指定位置添加图片 Python源码Python 自动办公- 用Python批量往Word文档中指定位置添加图片 Python源码Python 自动办公- 用Python批量往Word文档中指定位置添加图片 Python...