python处理抓取中文编码和判断编码

Python基础教程
发布时间：2022-05-31 00:27:29 作者：python学习来源：[db:来源]
浏览量：3773

本文有161个文字，大小约为1KB，预计阅读时间1分钟更新时间：2022年06月16日 22:06:29

原文标题：python处理抓取中文编码和判断编码

在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码

版本python2.7

#coding:utf-8
import chardet
#抓取网页html
line = "http://www.pythontab.com"
html_1 = urllib2.urlopen(line,timeout=120).read()
encoding_dict = chardet.detect(html_1)
print encoding
web_encoding = encoding_dict['encoding']
#处理，整个html就不会是乱码。
if web_encoding == 'utf-8' or web_encoding == 'UTF-8':
html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')

关于python处理抓取中文编码和判断编码更多文章

python基础之删除文件及删除目录的方法

python基础之使用os.system来执行系统命令

详解python 局部变量与全局变量

已帮助（2408）人

[版权声明]

本文标题：python处理抓取中文编码和判断编码作者：python学习

本文链接：http://www.ccpit.org.cn/jichu/jc6966.html——此文章系本站原创/整理，转载请标明出处、原标题、链接

[db:关键词]

Python

编码

上一篇：Python基础 - yield 用法详解

下一篇：Python中的转义字符

python 在互联网应用是如此强大

我最近读到一遍文章其主要关注点是在Python社区，讲的是为什么Python应用如此丑陋？尽管某些情况下他的观点是正确的，但是对于他问的这个问题亲爱的Python，你为何如此丑陋真是荒谬...

python高级教程
2022-05-31
136

sys.argv[] 的使用详解

sys.argv[]是用来获取命令行参数的，sys.argv[0]表示代码本身文件路径;比如在CMD命令行输入 ldquo;python test.py -helprdquo;，那么sys.argv[0]就代表ldquo;test.pyrdquo;。 sys.startswith() 是用来判断一个对象...

python高级教程
2022-05-31
155

ImportError: No module named setuptools 解决方法

在python运行过程中出现如下错误： python错误： ImportError:Nomodulenamedsetuptools 这句错误提示的表面意思是：没有setuptools的模块，说明python缺少这个模块，那我们只要安装这个模块即可解决...

python高级教程
2022-05-31
68

python下redis安装和使用

python下redis安装用python操作redis数据库，先下载redis-py模块下载地址https://github.com/andymccurdy/redis-py shell# wgethttps://github.com/andymccurdy/redis-py 然后解压在解压目录运行 python setup.py install安装...

python高级教程
2022-05-31
131

python链接mysql数据库详解

‍‍学习了有些基本的python的东西，总想自己动手写一个程序，但是写程序不用数据库，显得太低端，那么python链接mysql怎么来操作呢？下面就为大家来详细介绍下我采用的是MySQLdb操作...

python高级教程
2022-05-31
110

python+ mysql存储二进制流的方式

很多时候我们为了管理方便会把依稀很小的图片存入数据库，有人可能会想这样会不会对数据库造成很大的压力，其实大家可以不用担心，因为我说过了，是存储一些很小的图片，几...

python高级教程
2022-05-31
70

得到一张图片或logo的主要颜色（颜色趋向）python版

在使用google或者baidu搜图的时候会发现有一个图片颜色选项，感觉非常有意思，有人可能会想这肯定是人为的去划分的，呵呵，有这种可能，但是估计人会累死，开个玩笑，当然是通过...

python高级教程
2022-05-31
50

python的子子孙孙（变种编程语言）

python果真非常强大，它有着众多的追随者，所以很多开发者都依赖它开发出了各种不同的变种版本，下面列举几种： 1. PyPy PyPy 是用Python实现的Python解释器。PyPy比CPython是更加灵活，易于...

python高级教程
2022-05-31
87

Python+OpenCV人脸识别技术详解

总在科幻电影里看到人脸识别，现在我们也可以编程来实现啦。哈哈~~ OpenCV是Intel‍‍®‍‍开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面...

python高级教程
2022-05-31
175

如题，代码如下： class MemoryZipFile(object): def __init__(self): #创建内存文件 self._memory_zip = StringIO.StringIO() def append_content(self, filename_in_zip, file_content): """ description: 写文本内容到zip """ zf = zi...