快捷搜索:

分析豆瓣中最新电影的影评,用python更加了解微信好友

2019-11-13 09:57栏目:关于澳门金莎
TAG:

1、准备工作

用了微信几年了,微信号有也不少了,但是真正了解自己的好友吗?好友最多的城市是哪个?好友男女比例是多少?好友签名都是什么?今天我们来充分了解自己的微信好友。

简介

1.1 库介绍

只有登录微信才能获取到微信好友的信息,本文采用wxpy该第三方库进行微信的登录以及信息的获取。

wxpy 在 itchat 的基础上,通过大量接口优化提升了模块的易用性,并进行丰富的功能扩展。

wxpy一些常见的场景:

•控制路由器、智能家居等具有开放接口的玩意儿
•运行脚本时自动把日志发送到你的微信
•加群主为好友,自动拉进群中
•跨号或跨群转发消息
•自动陪人聊天
•逗人玩

总而言之,可用来实现各种微信个人号的自动化操作。

1、准备工作

刚接触python不久,做一个小项目来练练手。前几天看了《战狼2》,发现它在最新上映的电影里面是排行第一的,如下图所示。准备把豆瓣上对它的影评做一个分析。

1.2 wxpy库安装

wxpy 支持 Python 3.4-3.6,以及 2.7 版本

将下方命令中的 “pip” 替换为 “pip3” 或 “pip2”,可确保安装到对应的 Python 版本中

1.从 PYPI 官方源下载安装 (在国内可能比较慢或不稳定):

pip install -U wxpy1

1.从豆瓣 PYPI 镜像源下载安装 (推荐国内用户选用):

pip install -U wxpy -i "

1.1 库介绍

只有登录微信才能获取到微信好友的信息,本文采用wxpy该第三方库进行微信的登录以及信息的获取。
wxpy 在 itchat 的基础上,通过大量接口优化提升了模块的易用性,并进行丰富的功能扩展。
wxpy一些常见的场景:

  • 控制路由器、智能家居等具有开放接口的玩意儿
  • 运行脚本时自动把日志发送到你的微信
  • 加群主为好友,自动拉进群中
  • 跨号或跨群转发消息
  • 自动陪人聊天
  • 澳门金莎娱乐,逗人玩

总而言之,可用来实现各种微信个人号的自动化操作。

澳门金莎娱乐 1

1.3 登录微信

wxpy中有一个机器人对象,机器人 Bot 对象可被理解为一个 Web 微信客户端。Bot 在初始化时便会执行登陆操作,需要手机扫描登陆。

通过机器人对象 Bot 的 chats(), friends(),groups(), mps() 方法, 可分别获取到当前机器人的 所有聊天对象、好友、群聊,以及公众号列表。

本文主要通过friends()获取到所有好友信息,然后进行数据的处理。

from wxpy import *
# 初始化机器人,扫码登陆
bot = Bot()
# 获取所有好友
my_friends = bot.friends()
print(type(my_friends))

以下为输出消息:

Getting uuid of QR code.
Downloading QR code.
Please scan the QR code to log in.
Please press confirm on your phone.
Loading the contact, this may take a little while.
<Login successfully as 王强?>
<class 'wxpy.api.chats.chats.Chats'>

wxpy.api.chats.chats.Chats对象是多个聊天对象的合集,可用于搜索或统计,可以搜索和统计的信息包括sex(性别)、province(省份)、city(城市)和signature(个性签名)等。

1.2 wxpy库安装

wxpy 支持 Python 3.4-3.6,以及 2.7 版本
将下方命令中的 “pip” 替换为 “pip3” 或 “pip2”,可确保安装到对应的 Python 版本中

  1. 从 PYPI 官方源下载安装 (在国内可能比较慢或不稳定):

pip install -U wxpy

  1. 从豆瓣 PYPI 镜像源下载安装 (推荐国内用户选用):

pip install -U wxpy -i "https://pypi.doubanio.com/simple/"

目标总览

2、微信好友男女比例

1.3 登录微信

wxpy中有一个机器人对象,机器人 Bot 对象可被理解为一个 Web 微信客户端。Bot 在初始化时便会执行登陆操作,需要手机扫描登陆。

通过机器人对象 Bot 的 chats(), friends(),groups(), mps() 方法, 可分别获取到当前机器人的 所有聊天对象、好友、群聊,以及公众号列表。

本文主要通过friends()获取到所有好友信息,然后进行数据的处理。

from wxpy import *
# 初始化机器人,扫码登陆
bot = Bot()
# 获取所有好友
my_friends = bot.friends()
print(type(my_friends))

以下为输出消息:

Getting uuid of QR code.
Downloading QR code.
Please scan the QR code to log in.
Please press confirm on your phone.
Loading the contact, this may take a little while.
Login successfully as Looper
<class 'wxpy.api.chats.chats.Chats'>

wxpy.api.chats.chats.Chats对象是多个聊天对象的合集,可用于搜索或统计,可以搜索和统计的信息包括sex(性别)、province(省份)、city(城市)和signature(个性签名)等。

主要做了三件事:

2.1 数据统计

使用一个字典sex_dict来统计好友中男性和女性的数量。

# 使用一个字典统计好友男性和女性的数量
sex_dict = {'male': 0, 'female': 0}
for friend in my_friends:
 # 统计性别
 if friend.sex == 1:
 sex_dict['male'] += 1
 elif friend.sex == 2:
 sex_dict['female'] += 1
print(sex_dict)

以下为输出结果:

{'male': 255, 'female': 104}

2、微信好友男女比例

抓取网页数据

2.2 数据呈现

本文采用 ECharts饼图 进行数据的呈现,打开链接,可以看到如下内容:

澳门金莎娱乐 2

1、echarts饼图原始内容

从图中可以看到左侧为数据,右侧为呈现的数据图,其他的形式的图也是这种左右结构。看一下左边的数据:

option = {
 title : {
 text: '某站点用户访问来源',
 subtext: '纯属虚构',
 x:'center'
 },
 tooltip : {
 trigger: 'item',
 formatter: "{a} <br/>{b} : {c} ({d}%)"
 },
 legend: {
 orient : 'vertical',
 x : 'left',
 data:['直接访问','邮件营销','联盟广告','视频广告','搜索引擎']
 },
 toolbox: {
 show : true,
 feature : {
 mark : {show: true},
 dataView : {show: true, readOnly: false},
 magicType : {
 show: true, 
 type: ['pie', 'funnel'],
 option: {
  funnel: {
  x: '25%',
  width: '50%',
  funnelAlign: 'left',
  max: 1548
  }
 }
 },
 restore : {show: true},
 saveAsImage : {show: true}
 }
 },
 calculable : true,
 series : [
 {
 name:'访问来源',
 type:'pie',
 radius : '55%',
 center: ['50%', '60%'],
 data:[
 {value:335, name:'直接访问'},
 {value:310, name:'邮件营销'},
 {value:234, name:'联盟广告'},
 {value:135, name:'视频广告'},
 {value:1548, name:'搜索引擎'}
 ]
 }
 ]
}; 

可以看到option =后面的大括号里是JSON格式的数据,接下来分析一下各项数据:

•title:标题
•text:标题内容
•subtext:子标题
•x:标题位置
•tooltip:提示,将鼠标放到饼状图上就可以看到提示
•legend:图例
•orient:方向
•x:图例位置
•data:图例内容
•toolbox:工具箱,在饼状图右上方横向排列的图标
•mark:辅助线开关
•dataView:数据视图,点击可以查看饼状图数据
•magicType:饼图(pie)切换和漏斗图(funnel)切换
•restore:还原
•saveAsImage:保存为图片
•calculable:暂时不知道它有什么用
•series:主要数据
•data:呈现的数据

其它类型的图数据格式类似,后面不再详细分析。只需要修改data、l**egend->data**、series->data即可,修改后的数据为:

option = {
 title : {
 text: '微信好友性别比例',
 subtext: '真实数据',
 x:'center'
 },
 tooltip : {
 trigger: 'item',
 formatter: "{a} <br/>{b} : {c} ({d}%)"
 },
 legend: {
 orient : 'vertical',
 x : 'left',
 data:['男性','女性']
 },
 toolbox: {
 show : true,
 feature : {
 mark : {show: true},
 dataView : {show: true, readOnly: false},
 magicType : {
 show: true, 
 type: ['pie', 'funnel'],
 option: {
  funnel: {
  x: '25%',
  width: '50%',
  funnelAlign: 'left',
  max: 1548
  }
 }
 },
 restore : {show: true},
 saveAsImage : {show: true}
 }
 },
 calculable : true,
 series : [
 {
 name:'访问来源',
 type:'pie',
 radius : '55%',
 center: ['50%', '60%'],
 data:[
 {value:255, name:'男性'},
 {value:104, name:'女性'}
 ]
 }
 ]
}; 

数据修改完成后,点击页面中绿色的刷新按钮,可以得到饼图如下(可以根据自己的喜好修改主题):

澳门金莎娱乐 3

2、好友性别比例

将鼠标放到饼图上可以看到详细数据:

澳门金莎娱乐 4

3、好友性别比例查看数据

3、微信好友全国分布图

2.1 数据统计

使用一个字典sex_dict来统计好友中男性和女性的数量。

# 使用一个字典统计好友男性和女性的数量
sex_dict = {'male': 0, 'female': 0}
for friend in my_friends:
    # 统计性别
    if friend.sex == 1:
        sex_dict['male'] += 1
    elif friend.sex == 2:
        sex_dict['female'] += 1
print(sex_dict)

打印结果:

{'male': 269, 'female': 86}

2.2 数据呈现

我们这里采用在线的 ECharts饼图 进行数据的呈现,打开链接(ECharts · Example),可以看到如下内容:

澳门金莎娱乐 5

1.png

这里准备好了json模板,如下,只需要修改data数据即可

option = {
    title : {
        text: '微信好友性别比例',
        subtext: '真实数据',
        x:'center'
    },
    tooltip : {
        trigger: 'item',
        formatter: "{a} <br/>{b} : {c} ({d}%)"
    },
    legend: {
        orient : 'vertical',
        x : 'left',
        data:['男性','女性']
    },
    toolbox: {
        show : true,
        feature : {
            mark : {show: true},
            dataView : {show: true, readOnly: false},
            magicType : {
                show: true, 
                type: ['pie', 'funnel'],
                option: {
                    funnel: {
                        x: '25%',
                        width: '50%',
                        funnelAlign: 'left',
                        max: 1548
                    }
                }
            },
            restore : {show: true},
            saveAsImage : {show: true}
        }
    },
    calculable : true,
    series : [
        {
            name:'好友性别',
            type:'pie',
            radius : '55%',
            center: ['50%', '60%'],
            data:[
                {value:269, name:'男性'},
                {value:86, name:'女性'}
            ]
        }
    ]
};        

数据修改完成后,点击页面中绿色的刷新按钮,可以得到饼图如下(可以根据自己的喜好修改主题)

澳门金莎娱乐 6

2.png

清理数据

3.1 数据统计

# 使用一个字典统计各省好友数量
province_dict = {'北京': 0, '上海': 0, '天津': 0, '重庆': 0,
 '河北': 0, '山西': 0, '吉林': 0, '辽宁': 0, '黑龙江': 0,
 '陕西': 0, '甘肃': 0, '青海': 0, '山东': 0, '福建': 0,
 '浙江': 0, '台湾': 0, '河南': 0, '湖北': 0, '湖南': 0,
 '江西': 0, '江苏': 0, '安徽': 0, '广东': 0, '海南': 0,
 '四川': 0, '贵州': 0, '云南': 0,
 '内蒙古': 0, '新疆': 0, '宁夏': 0, '广西': 0, '西藏': 0,
 '香港': 0, '澳门': 0}
# 统计省份
for friend in my_friends:
 if friend.province in province_dict.keys():
 province_dict[friend.province] += 1
# 为了方便数据的呈现,生成JSON Array格式数据
data = []
for key, value in province_dict.items():
 data.append({'name': key, 'value': value})
print(data)

以下为输出结果:

[{'name': '北京', 'value': 91}, {'name': '上海', 'value': 12}, {'name': '天津', 'value': 15}, {'name': '重庆', 'value': 1}, {'name': '河北', 'value': 53}, {'name': '山西', 'value': 2}, {'name': '吉林', 'value': 1}, {'name': '辽宁', 'value': 1}, {'name': '黑龙江', 'value': 2}, {'name': '陕西', 'value': 3}, {'name': '甘肃', 'value': 0}, {'name': '青海', 'value': 0}, {'name': '山东', 'value': 7}, {'name': '福建', 'value': 3}, {'name': '浙江', 'value': 4}, {'name': '台湾', 'value': 0}, {'name': '河南', 'value': 1}, {'name': '湖北', 'value': 4}, {'name': '湖南', 'value': 4}, {'name': '江西', 'value': 4}, {'name': '江苏', 'value': 9}, {'name': '安徽', 'value': 2}, {'name': '广东', 'value': 63}, {'name': '海南', 'value': 0}, {'name': '四川', 'value': 2}, {'name': '贵州', 'value': 0}, {'name': '云南', 'value': 1}, {'name': '内蒙古', 'value': 0}, {'name': '新疆', 'value': 2}, {'name': '宁夏', 'value': 0}, {'name': '广西', 'value': 1}, {'name': '西藏', 'value': 0}, {'name': '香港', 'value': 0}, {'name': '澳门', 'value': 0}]

可以看出,好友最多的省份为北京。那么问题来了:为什么要把数据重组成这种格式?因为ECharts的地图需要这种格式的数据。

3、微信好友全国分布图

用词云进行展示

3.2 数据呈现

采用ECharts地图 来进行好友分布的数据呈现。打开该网址,将左侧数据修改为:

option = {
 title : {
 text: '微信好友全国分布图',
 subtext: '真实数据',
 x:'center'
 },
 tooltip : {
 trigger: 'item'
 },
 legend: {
 orient: 'vertical',
 x:'left',
 data:['好友数量']
 },
 dataRange: {
 min: 0,
 max: 100,
 x: 'left',
 y: 'bottom',
 text:['高','低'], // 文本,默认为数值文本
 calculable : true
 },
 toolbox: {
 show: true,
 orient : 'vertical',
 x: 'right',
 y: 'center',
 feature : {
 mark : {show: true},
 dataView : {show: true, readOnly: false},
 restore : {show: true},
 saveAsImage : {show: true}
 }
 },
 roamController: {
 show: true,
 x: 'right',
 mapTypeControl: {
 'china': true
 }
 },
 series : [
 {
 name: '好友数量',
 type: 'map',
 mapType: 'china',
 roam: false,
 itemStyle:{
 normal:{label:{show:true}},
 emphasis:{label:{show:true}}
 },
 data:[
 {'name': '北京', 'value': 91},
 {'name': '上海', 'value': 12},
 {'name': '天津', 'value': 15}, 
 {'name': '重庆', 'value': 1}, 
 {'name': '河北', 'value': 53},
 {'name': '山西', 'value': 2}, 
 {'name': '吉林', 'value': 1},
 {'name': '辽宁', 'value': 1}, 
 {'name': '黑龙江', 'value': 2},
 {'name': '陕西', 'value': 3},
 {'name': '甘肃', 'value': 0},
 {'name': '青海', 'value': 0}, 
 {'name': '山东', 'value': 7},
 {'name': '福建', 'value': 3}, 
 {'name': '浙江', 'value': 4},
 {'name': '台湾', 'value': 0},
 {'name': '河南', 'value': 1},
 {'name': '湖北', 'value': 4}, 
 {'name': '湖南', 'value': 4},
 {'name': '江西', 'value': 4},
 {'name': '江苏', 'value': 9},
 {'name': '安徽', 'value': 2},
 {'name': '广东', 'value': 63}, 
 {'name': '海南', 'value': 0},
 {'name': '四川', 'value': 2},
 {'name': '贵州', 'value': 0}, 
 {'name': '云南', 'value': 1},
 {'name': '内蒙古', 'value': 0},
 {'name': '新疆', 'value': 2}, 
 {'name': '宁夏', 'value': 0},
 {'name': '广西', 'value': 1},
 {'name': '西藏', 'value': 0},
 {'name': '香港', 'value': 0},
 {'name': '澳门', 'value': 0}
 ]
 }
 ]
};  

注意两点:

•dataRange->max 根据统计数据适当调整
•series->data 的数据格式

点击刷新按钮后,可以生成如下地图:

澳门金莎娱乐 7

4、好友全国分布图

从图中可以看出我的好友主要分布在北京、河北和广东。

有趣的是,地图左边有一个滑块,代表地图数据的范围,我们将上边的滑块拉到最下面可以看到没有微信好友分布的省份:

5、没有微信好友的省份

澳门金莎娱乐 8

按照这个思路,我们可以在地图上看到确切数量好友分布的省份,读者可以动手试试。

3.1 数据统计

# 使用一个字典统计各省好友数量
province_dict = {'北京': 0, '上海': 0, '天津': 0, '重庆': 0,
    '河北': 0, '山西': 0, '吉林': 0, '辽宁': 0, '黑龙江': 0,
    '陕西': 0, '甘肃': 0, '青海': 0, '山东': 0, '福建': 0,
    '浙江': 0, '台湾': 0, '河南': 0, '湖北': 0, '湖南': 0,
    '江西': 0, '江苏': 0, '安徽': 0, '广东': 0, '海南': 0,
    '四川': 0, '贵州': 0, '云南': 0,
    '内蒙古': 0, '新疆': 0, '宁夏': 0, '广西': 0, '西藏': 0,
    '香港': 0, '澳门': 0}

# 统计省份
for friend in my_friends:
    if friend.province in province_dict.keys():
        province_dict[friend.province] += 1

# 为了方便数据的呈现,生成JSON Array格式数据
data = []
for key, value in province_dict.items():
    data.append({'name': key, 'value': value})

print(data)

输出结果如下:

[{'name': '北京', 'value': 21}, {'name': '上海', 'value': 6}, {'name': '天津', 'value': 0}, {'name': '重庆', 'value': 3}, {'name': '河北', 'value': 2}, {'name': '山西', 'value': 8}, {'name': '吉林', 'value': 0}, {'name': '辽宁', 'value': 0}, {'name': '黑龙江', 'value': 0}, {'name': '陕西', 'value': 170}, {'name': '甘肃', 'value': 0}, {'name': '青海', 'value': 0}, {'name': '山东', 'value': 2}, {'name': '福建', 'value': 0}, {'name': '浙江', 'value': 8}, {'name': '台湾', 'value': 0}, {'name': '河南', 'value': 2}, {'name': '湖北', 'value': 2}, {'name': '湖南', 'value': 3}, {'name': '江西', 'value': 1}, {'name': '江苏', 'value': 5}, {'name': '安徽', 'value': 0}, {'name': '广东', 'value': 24}, {'name': '海南', 'value': 0}, {'name': '四川', 'value': 28}, {'name': '贵州', 'value': 1}, {'name': '云南', 'value': 1}, {'name': '内蒙古', 'value': 0}, {'name': '新疆', 'value': 0}, {'name': '宁夏', 'value': 1}, {'name': '广西', 'value': 0}, {'name': '西藏', 'value': 0}, {'name': '香港', 'value': 0}, {'name': '澳门', 'value': 0}]

打开链接(ECharts · Example)修改模板数据,只需要修改data部分即可

option = {
    title: {
        text: '微信好友全国分布图',
        subtext: '真实数据',
        x: 'center'
    },
    tooltip: {
        trigger: 'item'
    },
    legend: {
        orient: 'vertical',
        x: 'left',
        data: ['好友数量']
    },
    dataRange: {
        min: 0,
        max: 100,
        x: 'left',
        y: 'bottom',
        text: ['高', '低'], // 文本,默认为数值文本
        calculable: true
    },
    toolbox: {
        show: true,
        orient: 'vertical',
        x: 'right',
        y: 'center',
        feature: {
            mark: {
                show: true
            },
            dataView: {
                show: true,
                readOnly: false
            },
            restore: {
                show: true
            },
            saveAsImage: {
                show: true
            }
        }
    },
    roamController: {
        show: true,
        x: 'right',
        mapTypeControl: {
            'china': true
        }
    },
    series: [{
        name: '好友数量',
        type: 'map',
        mapType: 'china',
        roam: false,
        itemStyle: {
            normal: {
                label: {
                    show: true
                }
            },
            emphasis: {
                label: {
                    show: true
                }
            }
        },
        data: [{'name': '北京', 'value': 91},
              {'name': '上海', 'value': 12},
              {'name': '天津', 'value': 15}, 
              {'name': '重庆', 'value': 1}, 
              {'name': '河北', 'value': 53},
              {'name': '山西', 'value': 2}, 
              {'name': '吉林', 'value': 1},
              {'name': '辽宁', 'value': 1}, 
              {'name': '黑龙江', 'value': 2},
              {'name': '陕西', 'value': 3},
              {'name': '甘肃', 'value': 0},
              {'name': '青海', 'value': 0}, 
              {'name': '山东', 'value': 7},
              {'name': '福建', 'value': 3}, 
              {'name': '浙江', 'value': 4},
              {'name': '台湾', 'value': 0},
              {'name': '河南', 'value': 1},
              {'name': '湖北', 'value': 4}, 
              {'name': '湖南', 'value': 4},
              {'name': '江西', 'value': 4},
              {'name': '江苏', 'value': 9},
              {'name': '安徽', 'value': 2},
              {'name': '广东', 'value': 63}, 
              {'name': '海南', 'value': 0},
              {'name': '四川', 'value': 2},
              {'name': '贵州', 'value': 0}, 
              {'name': '云南', 'value': 1},
              {'name': '内蒙古', 'value': 0},
              {'name': '新疆', 'value': 2}, 
              {'name': '宁夏', 'value': 0},
              {'name': '广西', 'value': 1},
              {'name': '西藏', 'value': 0},
              {'name': '香港', 'value': 0},
              {'name': '澳门', 'value': 0}]
};

点击刷新按钮后,可以生成如下地图:

澳门金莎娱乐 9

好友分布图.png

有趣的是,地图左边有一个滑块,代表地图数据的范围,我们将下边的滑块拉到1位置可以看到有微信好友分布的省份:

澳门金莎娱乐 10

图片.png

使用的python版本是3.5.

4、好友签名统计

4、好友签名统计

运行环境:jupyer notebook,如在其他环境下运行报错了,请查看评论区的讨论,里面有一些解决办法。

4.1 数据统计

def write_txt_file(path, txt):
 '''
 写入txt文本
 '''
 with open(path, 'a', encoding='gb18030', newline='') as f:
 f.write(txt) 
# 统计签名
for friend in my_friends:
 # 对数据进行清洗,将标点符号等对词频统计造成影响的因素剔除
 pattern = re.compile(r'[一-龥]+')
 filterdata = re.findall(pattern, friend.signature)
 write_txt_file('signatures.txt', ''.join(filterdata))

上面代码实现了对好友签名进行清洗以及保存的功能,执行完成之后会在当前目录生成signatures.txt文件。

4.1 数据统计

def write_txt_file(path, txt):
    '''
    写入txt文本
    '''
    with open(path, 'a', encoding='utf-8', newline='') as f:
        f.write(txt)    

# 统计签名
for friend in my_friends:
    # 对数据进行清洗,将标点符号等对词频统计造成影响的因素剔除
    pattern = re.compile(r'[u4E00-u9FD5]+')
    filterdata = re.findall(pattern, friend.signature)
    write_txt_file('signatures.txt', ''.join(filterdata))

上面代码实现了对好友签名进行清洗以及保存的功能,执行完成之后会在当前目录生成signatures.txt文件。

一、抓取网页数据

4.2 数据呈现

数据呈现采用词频统计和词云展示,通过词频可以了解到微信好友的生活态度。

词频统计用到了 jieba、numpy、pandas、scipy、wordcloud库。如果电脑上没有这几个库,执行安装指令:

•pip install jieba
•pip install pandas
•pip install numpy
•pip install scipy
•pip install wordcloud

4.2.1 读取txt文件

前面已经将好友签名保存到txt文件里了,现在我们将其读出:

def read_txt_file(path):
 '''
 读取txt文本
 '''
 with open(path, 'r', encoding='gb18030', newline='') as f:
 return f.read()

4.2.2 stop word

下面引入一个概念:stop word, 在网站里面存在大量的常用词比如:“在”、“里面”、“也”、“的”、“它”、“为”这些词都是停止词。这些词因为使用频率过高,几乎每个网页上都存在,所以搜索引擎开发人员都将这一类词语全部忽略掉。如果我们的网站上存在大量这样的词语,那么相当于浪费了很多资源。

在百度搜索stpowords.txt进行下载,放到py文件同级目录。

content = read_txt_file(txt_filename)
segment = jieba.lcut(content)
words_df=pd.DataFrame({'segment':segment})
stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='utf-8')
words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

4.2.3 词频统计

重头戏来了,词频统计使用numpy:

import numpy
words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})
 words_stat = words_stat.reset_index().sort_values(by=["计数"],ascending=False)

4.2.4 词频可视化:词云

词频统计虽然出来了,可以看出排名,但是不完美,接下来我们将它可视化。使用到wordcloud库,详细介绍见 github 。

from scipy.misc import imread
from wordcloud import WordCloud, ImageColorGenerator
# 设置词云属性
color_mask = imread('background.jfif')
wordcloud = WordCloud(font_path="simhei.ttf", # 设置字体可以显示中文
 background_color="white", # 背景颜色
 max_words=100,  # 词云显示的最大词数
 mask=color_mask, # 设置背景图片
 max_font_size=100, # 字体最大值
 random_state=42,
 width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,    # 那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
 )
# 生成词云, 可以用generate输入全部文本,也可以我们计算好词频后使用generate_from_frequencies函数
word_frequence = {x[0]:x[1]for x in words_stat.head(100).values}
print(word_frequence)
word_frequence_dict = {}
for key in word_frequence:
 word_frequence_dict[key] = word_frequence[key]

wordcloud.generate_from_frequencies(word_frequence_dict)
# 从背景图片生成颜色值 
image_colors = ImageColorGenerator(color_mask) 
# 重新上色
wordcloud.recolor(color_func=image_colors)
# 保存图片
wordcloud.to_file('output.png')
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

运行效果图如下(左图为背景图,右图为生成词云图片):

澳门金莎娱乐 11

6、背景图和词云图对比

从词云图可以分析好友特点:

•做——————–行动派
•人生、生活——–热爱生活
•快乐—————–乐观
•选择—————–决断
•专业—————–专业
•爱——————–爱

4.2 数据呈现

数据呈现采用词频统计和词云展示,通过词频可以了解到微信好友的生活态度。

词频统计用到了 jieba、numpy、pandas、scipy、wordcloud库。如果电脑上没有这几个库,执行安装指令:

  • pip install jieba

  • pip install pandas

  • pip install numpy

  • pip install scipy

  • pip install wordcloud

第一步要对网页进行访问,python中使用的是urllib库。代码如下:

5、总结

至此,微信好友的分析工作已经完成,wxpy的功能还有很多,比如聊天、查看公众号信息等,有意的读者请自行查阅官方文档。

4.2.1 读取txt文件

前面已经将好友签名保存到txt文件里了,现在我们将其读出:

def read_txt_file(path):
    '''
    读取txt文本
    '''
    with open(path, 'r', encoding='utf-8', newline='') as f:
        return f.read()
# 读取文本
content = read_txt_file("signatures.txt")
# 结巴分词
seg_list = jieba.lcut(content)

from urllibimportrequestresp = request.urlopen(' = resp.read().decode

6、完整代码

上面的代码比较松散,下面展示的完整代码我将各功能模块封装成函数:

#-*- coding: utf-8 -*-
import re
from wxpy import *
import jieba
import numpy
import pandas as pd
import matplotlib.pyplot as plt
from scipy.misc import imread
from wordcloud import WordCloud, ImageColorGenerator
def write_txt_file(path, txt):
 '''
 写入txt文本
 '''
 with open(path, 'a', encoding='gb18030', newline='') as f:
 f.write(txt)
def read_txt_file(path):
 '''
 读取txt文本
 '''
 with open(path, 'r', encoding='gb18030', newline='') as f:
 return f.read()
def login():
 # 初始化机器人,扫码登陆
 bot = Bot()
 # 获取所有好友
 my_friends = bot.friends()
 print(type(my_friends))
 return my_friends
def show_sex_ratio(friends):
 # 使用一个字典统计好友男性和女性的数量
 sex_dict = {'male': 0, 'female': 0}
 for friend in friends:
 # 统计性别
 if friend.sex == 1:
 sex_dict['male'] += 1
 elif friend.sex == 2:
 sex_dict['female'] += 1
 print(sex_dict)
def show_area_distribution(friends):
 # 使用一个字典统计各省好友数量
 province_dict = {'北京': 0, '上海': 0, '天津': 0, '重庆': 0,
 '河北': 0, '山西': 0, '吉林': 0, '辽宁': 0, '黑龙江': 0,
 '陕西': 0, '甘肃': 0, '青海': 0, '山东': 0, '福建': 0,
 '浙江': 0, '台湾': 0, '河南': 0, '湖北': 0, '湖南': 0,
 '江西': 0, '江苏': 0, '安徽': 0, '广东': 0, '海南': 0,
 '四川': 0, '贵州': 0, '云南': 0,
 '内蒙古': 0, '新疆': 0, '宁夏': 0, '广西': 0, '西藏': 0,
 '香港': 0, '澳门': 0}
 # 统计省份
 for friend in friends:
 if friend.province in province_dict.keys():
 province_dict[friend.province] += 1
 # 为了方便数据的呈现,生成JSON Array格式数据
 data = []
 for key, value in province_dict.items():
 data.append({'name': key, 'value': value})
 print(data)
def show_signature(friends):
 # 统计签名
 for friend in friends:
 # 对数据进行清洗,将标点符号等对词频统计造成影响的因素剔除
 pattern = re.compile(r'[一-龥]+')
 filterdata = re.findall(pattern, friend.signature)
 write_txt_file('signatures.txt', ''.join(filterdata))
 # 读取文件
 content = read_txt_file('signatures.txt')
 segment = jieba.lcut(content)
 words_df = pd.DataFrame({'segment':segment})
 # 读取stopwords
 stopwords = pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='utf-8')
 words_df = words_df[~words_df.segment.isin(stopwords.stopword)]
 print(words_df)
 words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})
 words_stat = words_stat.reset_index().sort_values(by=["计数"],ascending=False)
 # 设置词云属性
 color_mask = imread('background.jfif')
 wordcloud = WordCloud(font_path="simhei.ttf", # 设置字体可以显示中文
  background_color="white", # 背景颜色
  max_words=100,  # 词云显示的最大词数
  mask=color_mask, # 设置背景图片
  max_font_size=100, # 字体最大值
  random_state=42,
  width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,    # 那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
  )
 # 生成词云, 可以用generate输入全部文本,也可以我们计算好词频后使用generate_from_frequencies函数
 word_frequence = {x[0]:x[1]for x in words_stat.head(100).values}
 print(word_frequence)
 word_frequence_dict = {}
 for key in word_frequence:
 word_frequence_dict[key] = word_frequence[key]
 wordcloud.generate_from_frequencies(word_frequence_dict)
 # 从背景图片生成颜色值 
 image_colors = ImageColorGenerator(color_mask) 
 # 重新上色
 wordcloud.recolor(color_func=image_colors)
 # 保存图片
 wordcloud.to_file('output.png')
 plt.imshow(wordcloud)
 plt.axis("off")
 plt.show()
def main():
 friends = login()
 show_sex_ratio(friends)
 show_area_distribution(friends)
 show_signature(friends)
if __name__ == '__main__':
 main()

总结

以上所述是小编给大家介绍的使用Python对微信好友进行数据分析,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

4.2.2 stop word

下面引入一个概念:stop word, 在网站里面存在大量的常用词比如:“在”、“里面”、“也”、“的”、“它”、“为”这些词都是停止词。这些词因为使用频率过高,几乎每个网页上都存在,所以搜索引擎开发人员都将这一类词语全部忽略掉。如果我们的网站上存在大量这样的词语,那么相当于浪费了很多资源。

stopwrod = [line.rstrip() for line in open("哈工大停用词表.txt")]
words = [ word for word in seg_list if word not in stopwrod]

其中

您可能感兴趣的文章:

  • Python实现的微信好友数据分析功能示例
  • 基于Python实现的微信好友数据分析
  • python itchat实现微信好友头像拼接图的示例代码
  • python查看微信好友是否删除自己
  • python轻松查到删除自己的微信好友

4.2.3 词频统计

from collections import Counter
c = Counter(words)
for word,count in c.most_common(50):
    print(word+" "+str(count))

打印结果:

{'不': 19, '人生': 11, '人': 10, '没有': 8, '努力': 7, '爱': 7, '世界': 6, '好': 6, '都': 6, '会': 5, '愿': 5, '最': 4, '做': 4, '事': 4, '需要': 3, '菩提': 3, '生命': 3, '心': 3, '风雨': 3, '重要': 3, '不要': 3, '人心': 3, '去': 3, '感觉': 3, '逼': 3, '别人': 3, '幸福': 3, '真实': 3, '朋友': 3, '易': 3, '简单': 3, '陪伴': 3, '情': 3, '梦': 3, '选择': 3, '走': 3, '圙': 3, '无': 3, '遇到': 2, '允许': 2, '哥': 2, '坦荡荡': 2, '中': 2, '不幸': 2, '天下': 2, '新': 2, '号码': 2, '处': 2, '快乐': 2, '遇见': 2}

html_data是字符串类型的变量,里面存放了网页的html代码。

4.2.4 词频可视化:词云

词频统计虽然出来了,可以看出排名,但是不完美,接下来我们将它可视化。使用到wordcloud库,详细介绍见 github 。

color_mask = imread('back.png')
wordcloud = WordCloud(font_path="msyhbd.ttf",   # 设置字体可以显示中文
                background_color="white",       # 背景颜色
                max_words=50,                  # 词云显示的最大词数
                mask=color_mask,                # 设置背景图片
                max_font_size=100,              # 字体最大值
                random_state=42,
                width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,                                                   # 那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
                )

# 生成词云, 可以用generate输入全部文本,也可以我们计算好词频后使用generate_from_frequencies函数
word_frequence = {x[0]:x[1]for x in c.most_common(50)}
print(word_frequence)
word_frequence_dict = {}
for key in word_frequence:
    word_frequence_dict[key] = word_frequence[key]

wordcloud.generate_from_frequencies(word_frequence_dict)
# 从背景图片生成颜色值  
image_colors = ImageColorGenerator(color_mask) 
# 重新上色
wordcloud.recolor(color_func=image_colors)
# 保存图片
wordcloud.to_file('output.png')
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

运行效果图如下:

澳门金莎娱乐 12

output.png

之后,就是根据词云开分析好友的特征了。

输入print(html_data)可以查看,如下图所示:

5、总结

至此,微信好友的分析工作已经完成,wxpy的功能还有很多,比如聊天、查看公众号信息等,有意的童鞋请自行查阅官方文档。

澳门金莎娱乐 13

第二步,需要对得到的html代码进行解析,从里面提取我们需要的数据。

在python中使用BeautifulSoup库进行html代码的解析。

(注:如果没有安装此库,则使用pip install BeautifulSoup进行安装即可!)

BeautifulSoup使用的格式如下:

BeautifulSoup(html,"html.parser")

第一个参数为需要提取数据的html,第二个参数是指定解析器,然后使用find_all()读取html标签中的内容。

但是html中有这么多的标签,该读取哪些标签呢?其实,最简单的办法是可以打开我们爬取网页的html代码,然后查看我们需要的数据在哪个html标签里面,再进行读取就可以了。如下图所示:

澳门金莎娱乐 14

从上图中可以看出在div 标签开始是我们想要的数据,里面有电影的名称、评分、主演等信息。所以相应的代码编写如下:

frombs4importBeautifulSoupasbssoup = bs(html_data,'html.parser') nowplaying_movie = soup.find_all('div', id='nowplaying')nowplaying_movie_list = nowplaying_movie[0].find_all('li', class_='list-item')

其中nowplaying_movie_list 是一个列表,可以用print(nowplaying_movie_list[0])查看里面的内容,如下图所示:

澳门金莎娱乐 15

python学习交流群:923414804,群内每天分享干货,包括最新的企业级案例学习资料和零基础入门教程,欢迎小伙伴入群学习。

在上图中可以看到data-subject属性里面放了电影的id号码,而在img标签的alt属性里面放了电影的名字,因此我们就通过这两个属性来得到电影的id和名称。(注:打开电影短评的网页时需要用到电影的id,所以需要对它进行解析),编写代码如下:

nowplaying_list = []foriteminnowplaying_movie_list:nowplaying_dict = {} nowplaying_dict['id'] = item['data-subject']fortag_img_iteminitem.find_all: nowplaying_dict['name'] = tag_img_item['alt'] nowplaying_list.append(nowplaying_dict)

其中列表nowplaying_list中就存放了最新电影的id和名称,可以使用print(nowplaying_list)进行查看,如下图所示:

澳门金莎娱乐 16

可以看到和豆瓣网址上面是匹配的。这样就得到了最新电影的信息了。接下来就要进行对最新电影短评进行分析了。例如《战狼2》的短评网址为:

其中26363254就是电影的id,start=0表示评论的第0条评论。

接下来接对该网址进行解析了。打开上图中的短评页面的html代码,我们发现关于评论的数据是在div标签的comment属性下面,如下图所示:

澳门金莎娱乐 17

因此对此标签进行解析,代码如下:

requrl=' nowplaying_list[0]['id'] +'/comments'+'?'+'start=0'+'&limit=20'resp= request.urlopenhtml_data= resp.read().decodesoup= bs(html_data,'html.parser')comment_div_lits= soup.find_all('div', class_='comment')

此时在comment_div_lits 列表中存放的就是div标签和comment属性下面的html代码了。在上图中还可以发现在p标签下面存放了网友对电影的评论,如下图所示:

澳门金莎娱乐 18

因此对comment_div_lits 代码中的html代码继续进行解析,代码如下:

eachCommentList = [];foritemincomment_div_lits:ifitem.find_all[0].stringisnotNone: eachCommentList.append(item.find_all[0].string)

使用print(eachCommentList)查看eachCommentList列表中的内容,可以看到里面存里我们想要的影评。如下图所示:

澳门金莎娱乐 19

好的,至此我们已经爬取了豆瓣最近播放电影的评论数据,接下来就要对数据进行清洗和词云显示了。

二、数据清洗

为了方便进行数据进行清洗,我们将列表中的数据放在一个字符串数组中,代码如下:

comments =''forkinrange(len(eachCommentList)): comments = comments + (str(eachCommentList[k])).strip()

使用print进行查看,如下图所示:

澳门金莎娱乐 20

可以看到所有的评论已经变成一个字符串了,但是我们发现评论中还有不少的标点符号等。这些符号对我们进行词频统计时根本没有用,因此要将它们清除。所用的方法是正则表达式。python中正则表达式是通过re模块来实现的。代码如下:

importrepattern = re.compile(r'[u4e00-u9fa5]+')filterdata = re.findall(pattern, comments)cleaned_comments =''.join(filterdata)

继续使用print(cleaned_comments)语句进行查看,如下图所示:

澳门金莎娱乐 21

我们可以看到此时评论数据中已经没有那些标点符号了,数据变得“干净”了很多。

因此要进行词频统计,所以先要进行中文分词操作。在这里我使用的是结巴分词。如果没有安装结巴分词,可以在控制台使用pip install jieba进行安装。(注:可以使用pip list查看是否安装了这些库)。代码如下所示:

import jieba#分词包import pandas as pd segment = jieba.lcut(cleaned_comments)words_df=pd.DataFrame({'segment':segment})

因为结巴分词要用到pandas,所以我们这里加载了pandas包。可以使用words_df.head()查看分词之后的结果,如下图所示:

澳门金莎娱乐 22

从上图可以看到我们的数据中有“看”、“太”、“的”等虚词,而这些词在任何场景中都是高频词,并且没有实际的含义,所以我们要将他们清除。

我把停用词放在一个stopwords.txt文件中,将我们的数据与停用词进行比对即可(注:只要在百度中输入stopwords.txt,就可以下载到该文件)。去停用词代码如下:

stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep="t",names=['stopword'], encoding='utf-8')#quoting=3全不引用words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

继续使用words_df.head()语句来查看结果,如下图所示,停用词已经被除去了。

澳门金莎娱乐 23

接下来就要进行词频统计了,代码如下:

import numpy#numpy计算包words_stat=words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})words_stat=words_stat.reset_index().sort_values(by=["计数"],ascending=False)

用words_stat.head()进行查看,结果如下:

澳门金莎娱乐 24

由于我们前面只是爬取了第一页的评论,所以数据有点少,在最后给出的完整代码中,我爬取了10页的评论,所以数据还是有一定参考价值的。

三、用词云进行显示

代码如下:

importmatplotlib.pyplotasplt%matplotlib inlineimportmatplotlibmatplotlib.rcParams['figure.figsize'] = fromwordcloudimportWordCloud#词云包wordcloud=WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=80)#指定字体类型、字体大小和字体颜色word_frequence = {x[0]:x[1]forxinwords_stat.head.values}word_frequence_list = []forkeyinword_frequence: temp = (key,word_frequence[key]) word_frequence_list.appendwordcloud=wordcloud.fit_words(word_frequence_list)plt.imshow(wordcloud)

其中simhei.ttf使用来指定字体的,可以在百度上输入simhei.ttf进行下载后,放入程序的根目录即可。显示的图像如下:

澳门金莎娱乐 25

到此为止,整个项目的介绍就结束了。由于自己也还是个初学者,接触python不久,代码写的并不好。而且第一次写技术博客,表达的有些冗余,请大家多多包涵,有不对的地方,请大家批评指正。以后我也会将自己做的小项目以这种形式写在博客上和大家一起交流!最后贴上完整的代码。

完整代码

#coding:utf-8

__author__ = 'hang'

import warnings

warnings.filterwarnings

import jieba #分词包

import numpy #numpy计算包

import codecs #codecs提供的open方法来指定打开的文件的语言编码,它会在读取的时候自动转换为内部unicode

import re

import pandas as pd

import matplotlib.pyplot as plt

from urllib import request

from bs4 import BeautifulSoup as bs

%matplotlib inline

import matplotlib

matplotlib.rcParams['figure.figsize'] = (10.0, 5.0)

from wordcloud import WordCloud#词云包

#分析网页函数

def getNowPlayingMovie_list():

resp = request.urlopen('')

html_data = resp.read().decode

soup = bs(html_data, 'html.parser')

nowplaying_movie = soup.find_all('div', id='nowplaying')

nowplaying_movie_list = nowplaying_movie[0].find_all('li', class_='list-item')

nowplaying_list = []

for item in nowplaying_movie_list:

nowplaying_dict = {}

nowplaying_dict['id'] = item['data-subject']

for tag_img_item in item.find_all:

nowplaying_dict['name'] = tag_img_item['alt']

nowplaying_list.append(nowplaying_dict)

return nowplaying_list

#爬取评论函数

def getCommentsById(movieId, pageNum):

eachCommentList = [];

if pageNum>0:

start = (pageNum-1) * 20

else:

return False

requrl = '' + movieId + '/comments' +'?' +'start=' + str + '&limit=20'

print

resp = request.urlopen

html_data = resp.read().decode

soup = bs(html_data, 'html.parser')

comment_div_lits = soup.find_all('div', class_='comment')

for item in comment_div_lits:

if item.find_all[0].string is not None:

eachCommentList.append(item.find_all[0].string)

return eachCommentList

def main():

#循环获取第一个电影的前10页评论

commentList = []

NowPlayingMovie_list = getNowPlayingMovie_list()

for i in range:

num = i + 1

commentList_temp = getCommentsById(NowPlayingMovie_list[0]['id'], num)

commentList.append(commentList_temp)

#将列表中的数据转换为字符串

comments = ''

for k in range(len(commentList)):

comments = comments + (str(commentList[k])).strip()

#使用正则表达式去除标点符号

pattern = re.compile(r'[u4e00-u9fa5]+')

filterdata = re.findall(pattern, comments)

cleaned_comments = ''.join(filterdata)

#使用结巴分词进行中文分词

segment = jieba.lcut(cleaned_comments)

words_df=pd.DataFrame({'segment':segment})

#去掉停用词

stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep="t",names=['stopword'], encoding='utf-8')#quoting=3全不引用

words_df=words_df[~words_df.segment.isin(stopwords.stopword)]

#统计词频

words_stat=words_df.groupby(by=['segment'])['segment'].agg({"计数":numpy.size})

words_stat=words_stat.reset_index().sort_values(by=["计数"],ascending=False)

#用词云进行显示

wordcloud=WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=80)

word_frequence = {x[0]:x[1] for x in words_stat.head.values}

word_frequence_list = []

for key in word_frequence:

temp = (key,word_frequence[key])

word_frequence_list.append

wordcloud=wordcloud.fit_words(word_frequence_list)

plt.imshow(wordcloud)

#主函数

main()

结果显示如下:

澳门金莎娱乐 26

上图基本反映了《战狼2》这部电影的情况。PS:我本人并不喜欢这部电影,内容太空洞、太假,为了爱国而爱国,没意思。哎,这两年真是国产电影的低谷啊,没有一部拿得出手的国产电影,看看人家印度拍的《摔跤吧,爸爸》那才是拍的有深度,同样是表现爱国,国产电影还是需要向别的国家好好学学。

版权声明:本文由澳门金莎娱乐发布于关于澳门金莎,转载请注明出处:分析豆瓣中最新电影的影评,用python更加了解微信好友