dmsc_v2数据集
- 数据概览: 28 部电影,超 70 万 用户,超 200 万条 评分/评论 数据
- 推荐实验: 推荐系统、情感/观点/评论 倾向性分析
- 数据来源:豆瓣电影
- 原数据集: Douban Movie Short Comments Dataset V2
- 加工处理:
- 去重并整理成与 MovieLens 兼容的格式
- 进行脱敏操作,以保护用户隐私
import pandas as pd
path = 'dmsc_文件夹_所在_路径'
1. movies.csv
加载数据
movies = pd.read_csv(path + 'movies.csv')
print('电影数目:%d' % movies.shape[0])
电影数目:28
字段说明
字段 |
说明 |
movieId |
电影 id (从 0 开始,连续编号) |
title |
英文名称 |
title_cn |
中文名称 |
movies
|
movieId |
title |
title_cn |
0 |
0 |
Avengers Age of Ultron |
复仇者联盟2 |
1 |
1 |
Big Fish and Begonia |
大鱼海棠 |
2 |
2 |
Captain America Civil War |
美国队长3 |
3 |
3 |
Chinese Zodiac |
十二生肖 |
4 |
4 |
Chronicles of the Ghostly Tribe |
九层妖塔 |
5 |
5 |
CUG King of Heroes |
大圣归来 |
6 |
6 |
Forever Young |
栀子花开 |
7 |
7 |
Goodbye Mr. Loser |
夏洛特烦恼 |
8 |
8 |
Iron Man |
钢铁侠1 |
9 |
9 |
Journey to the West Conquering the Demons |
西游降魔篇 |
10 |
10 |
Journey to the West The Demons Strike Back |
西游伏妖篇 |
11 |
11 |
La La Land |
爱乐之城 |
12 |
12 |
Lost In Thailand |
泰囧 |
13 |
13 |
My Sunshine |
何以笙箫默 |
14 |
14 |
Operation Mekong |
湄公河行动 |
15 |
15 |
Soulmate |
七月与安生 |
16 |
16 |
The Avengers |
复仇者联盟 |
17 |
17 |
The Continent |
后会无期 |
18 |
18 |
The Ghouls |
寻龙诀 |
19 |
19 |
The Great Wall |
长城 |
20 |
20 |
The Left Ear |
左耳 |
21 |
21 |
The Mermaid |
美人鱼 |
22 |
22 |
Tiny Times 1.0 |
小时代1 |
23 |
23 |
Tiny Times 3.0 |
小时代3 |
24 |
24 |
Train to Busan |
釜山行 |
25 |
25 |
Transformers Age of Extinction |
变形金刚4 |
26 |
26 |
Your Name |
你的名字 |
27 |
27 |
Zootopia |
疯狂动物城 |
2. ratings.csv
加载数据
ratings = pd.read_csv(path + 'ratings.csv')
print('用户数据:%d' % ratings.userId.unique().shape[0])
print('评分数目:%d' % ratings.shape[0])
用户数据:738701
评分数目:2125056
字段说明
字段 |
说明 |
userId |
用户 id (从 0 开始,连续编号) |
movieId |
即 movies.csv 中的 movieId |
rating |
评分,[1,5] 之间的整数 |
timestamp |
评分时间戳 |
comment |
评论内容 |
like |
该评论被多少人点赞 |
ratings.sample(20)
|
userId |
movieId |
rating |
timestamp |
comment |
like |
1763779 |
130888 |
24 |
5 |
1474560000 |
原著的剧本不是这样的,而是最后只有那个自私鬼活了下来。孕妇中枪,小孩中枪的时候哭出了声音,... |
1 |
1608147 |
23695 |
22 |
2 |
1377360000 |
郭敬明真的要为中国产生如此大规模的青少年脑残群体负一定责任 = = |
0 |
1735498 |
323858 |
24 |
3 |
1473696000 |
三分不能再多。其中一分给壮汉大叔,帅过男主。 |
0 |
1631095 |
218188 |
22 |
3 |
1372953600 |
柯震东露点 给三星 后面的彩蛋很欢乐 |
0 |
1193163 |
155900 |
17 |
4 |
1406390400 |
给四星不是因为电影有那么好,文艺腔调有,公路片元素够,但好看程度其实低于预期,但是因为是韩... |
0 |
1874658 |
8534 |
26 |
4 |
1480780800 |
身体互换和改变未来都是老梗了,算是半新不旧的瓶装了个旧酒吧,不过倒是不错,意外的好看,伏笔... |
1 |
645671 |
312247 |
9 |
4 |
1476979200 |
念念不忘,必有回响… |
0 |
1681543 |
284941 |
23 |
4 |
1409673600 |
看到她们在雪地的那段,居然很感动 |
0 |
1042238 |
100689 |
15 |
5 |
1474214400 |
以前看安妮宝贝时期....最喜欢的小说之一 |
0 |
1672379 |
139726 |
23 |
2 |
1406736000 |
郭小四不是标榜自己时尚品味吗?四个女主一个镜头换一身皮草哪来的品味啊??(客观的说,叙事增... |
0 |
1823549 |
447412 |
25 |
2 |
1405958400 |
擎天柱胸前蓝色的部分装着生命所需的能量和他的记忆。这让我更加坚信一些东西,只是然后的然后我... |
0 |
1112590 |
495975 |
16 |
4 |
1336838400 |
浩克抖包袱…… |
0 |
210239 |
123095 |
3 |
4 |
1390320000 |
轻松愉快,打斗设置还不错 |
0 |
2093623 |
232598 |
27 |
5 |
1474560000 |
比之前大热的冰雪奇缘好太多,一部全家人都可以坐在一起看的电影。 |
0 |
583777 |
322422 |
8 |
5 |
1301500800 |
的确比蜘蛛侠超人什么什么的好看 |
0 |
1914937 |
75819 |
26 |
4 |
1473955200 |
真的棒。但是我自己还是不那么喜欢。 |
0 |
1211561 |
514748 |
17 |
4 |
1407427200 |
。 |
0 |
1965672 |
704638 |
26 |
5 |
1480953600 |
陪朋友去看的,本身我是拒绝这类小清新的电影的,而且在刚开始的时候说实话没怎么看懂,不过看到... |
0 |
1935211 |
259717 |
26 |
4 |
1480694400 |
时间与空间错乱里的爱情 温暖又幽默 |
0 |
839108 |
426801 |
11 |
5 |
1486742400 |
Here is to the ones who dream. |
0 |
3. 用于 情感/观点/评论 倾向性分析
筛选出带有较明显倾向性的评论(1星和5星的评分)
ratings_with_opinions = ratings[(ratings.rating==1) | (ratings.rating==5)]
print('正向(5星)数目:%d' % (ratings_with_opinions[ratings_with_opinions.rating==5].shape[0]))
print('负向(1星)数目:%d' % (ratings_with_opinions[ratings_with_opinions.rating==1].shape[0]))
ratings_with_opinions.sample(20)
正向(5星)数目:638106
负向(1星)数目:190927
|
userId |
movieId |
rating |
timestamp |
comment |
like |
405540 |
251302 |
5 |
5 |
1436976000 |
路人转自来水!大圣帅气!我要生猴子~~~^-^ |
0 |
159308 |
18639 |
2 |
5 |
1462636800 |
冬兵从醒了以后就应该要求被冻起来,美队这个人烂的真要命。心疼tony。 |
0 |
1329674 |
127217 |
18 |
5 |
1451059200 |
超级棒!远远超出预期 免费水军来了哈哈哈哈 |
0 |
1945766 |
75720 |
26 |
5 |
1476460800 |
为爱而动 |
0 |
1706244 |
29721 |
23 |
1 |
1406131200 |
看小时代3的时候真是太壮观了整个场子那个乱啊打电话的聊天的中途上厕所的没办法大家提不起兴趣... |
0 |
1271715 |
546029 |
17 |
1 |
1406217600 |
可以给零分么 |
0 |
394698 |
243184 |
5 |
5 |
1437926400 |
一直听网友说好,今天去电影院看了下。真的不错,是中国动漫的一个值得一看的作品。太多的喜羊羊... |
0 |
324077 |
208900 |
5 |
5 |
1437062400 |
先吐槽一下自己的泪点,太低了。小和尚太像弟弟小时候的样子了。整部电影是良心之作,国产地影这... |
0 |
1004222 |
186241 |
14 |
5 |
1475942400 |
主旋律片的杰出代表,节奏顺畅快速。看得人热血沸腾! |
0 |
198523 |
5774 |
2 |
5 |
1462723200 |
迄今看过最精彩的漫威电影 其实整个剧情核心是复仇 但是这个复仇点真心满怪的 队长还是一如既... |
0 |
2014461 |
25511 |
27 |
5 |
1457280000 |
try everything!动物界的乌托邦 nick真的好苏好腹黑啊啊(原谅我带入了小说 |
0 |
2101031 |
727978 |
27 |
5 |
1462550400 |
讲真很棒! |
0 |
1614137 |
64084 |
22 |
1 |
1374768000 |
最后雪中的姐妹情。 |
0 |
1980114 |
248321 |
26 |
5 |
1480867200 |
时空的跨越,绝对不能忘记的,你的名字。 |
0 |
1829632 |
18891 |
25 |
5 |
1403884800 |
请记住一个特效片是不需要完美剧情的。在电影院看的就是特效,没有其他。给特效满分。顶端水平。... |
0 |
276335 |
186281 |
4 |
1 |
1443715200 |
不知道在演什么鬼 |
1 |
2090682 |
214830 |
27 |
5 |
1457193600 |
这狐狸怎么那么苏!!!反差萌的梗简直炉火纯青 |
4 |
2108227 |
731117 |
27 |
5 |
1458403200 |
树懒梗可爱到爆。乌托邦社会的构建反讽了乌托邦社会设想,号称没有偏见的世界里,本身就是由偏见... |
0 |
864728 |
10418 |
12 |
5 |
1355673600 |
啥也不说了,从头笑到尾,差点没乐死我,最后又赚了些感动 |
0 |
422130 |
263856 |
5 |
5 |
1436544000 |
很感动很用心 |
0 |