之前发布的抖音视频爬取教程已经失效,最近有空将加密算法做了更新,接着又更新了一个异步版本。不过那个还不完善,就暂时就先不上线了。
为了方便大家使用(其实真正的目的是自己想下载很多好看的小姐姐的视频),目前支持的功能有:
-
下载该用户发不过的视频
-
下载该用户点赞过的视频
-
下载单视频下的评论信息
-
下载单个视频
项目地址:
https://github.com/hacksman/spider_world
目前大家可以在项目地址:www_douyin_com/spiders/douyin_crawl.py 下,根据最下方的提示,修改指定的参数运行代码
# 关注公众号【鸡仔说】回复【抖音】获取自己的唯一 token 号
# 注:提取了 Token 值后,在 /www_douyin_com/config.py 中,将 token 值替换之后才可以运行,
# 不温馨提示:每日的 api 次数有限,省着点用~😬😬
douyin = DouyinCrawl(TOKEN)
aweme_id = "6675585689419091212"
user_id = "58958068057"
# 下载用户发不过的视频
douyin.grab_user_media(user_id, "USER_POST")
# 下载用户点赞过的视频
# douyin.grab_user_media(user_id, "USER_LIKE")
# 下载单个视频
# douyin.download_one_video(aweme_id)
# 下载单个视频的评论信息
# douyin.grab_comment_main(aweme_id)
如何使用
step.1:拷贝项目至本地
$ git clone https://github.com/hacksman/spider_world.git
$ cd spider_world/www_douyin_com/
step 2:关注公众号【鸡仔说】回复关键字【抖音】获取你的 token 值
step 3:根据你的需求修改爬取参数
如何获取 user_id 或 aweme_id 可参照我的上一篇教程
然后在 /www_douyin_com/config.py 中,最下方修改你获取的 user_id 或 aweme_id
step 4:运行爬虫
$ cd ./spider_world/www_douyin_com/spiders
$ python douyin_crawl.py
如果正常运行你将会获得如下提示:
2019-05-07 20:06:15,310 - douyin_crawl.py[line:107] INFO - 当前正在爬取 user id 为 58958068057 的第 👉 1 👈 页内容...
2019-05-07 20:06:17,074 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_终于等到冯提莫首场个人演唱会,就要实现啦~我们一起期待吧!
2019-05-07 20:06:22,617 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_周一啦!的视频送给你们!@抖音小助手
2019-05-07 20:06:28,241 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_写了一封抖音小助手
2019-05-07 20:06:36,235 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_一首好听给你听~还想听什么评论告诉我哦~
2019-05-07 20:06:41,796 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_准备进军留我的嘛?人称地表最强一米五🤨@抖音小助手
2019-05-07 20:06:47,170 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_突然想通音小助手
2019-05-07 20:06:52,657 - douyin_crawl.py[line:231] INFO - download_favorite_video 正在下载视频 冯提莫_58958068057_很多人说是想起了自己的故事吧~Afterlove《看到风》MV即将上线~
在 /www_douyin_com/videos/ 下你将会看到一个以作者昵称命名的文件夹,里面就是对应的你需要下载的视频啦。爬取结果如下
备注
为了避免滥用接口,鸡仔对接口的请求次数做了限制,如果你在使用的过程中,遇到了诸如一下的提示,说明你今日的次数调用得有点多啦,你可以拿更多的微信关注公众号获取次数,或者明日再来请求吧
您当日的 api 次数已经使用完毕, 请明日再来爬取吧...
-------此处省略了部分错误日志-------
requests.exceptions.MissingSchema: Invalid URL 'None': No schema supplied. Perhaps you meant http://None?