2024年3月19日
仓库描述
https://github.com/NanmiCoder/MediaCrawler
MediaCrawler-main.zip
小红书爬虫,抖音爬虫, 快手爬虫, B站爬虫, 微博爬虫...。
目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。
原理:利用playwright搭桥,保留登录成功后的上下文浏览器环境,通过执行JS表达式获取一些加密参数
通过使用此方式,免去了复现核心加密JS代码,逆向难度大大降低
视频配置教程:MediaCrawler视频入门教程
功能列表
平台
Cookie 登录
二维码登录
指定创作者主页
关键词搜索
指定视频/帖子 ID 爬取
登录状态缓存
数据保存
IP 代理池
滑块验证码
小红书
✅
✅
✅
✅
✅
✅
✅
✅
✕
抖音
✅
✅
✕
✅
✅
✅
✅
✅
✅
快手
✅
✅
✕
✅
✅
✅
✅
✅
✕
B 站
✅
✅
✕
✅
✅
✅
✅
✅
✕
微博
✅
✅
✕
✅
✅
✅
✅…