2024年3月19日

Python: 开源多平台爬虫

仓库描述 https://github.com/NanmiCoder/MediaCrawler MediaCrawler-main.zip 小红书爬虫,抖音爬虫, 快手爬虫, B站爬虫, 微博爬虫...。 目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。 原理:利用playwright搭桥,保留登录成功后的上下文浏览器环境,通过执行JS表达式获取一些加密参数 通过使用此方式,免去了复现核心加密JS代码,逆向难度大大降低 视频配置教程:MediaCrawler视频入门教程  功能列表 平台 Cookie 登录 二维码登录 指定创作者主页 关键词搜索 指定视频/帖子 ID 爬取 登录状态缓存 数据保存 IP 代理池 滑块验证码 小红书 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✕ 抖音 ✅ ✅ ✕ ✅ ✅ ✅ ✅ ✅ ✅ 快手 ✅ ✅ ✕ ✅ ✅ ✅ ✅ ✅ ✕ B 站 ✅ ✅ ✕ ✅ ✅ ✅ ✅ ✅ ✕ 微博 ✅ ✅ ✕ ✅ ✅ ✅ ✅…
2024年3月13日

Python: Python中函数的定义以及调用先后顺序

一、解释型语言 解释型语言:程序不需要编译,程序在运行时才翻译成机器语言,每执 行一次都要翻译一次。因此效率比较低。 解释型语言是相对于编译型语言存在的,源代码不是直接翻译成机器语言,而是先翻译成中间代码,再由解释器对中间代码进行解释运行。比如 Python / JavaScript / Perl / Shell 等都是解释型语言。比如Basic语言,专门有一个解释器能够直接执行Basic程 序,每个语句都是执行的时候才翻译。(在运行程序的时候才翻译,专门有一个解释器去进行翻译,每个语句都是执行的时候才翻译。效率比较低,依赖解释器,跨平台性好.) 一个是编译,一个是解释。两种方式只是翻译的时间不同。编译型语言写的程序执行之前,需要一个专门的编译过程,把程序编译成为机器语言的文件,比如exe文件,以后要运行的话就不用重新翻译了,直接使用编…
2024年2月10日

Python: PyCharm tab代码补全会覆盖后面内容的解决办法

1. 问题概述: PyCharm tab代码补全会覆盖后面的内容。 比如:想在func()前加一个obj.,当输入ob提示可以自动补全为obj时,按tab,后面的func会被覆盖,变成obj()。 2. 相关原因: 因为Jetbrains系列和其他IDE对tab快捷键的定义不太一样,按tab会补全代码并覆盖后面的内容,enter则是补全代码不覆盖。 3. 解决办法: Windows 和 Linux下,通过菜单 File | Settings | Keymap 或快捷键 Ctrl+Alt+S 打开设置窗口,如下图: 可以看到tab快捷键为选择查询条目替换,enter为选择查询条目 为何是“选择查询条目替换”而不是“补全代码替换”,不得而知,但修改这两个按键映射确实解决了问题: 在“选择查询条目替换”上单击右键,然后选择“删除 Tab” 在“选择查询条目”上单击右…
2024年1月26日

Python: Python代码风格指南 中文版 Style Guide for Python Code Chinese Version

英文版:https://blog.norria.com/python-style_guide_for_python_code 目录 介绍 A Foolish Consistency is the Hobgoblin of Little Minds 代码布局 缩进 制表符或空格? 最大线长 二进制运算符之前或之后应该断线吗? 空白行 源文件编码 Imports 模块级别地下名称 字符串语录 表达式和语句中的空格 Pet Peeves  其他建议  何时使用尾随逗号  注释  块注释  内联评论 命名公约  要避免的名称  ASCII 兼容性  包装和模块名称  类名  类型变量名称  [异常名称]  [全局变量名称]  函数和变量名称  功能和方法参数  方法名称和实例变量  常量  继承设计 编程建议  功能注释 变量注解 参考 版权…
2023年12月31日

Python: Jupyter 快速配置远程访问

Jupyter 默认是不允许远程访问的,只能本地访问。但是很多时候,我们是需要远程访问的。 官方文档: Running a public Jupyter Server https://jupyter-server.readthedocs.io/en/latest/operators/public-server.html 快速配置远程访问 conda activate 虚拟环境名 #激活到自己的工作环境中 pip install jupyter #如果没有安装 jupyter 的话,就安装 jupyter notebook password #设置 jupyter 的密码,并生成自己配置文件,目录在 ~/.jupyter/jupyter_notebook_config.py 接下来配置一下 jupyter 配置文件就ok pip install vi #如果没有安装 vi 文本编辑…
2023年10月16日

Python: PostgreSQL Python 教程 Tutorial

目录 Python 有各种用于 PostgreSQL 的数据库驱动程序。目前,psycopg 是 Python 语言最流行的 PostgreSQL 数据库适配器。psycopg 完全实现了 Python DB-API 2.0 规范。 psycopg 的当前版本是 2 或 psycopg2。psycopg2 数据库适配器以 C 语言作为 libpq 包装器实现,既快速又安全。psycopg2 提供了许多有用的功能,例如客户端和服务器端游标、异步通知和通信、COPY 命令支持等。 此外,psycopg2 驱动程序支持许多开箱即用的 Python 类型。psycopg2 将Python 对象与 PostgreSQL 数据类型相匹配,例如,列表与数组、元组与记录、字典与 hstore。如果你想定制和扩展类型适配,你可以使用灵活的对象适配系统。 此 PostgreSQL Python 部分涵盖了在…
2023年9月6日

Python: SciPy User Guide 用户手册

On this page Subpackages Executable tutorials SciPy User Guide https://docs.scipy.org/doc/scipy/tutorial/index.html#scipy-user-guide SciPy is a collection of mathematical algorithms and convenience functions built on NumPy . It adds significant power to Python by providing the user with high-level commands and classes for manipulating and visualizing data. Subpackages# SciPy is organized into subpackages co…
2023年9月4日

Python: Matplotlib 交互模式绘图

Interactive figures https://matplotlib.org/stable/users/explain/interactive.html#interactive-figures When working with data, interactivity can be invaluable. The pan/zoom and mouse-location tools built into the Matplotlib GUI windows are often sufficient, but you can also use the event system to build customized data exploration tools. See also Creating, viewing, and saving Matplotlib Figures. Matplotlib…
2023年9月4日

Python: Matplotlib plot types 常用图表类型及绘图命令

Plot types https://matplotlib.org/stable/plot_types/#plot-types Overview of many common plotting commands in Matplotlib. Note that we have stripped all labels, but they are present by default. See the gallery for many more examples and the tutorials page for longer examples. Basic Basic plot types, usually y versus x. plot(x, y) scatter(x, y) bar(x, height) stem(x, y) fill_between(x, y1, y2) stackplot(x, y) Plots of a…