Python使用笔记

Posted by wsxq2 on 2022-03-16
TAGS:  FROM_DOCXPython

本文最后一次编辑时间:2022-03-16 15:47:33 +0800

引言

本文是对Python使用笔记的补充

多进程与多线程

Python更推荐使用多进程,而非多线程

启动与CPU核心数量相同的N个线程,在4核CPU上可以监控到CPU占用率仅有102%,也就是仅使用了一核。

但是用C、C++或Java来改写相同的死循环,直接可以把全部核心跑满,4核就跑到400%,8核就跑到800%,为什么Python不行呢?

因为Python的线程虽然是真正的线程,但解释器执行代码时,有一个GIL锁:Global Interpreter Lock,任何Python线程执行前,必须先获得GIL锁,然后,每执行100条字节码,解释器就自动释放GIL锁,让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁,所以,多线程在Python中只能交替执行,即使100个线程跑在100核CPU上,也只能用到1个核。

GIL是Python解释器设计的历史遗留问题,通常我们用的解释器是官方实现的CPython,要真正利用多核,除非重写一个不带GIL的解释器。

所以,在Python中,可以使用多线程,但不要指望能有效利用多核。如果一定要通过多线程利用多核,那只能通过C扩展来实现,不过这样就失去了Python简单易用的特点。

不过,也不用过于担心,Python虽然不能利用多线程实现多核任务,但可以通过多进程实现多核任务。多个Python进程有各自独立的GIL锁,互不影响。

——引用自多线程 - 廖雪峰的官方网站

pdb

debugging - How do you pass script arguments to pdb (Python)? - Stack Overflow

scapy

python - Get all the layers in a packet - Stack Overflow

requests

遇到过的问题

修订记录

修订时间 修订人 版本 说明
TODO wsxq2 1.0 初稿