Python爬虫基础：多进程——multiprocessing模块的使用

multiprocessing模块

multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以使用multiprocessing.Proces 对象来创建一个进程。

该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同，也start(),run()的方法。

此外multiprocessing包中也有Lock/Event/Semaphore/Condition类(这些对象可以像多线程那样，通过参数传递给各个进程)，用以同步进程，其用法与threading包中的同名类一致。

所以，multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。接下来我们通过一个案例学习:

import time
import multiprocessing
 
def download () :
    print("开始下载文件...")
    time.sleep(1)
    print("完成下载文件...")
 
def upload() :
    print("开始上传文件...")
    time.sleep(1)
    print("完成上传文件...")
 
#download()
# upload()
#多进程与多线程的使用方式是差不多的
download_process = multiprocessing.Process(target=download)
upload_process = multiprocessing. Process(target=upload)
if _name_ == '_main_':
    #多进程必须要在 if _name_ == "_main_”里面
    download_process.start()
    upload_process.start ()
    #默认情况下，主进程代码运行完毕之后会等待子进程结束
    print('--主进程运行完了---')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

上述代码是一个非常简单的程序，一旦运行这个程序，按照代码的执行顺序，download 函数执行完毕后才能执行upload 函数﹒如果可以让download和upload同时运行，显然执行这个程序的效率会大大提升。

要点：

1. 进程(Process)是资源分配的最小单位
2. 多进程是Python程序中实现多任务的一种方式，使用多进程可以大大提高程序的执行效率

进程的创建

1. 导入进程包
   import multiprocessing
2. 通过进程类创建进程对象
   进程对象= multiprocessing.Process()
3. 启动进程执行任务
   进程对象.start()

通过进程类创建进程对象

进程对象=multiprocessing.Process(target=任务名)

进程的参数传递

进程执行带有参数的任务传参有两种方式：

• 元组方式传参∶元组方式传参一定要和参数的顺序保持一致。
• 字典方式传参:字典方式传参字典中的key一定要和参数名保持一致。