前言

嗨喽！大家好呀~

今天我们来采集专业的互联网求职招聘网站

致力于提供真实可靠的互联网岗位求职招聘找工作信息

环境介绍：

python 3.8
pycharm 2021.2 专业版激活码

模块使用:

内置模块:

import pprint >>> 格式化输入模块
import csv >>> 保存csv文件
import re >>> re 正则表达式
import time >>> 时间模块
import json >>> json

第三方模块:

import requests >>> 数据请求模块 pip install requests

win + R 输入cmd 输入安装命令 pip install 模块名如果出现爆红可能是因为网络连接超时切换国内镜像源

如何实现一个爬虫案例(爬虫基本流程思路):

一. 数据来源分析

确定自己想要获取数据是什么?
爬取是什么网站, 网上上面什么数据
通过开发者工具, 进行抓包分析, 分析我们想要数据是来自于哪里

二. 代码实现步骤过程: 最基本四个步骤发送请求，获取数据，解析数据，保存数据

发送请求, 对于刚刚分析的到url地址发送get请求 (并且模拟浏览器发送请求)
获取数据, 获取服务器返回response响应数据
解析数据, 提取我们想要数据内容, 招聘信息基本数据
保存数据, 把数据保存本地表格

1、get 是从服务器上面获取数据 post 是向服务器传送数据

2、get请求参数,会直接显示在url链接上面, post在请求体里面的隐性传递

代码

# # 导入数据数据请求模块
# import requests  # 第三方模块 需要 pip install requests
# # 导入正则
# import re
# import json
# # 导入格式化输出模块
# import pprint
# # 导入csv模块
# import csv
#
# f = open('招聘.csv', mode='a', encoding='utf-8', newline='')
# csv_writer = csv.DictWriter(f, fieldnames=[
#     '职位名字',
#     '公司名字',
#     '工作城市',
#     '学历要求',
#     '经验要求',
#     '薪资待遇',
#     '公司地址',
#     '公司规模',
#     '详情页',
# ])
# csv_writer.writeheader()  # 写入表头
# for page in range(1, 11):
#     # 1. 发送请求, 对于刚刚分析的到url地址发送get请求 (并且模拟浏览器发送请求)
#     url = f''
#     # headers 请求头 用伪装python代码 可以把python代码伪装浏览器去发送请求
#     # 通过request这个模块里面get请求方法 对于url地址发送请求, 并且携带上headers请求头伪装, 最后用自定义变量response接收返回数据
#     response = requests.get(url=url, headers=headers)
#     # <Response [200]>  <>对象的意思 response对象 200 状态码表示请求成功
#     # 2. 获取数据, 获取服务器返回response响应数据
#     # print(response.text)  # print() 打印函数 response.text 获取响应对象文本数据(获取网页源代码) 字符串数据类型
#     # 3. 解析数据提取我们想要数据 正则表达式在付费课程 2.5个小时讲解内容
#     """
#     <span>未融资</span>
#     <span>(.*?)</span>
#     () 精确匹配 表示自己想要数据内容  不加括号 泛匹配 可以匹配但是不要
#     . 匹配任意字符(除了换行符\n)  * 匹配前一个字符0个或者无限  ? 非贪婪匹配模式
#     re.findall('匹配规则', 从哪里找数据)  通过re里面findall的方法 从response.text里面去找寻关于
#     <script id="__NEXT_DATA__" type="application/json">(.*?)</script> 数据中 的(.*?) 是我们要提取出来的
#     """
#     html_data = re.findall('<script id="__NEXT_DATA__" type="application/json">(.*?)</script>', response.text)[0]
#     # print(html_data)  # 字符串数据 需要把字符串数据转成字典
#     json_data = json.loads(html_data)  # 把字符串(完整数据结构)转成字典
#     # print(json_data)
#     pprint.pprint(json_data)  # 格式化输出字典数据 展开效果
#     # 字典取值 根据冒号左边的内容(键), 提取冒号右边的内容(值)
#     for index in json_data['props']['pageProps']['initData']['content']['positionResult']['result']:
#         # pprint.pprint(index)
#         job_info = index['positionDetail'].replace('<br />', '').replace('<br>', '')  # 岗位职责
#         href = f''
#         dit = {
#             '职位名字': index['positionName'],
#             '公司名字': index['companyFullName'],
#             '工作城市': index['city'],
#             '学历要求': index['education'],
#             '经验要求': index['workYear'],
#             '薪资待遇': index['salary'],
#             '公司地址': index['positionAddress'],
#             '公司规模': index['companySize'],
#             '详情页': href
#         }
#         csv_writer.writerow(dit)
#         title = index['positionName'] + index['companyFullName']
#         title = re.sub(r'[\/?:"<>|]', '', title)
#         # w 写入
#         with open('info\\' + title + '.txt', mode='w', encoding='utf-8') as f:
#             f.write(job_info)
#         print(dit)
#         break

import requests
import parsel
url = ''

response = requests.get(url=url, headers=headers)
# print(response.text)
selector = parsel.Selector(response.text)
lis = selector.css('.job-list ul li')
for li in lis:
    title = li.css('.job-name a::attr(title)').get()
    company_name = li.css('.company-text .name a::attr(title)').get()
    money = li.css('.job-limit .red::text').get()
    job_info = li.css('.job-limit p::text').getall()
    exp = job_info[0]
    edu = job_info[1]
    print(title, company_name, money, exp, edu)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87