8月份已經正式離職，這兩個月主要在做新書校對作業，9月份陸續投了幾份簡歷，參加了兩次半面試，第一次是家做辦公自動化的公司，開的薪水和招聘資訊嚴重不符，感覺實在是在浪費時間，你說你給不了那么多為什還往上發布？第二次是家做業務系統的中型公司，結果面試我的技術總監直接被我按在地上摩擦，估計沒戲了，還有半次，是個研究所，電話和微信簡單溝通了一下，結果感覺自己有點被摩擦的意思，不愧掛著研究倆字，后兩家公司的薪水區間幾乎相同，但人員的技術水平卻相差很大，這讓我有些好奇，忍不住想分析一下蘇州類似崗位的薪資水平，
我在51job上搜索了一下蘇州，計算機軟體，互聯網/電子商務，計算機服務，近一月的java相關職位，一共33頁，
第1頁的URL是：
https://search.51job.com/list/070300,000000,0000,00,3,99,java,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=
第2頁是：
https://search.51job.com/list/070300,000000,0000,00,3,99,java,2,2.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=
不同之處在 java2,1.html 和 java2,2.html 看來那個不同的數字就是翻頁資訊，
在瀏覽器F12一下，頁面dom布局大概是這樣：
于是爬取了一下全部資料：
1 from urllib.request import urlopen 2 from urllib.error import HTTPError 3 from bs4 import BeautifulSoup 4 import csv 5 from itertools import chain 6 import threading 7 8 def get_jobs(url): 9 ''' 10 根據url爬取職位資訊 11 :param url: 12 :return: 職位串列,每個元素是一個四元組(職位名, 薪資，發布時間，詳情頁面url) 13 ''' 14 try: 15 html = urlopen(url) 16 except HTTPError as e: 17 print('Page was not found') 18 return [] 19 20 jobs = [] 21 try: 22 bsObj = BeautifulSoup(html.read()) 23 jobs_div = bsObj.find('div', {'id': 'resultList'}).findAll('div', {'class':'el'}) 24 for div in jobs_div[1:]: 25 span_list = div.findAll('span') 26 job_name = span_list[0].a.get_text().strip() # 職位名稱 27 job_url = span_list[0].a.attrs['href'].strip() # 職位詳情url 28 job_comp = span_list[1].a.get_text().strip() #公司名稱 29 job_salary = span_list[3].get_text().strip() # 薪資 30 job_date = span_list[4].get_text().strip() # 日期 31 jobs.append((job_comp, job_name, job_salary, job_date, job_url)) 32 except AttributeError as e: 33 print(e) 34 return [] 35 return jobs 36 37 def crawl(): 38 ''' 39 分頁蘇州市近一月內的java相關職位 40 :return: 職位串列,每個元素是一個四元組(職位名, 薪資，發布時間，詳情頁面url) 41 ''' 42 # 查詢條件：java；蘇州；計算機軟體、計算機服務(系統、資料服務、維修)、互聯網/電子商務；近一月 43 url = 'https://search.51job.com/list/070300,000000,0000,01%252C38%252C32,9,99,java,2,{0}.html?' \ 44 'lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99' \ 45 '&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1' \ 46 '&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=' 47 all_jobs = [] 48 49 def _crawl(page_start, page_end): 50 ''' 51 分頁爬取資料 52 :param page_start: 起始頁 53 :param page_end: 終止頁 54 :return: 55 ''' 56 print('crawl {0}~{1} start...'.format(page_start, page_end)) 57 for i in range(page_start, page_end): 58 # 翻頁url 59 page_url = url.format(str(i)) 60 jobs = get_jobs(page_url) 61 if len(jobs) == 0: 62 break 63 all_jobs.append(jobs) 64 print('crawl {0}~{1} over'.format(page_start, page_end)) 65 66 # 執行緒串列 67 thread_list = [] 68 start_nums = list(range(0, 45, 5)) 69 end_nums = list(range(5, 50, 5)) 70 # 每5頁一個執行緒, 最多50頁 71 for i in range(len(start_nums)): 72 t = threading.Thread(target=_crawl, args=(start_nums[i], end_nums[i])) 73 thread_list.append(t) 74 75 print('開始爬取資料...') 76 for t in thread_list: 77 t.start() 78 for t in thread_list: 79 t.join() 80 print('爬取結束') 81 82 return all_jobs 83 84 def save_data(all_jobs): 85 ''' 86 將職位資訊保存到joblist.csv 87 :param all_jobs: 二維串列，每個元素是一頁的職位資訊 88 ''' 89 print('正在保存資料...') 90 with open('joblist.csv', 'w', encoding='utf-8', newline='') as fp: 91 w = csv.writer(fp) 92 # 將二維串列轉換成一維 93 t = list(chain(*all_jobs)) 94 w.writerows(t) 95 print('保存結束，共{}條資料'.format(len(t))) 96 97 if __name__ == '__main__': 98 # 爬取資料 99 all_jobs = crawl() 100 # 保存資料 101 save_data(all_jobs)
為了爬的快點，開了多個執行緒，最后把資料保存在joblist.csv中，近一個月共有967個java相關職位：
打開csv，發現里面的資料并不太好：
……
江蘇未至科技股份有限公司,實施工程師(蘇州),4-8千/月,09-25,https://jobs.51job.com/suzhou-gxq/105762963.html?s=01&t=0
江蘇未至科技股份有限公司,交付工程師,6-7千/月,09-25,https://jobs.51job.com/suzhou-gxq/104253078.html?s=01&t=0
易程創新科技有限公司蘇州分公司,高級軟體工程師,1-2萬/月,09-25,https://jobs.51job.com/suzhou-gxq/100292396.html?s=01&t=0
江蘇未至科技股份有限公司,專案經理,0.8-1.6萬/月,09-25,https://jobs.51job.com/suzhou-gxq/85646230.html?s=01&t=0
達內時代教育集團,咨詢顧問底薪4-7K+五險一金,1-1.5萬/月,09-25,https://jobs.51job.com/suzhou-gsq/113505714.html?s=01&t=0
達內時代教育集團,搜索顧問底薪4-7K-上市企業,1-1.5萬/月,09-25,https://jobs.51job.com/suzhou-gsq/113505583.html?s=01&t=0
蘇州工業園區測繪地理資訊有限公司...,Web前端開發工程師,6-15萬/年,09-25,https://jobs.51job.com/suzhou-gyyq/86942466.html?s=01&t=0
江蘇云坤資訊科技有限公司,專案經理,1-1.8萬/月,09-25,https://jobs.51job.com/suzhou-gyyq/112994728.html?s=01&t=0
江蘇云坤資訊科技有限公司,前端開發工程師,0.8-1.5萬/月,09-25,https://jobs.51job.com/suzhou-gyyq/70761080.html?s=01&t=0
蘇州智享云資訊科技有限公司,系統架構師,1.6-2.5萬/月,09-25,https://jobs.51job.com/suzhou/108411172.html?s=01&t=0
英諾賽科（蘇州）半導體有限公司,MES 工程師,0.6-1萬/月,09-25,https://jobs.51job.com/suzhou-wjq/115142646.html?s=01&t=0
蘇州麥芒軟體科技有限公司,軟體測驗助理工程師,4-6千/月,09-25,https://jobs.51job.com/suzhou/115511688.html?s=01&t=0
三門峽崤云資訊服務股份有限公司,大資料挖掘工程師,0.8-2萬/月,09-25,https://jobs.51job.com/sanmenxia/110394655.html?s=01&t=0
蘇州春慷咨詢管理有限公司,軟體實施工程師,0.3-1萬/月,09-25,https://jobs.51job.com/suzhou-gsq/115617730.html?s=01&t=0
蘇州佑捷科技有限公司,高級開發工程師,1.5-2萬/月,09-25,https://jobs.51job.com/suzhou-gxq/114727492.html?s=01&t=0
蘇州佑捷科技有限公司,Android開發工程師,1-2.5萬/月,09-25,https://jobs.51job.com/suzhou-gxq/114726758.html?s=01&t=0
瑞泰資訊技術有限公司,.NET開發工程師（實習生）,6.5-8.5千/月,09-25,https://jobs.51job.com/suzhou/108055469.html?s=01&t=0
北京直真科技股份有限公司,前端開發工程師（蘇州）,1.1-1.7萬/月,09-25,https://jobs.51job.com/suzhou/113018219.html?s=01&t=0
……
職位包含測驗、專案經理、售前、Android，還有一部分.net也混進來了，所以分析前需要過濾掉這些資料，'測驗', '.Net', '運維', '嵌入式','前端'，這些職位都不要，’總監', '主管', '技術', '研發', '開發', '經理', 'java', 'JAVA', 'Java', '工程師’ ，這些需要保留，
薪資的單位也不統一，有萬/年，萬/月，千/月， 統一轉換成萬/年，沒寫薪資的也不要，
1 import csv 2 from decimal import Decimal 3 import pandas as pd 4 import numpy as np 5 6 def load_datas(): 7 ''' 8 從joblist.csv中裝載資料 9 :return: 資料集 datas 10 ''' 11 datas = [] 12 with open('joblist.csv', encoding='utf-8') as fp: 13 r = csv.reader(fp) 14 for row in r: 15 datas.append(row) 16 return datas 17 18 def clear(datas): 19 ''' 20 資料清洗 21 規則： 22 1.沒有標明薪資的，直接去掉； 23 2.萬/月和千/月轉換成萬/年 24 :param datas: 原始資料 25 :return: 清洗后的資料 26 ''' 27 result = [] 28 for d in datas: 29 # 清洗后的資料 30 new_d = [] 31 new_d.append(d[0]) # 公司 32 job = filter_job(d[1]) # 公司 33 # 去掉公司不符合的資料 34 if job == '': 35 continue 36 new_d.append(d[1]) # 職位 37 salary_start, salary_end = salary_trans(d[2]) 38 # 去掉沒寫薪資的資料 39 if salary_start == '': 40 continue 41 else: 42 new_d.append(salary_start) 43 new_d.append(salary_end) 44 new_d.append(d[3]) # 發布日期 45 new_d.append(d[4]) # 詳細頁面URL 46 result.append(new_d) 47 return result 48 49 def filter_job(job): 50 ''' 51 過濾職位名稱 52 :param job: 職位 53 :return: 如果被過濾掉，回傳'' 54 ''' 55 # 黑名單 56 black = ['測驗', '.Net', '運維', '嵌入式', '前端'] 57 # job在黑名單中 58 if [job.find(x, 0, len(job)) for x in black].count(-1) < len(black): 59 return '' 60 # job在白名單 61 white = ['總監', '主管', '技術', '研發', '開發', '經理', 'java', 'JAVA', 'Java', '工程師'] 62 if [job.find(x, 0, len(job)) for x in white].count(-1) > 0: 63 return job 64 return '' 65 66 def salary_trans(salary): 67 ''' 68 對薪資進行轉換 69 :param salary: 薪資 70 :return: 二元組（起始年薪(萬/年), 終止年薪(萬/年)） 71 ''' 72 start, end = '', '' # 起始年薪， 終止年薪 73 # 將所有薪資單位轉換成 萬/年 74 if salary.endswith('萬/年'): 75 s = salary.replace('萬/年', '').split('-') 76 start, end = s[0], s[1] 77 elif salary.endswith('萬/月'): 78 s = salary.replace('萬/月', '').split('-') 79 start = (Decimal(s[0]) * 12).normalize() 80 end = (Decimal(s[1]) * 12).normalize() 81 elif salary.endswith('千/月'): 82 s = salary.replace('千/月', '').split('-') 83 start = (Decimal(s[0]) * 12 / 10).normalize() 84 end = (Decimal(s[1]) * 12 / 10).normalize() 85 return str(start), str(end) 86 87 if __name__ == '__main__': 88 # 讀取并清洗資料 89 datas = np.array(clear(load_datas())) 90 print(len(datas))
還剩789條，
分析開始，招聘資訊上絕大多數都是以起薪資為準， 最高薪資就是做個樣子，因此只分析起薪，先快速統計一下：
1 def analysis(datas): 2 ''' 資料分析 ''' 3 df = pd.DataFrame({'comp_name': datas[:, 0], 4 'job_name': datas[:, 1], 5 'salary_start': datas[:, 2], 6 'salary_end': datas[:, 3], 7 'publish_date': datas[:, 4], 8 'url': datas[:, 5]}) 9 # 全部起始薪資 10 salary_col = df['salary_start'] 11 print('按起始薪資快速統計'.center(60, '-'))
一共有789條記錄，其中最多的是年薪12W，共出現了162次，大多數職位也就1W的月薪，
再看起薪出現次數最多的top10，
1 def analysis(datas): 2 ''' 資料分析 ''' 3 df = pd.DataFrame({'comp_name': datas[:, 0], 4 'job_name': datas[:, 1], 5 'salary_start': datas[:, 2], 6 'salary_end': datas[:, 3], 7 'publish_date': datas[:, 4], 8 'url': datas[:, 5]}) 9 # 全部起始薪資 10 salary_col = df['salary_start'] 11 print('按起始薪資快速統計'.center(60, '-')) 12 # 按起始薪資快速統計 13 print(salary_col.describe()) 14 # 起薪出現次數最多的top10 15 salary_count_top_n(salary_col, 10) 16 17 def salary_count_top_n(salary_col, n): 18 ''' 起薪出現次數最多的top n ''' 19 print(('起薪出現次數最多的top' + str(n)).center(60, '-')) 20 print('起薪\t數量') 21 # 起薪出現次數最多的top n 22 count_top_n = salary_col.value_counts(sort=True, ascending=False).head(n) 23 print(count_top_n) 24 count_top_n.plot(kind='bar') 25 plt.rcParams['font.sans-serif'] = ['SimHei'] # 用來正常顯示中文標簽 26 plt.xlabel('薪資(萬/年)') 27 plt.ylabel('職位數量') 28 plt.show()
真是一看嚇一跳，月薪1W以下大概有500條，約占總職位數量的65%，
再看起薪最高的top 10：
2 ''' 資料分析 ''' 3 df = pd.DataFrame({'comp_name': datas[:, 0], 4 'job_name': datas[:, 1], 5 'salary_start': datas[:, 2], 6 'salary_end': datas[:, 3], 7 'publish_date': datas[:, 4], 8 'url': datas[:, 5]}) 9 …… 10 # 起薪最高的top10 11 urls = salary_high_top_n(df, 10) 12 13 14 def salary_high_top_n(df, n): 15 ''' 起薪最高的top n ''' 16 print(('起薪最高的top' + str(n)).center(60, '-')) 17 salary_grp = df.groupby('salary_start') 18 # 按起薪分組 19 salary_top_n = sorted(salary_grp, reverse=True, key=lambda x: float(x[0]))[0:n] 20 print('%-16s%-20s' % ('起薪', '數量')) 21 # 職位對應的url 22 urls = [] 23 for salary, group in salary_top_n: 24 print('%-20s%-20d' % (salary, len(group))) 25 urls += group.url.values.tolist() 26 return urls
top 10中共64個職位，年薪24W的占了26個，約占top10的40%，24W以下的占了65%以上，月薪2W居然都是高薪了，還有前途嗎？
作者：我是8位的
出處：http://www.cnblogs.com/bigmonkey
本文以學習、研究和分享為主，如需轉載，請聯系本人，標明作者和出處，非商業用途！
掃描二維碼關注公作者眾號“我是8位的”
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/115703.html
標籤：其他
上一篇：編譯原理的文法和語言總結與梳理
下一篇：高階運營必備4大知識體系