import requests
from bs4 import BeautifulSoup
import re
allUniv = []
def getHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
return ""
findpaiming = re.compile(r'[一-龥]+')
findshuzi = re.compile(r'\d\d\d+\.\d|\d\d\d')
def fillUnivList(soup):
paiming = 1
for item in soup.find_all('tr'): #遍历tr开头的,从而用tr将各个学校的信息分开
item = str(item)
link = re.findall(findpaiming,item) #利用正则表达式,找出中文字符串【学校,省市,培养规模】
link2 = re.findall(findshuzi, item) #利用正则表达式,找出三个数字或者四个数字带小数点,也就是学校的总分
if(len(link)==3): #因为存在中国地质大学 武汉这种,会把中国地质大学 和 武汉 分别提取成文字
link.append(paiming) #增加排名
if(len(link2)<=2): #这个是总分,但是存在将文本里面超过100排名的数字提出,从而存在两个数字,等于1直接假如,等于2加入第二个值
if(len(link2)==1):
link.append(link2[0])
else:
link.append((link2[1]))
allUniv.append(link) #最后将整个学校信息加入到allUniv里面,下面同理
paiming = paiming + 1
if (len(link) == 4): #因为存在中国地质大学 武汉这种,会把中国地质大学 和 武汉 分别提取成文字 ,合并这着两个值
data = [str(link[0])+'('+str(link[1])+')',link[2],link[3]]
data.append(paiming)
if (len(link2) <= 2):
if (len(link2) == 1):
data.append(link2[0])
else:
data.append((link2[1]))
allUniv.append(data)
paiming = paiming + 1
def printUnivList(num):
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名",'学校名称','省市','总分','培养规模'))
for i in range(num):
u = allUniv[i]
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[3],u[0],u[1],u[4],u[2]))
def main(num):
url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
fillUnivList(soup)
printUnivList(num)
main(567)
?