requests模块的其他用法

#通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下HostReferer #大型网站通常都会根据该参数判断请求的来源User-Agent #客户端Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了

import requestsrespone=requests.get('http://www.jianshu.com')# respone属性print(respone.text)print(respone.content)print(respone.status_code)print(respone.headers)print(respone.cookies)print(respone.cookies.get_dict())print(respone.cookies.items())print(respone.url)print(respone.history)print(respone.encoding)#关闭：response.close()from contextlib import closingwith closing(requests.get('xxx',stream=True)) as response:    for line in response.iter_content():    pass

#stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的importrequestsresponse=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',stream=True)withopen('b.mp4','wb')asf:forlineinresponse.iter_content():f.write(line)

#解析jsonimport requestsresponse=requests.get('http://httpbin.org/get')import jsonres1=json.loads(response.text) #太麻烦res2=response.json() #直接获取json数据print(res1 == res2) #True

编码方式不同

requests.post(url='xxxxxxxx',              data={
    'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值requests.post(url='',              data={
    '':1,},              headers={                  'content-type':'application/json'              })requests.post(url='',              json={
    '':1,},              ) #默认的请求头:application/json

高级用法

#证书验证(大部分网站都是https)import requestsrespone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告import requestsrespone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200print(respone.status_code)#改进2:去掉报错,并且去掉警报信息import requestsfrom requests.packages import urllib3urllib3.disable_warnings() #关闭警告respone=requests.get('https://www.12306.cn',verify=False)print(respone.status_code)#改进3:加上证书#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书#知乎\百度等都是可带可不带#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站import requestsrespone=requests.get('https://www.12306.cn',                     cert=('/path/server.crt',                           '/path/key'))print(respone.status_code)

#官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)import requestsproxies={    'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码    'http':'http://localhost:9743',    'https':'https://localhost:9743',}respone=requests.get('https://www.12306.cn',                     proxies=proxies)print(respone.status_code)#支持socks代理,安装:pip install requests[socks]import requestsproxies = {    'http': 'socks5://user:pass@host:port',    'https': 'socks5://user:pass@host:port'}respone=requests.get('https://www.12306.cn',                     proxies=proxies)print(respone.status_code)

#超时设置#两种超时:float or tuple#timeout=0.1 #代表接收数据的超时时间#timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间import requestsrespone=requests.get('https://www.baidu.com',                     timeout=0.0001)

#官网链接：http://docs.python-requests.org/en/master/user/authentication/#认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的# 但本质原理是拼接成请求头发送#         r.headers['Authorization'] = _basic_auth_str(self.username, self.password)# 一般的网站都不用默认的加密方式，都是自己写# 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法# 得到加密字符串后添加到请求头#         r.headers['Authorization'] =func('.....')#看一看默认的加密方式吧，通常网站都不会用默认的加密设置import requestsfrom requests.auth import HTTPBasicAuthr=requests.get('xxx',auth=HTTPBasicAuth('user','password'))print(r.status_code)#HTTPBasicAuth可以简写为如下格式import requestsr=requests.get('xxx',auth=('user','password'))print(r.status_code)

#异常处理import requestsfrom requests.exceptions import * #可以查看requests.exceptions获取异常类型try:    r=requests.get('http://www.baidu.com',timeout=0.00001)except ReadTimeout:    print('===:')# except ConnectionError: #网络不通#     print('-----')# except Timeout:#     print('aaaaa')except RequestException:    print('Error')

#APIfrom django.shortcuts import render,HttpResponse# Create your views here.def test(request):    if request.method=='POST':        f=request.FILES.get('file')        print(f)        with open('a.text','wb')as f1:            for i in f:                f1.write(i)    return HttpResponse('ok')#爬虫程序import requestsfiles={
    'file':open('data.text','rb')}respone=requests.post('http://127.0.0.1:8000/test/',files=files)print(respone.status_code)

 

抽屉网线程池实例

import osimport requestsimport jsonimport reURL='https://dig.chouti.com/all/hot/recent/%s'headers={
    'user-agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"}#代理ipproxies = {    'http':'59.32.37.5:3128',}lis=[]download_num=0#获取textdef get_text(URL):    res=requests.get (URL, proxies=proxies,headers=headers)    return res.text#解析textdef parser_text(text):    s=text.result()    title=re.findall('
      
       (\w+?)\w+',s)    tim=re.findall('
       (.*?)入热榜',s)    user=re.findall('
       .*?(\w+?)',s)    data=list(zip (title, user, tim, zan))    download(data)#保存def download(data):    print(data)    global download_num    lis=json.dumps(data,ensure_ascii=False)    print(lis)    if not os.path.exists('file'):        os.mkdir('file')    f=open('file/data.text','at',encoding='utf-8')    f.write(lis)    f.close()    download_num+=1    print('\n下载完成数为%s+++++++++++++++++++++++++++++++++++++++++'%download_num)#开启线程池爬取if __name__ == '__main__':    from concurrent.futures import ThreadPoolExecutor    p=ThreadPoolExecutor(20)    for num in range(1,50):        res=p.submit(get_text,URL%num)        res.add_done_callback(parser_text)    p.shutdown(wait=True)
      

 gihub登陆实例

'''一 目标站点分析    浏览器输入https://github.com/login    然后输入错误的账号密码，抓包    发现登录行为是post提交到：https://github.com/session    而且请求头包含cookie    而且请求体包含：        commit:Sign in        utf8:✓        authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==        login:egonlin        password:123二 流程分析    先GET：https://github.com/login拿到初始cookie与authenticity_token    返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）    最后拿到登录cookie    ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文'''import requestsimport re#第一次请求r1=requests.get('https://github.com/login')r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码data={    'commit':'Sign in',    'utf8':'✓',    'authenticity_token':authenticity_token,    'login':'317828332@qq.com',    'password':'alex3714'}r2=requests.post('https://github.com/session',             data=data,             cookies=r1_cookie             )login_cookie=r2.cookies.get_dict()#第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置r3=requests.get('https://github.com/settings/emails',                cookies=login_cookie)print('317828332@qq.com' in r3.text) #True

import requestsimport resession=requests.session()#第一次请求r1=session.get('https://github.com/login')authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求data={    'commit':'Sign in',    'utf8':'✓',    'authenticity_token':authenticity_token,    'login':'317828332@qq.com',    'password':'alex3714'}r2=session.post('https://github.com/session',             data=data,             )#第三次请求r3=session.get('https://github.com/settings/emails')print('317828332@qq.com' in r3.text) #True