urllib发出多个POST请求

  • Z时代
  • 2024-01-10
  • 分类：问答

我有一个网站，我试图从数据中提取数据，但需要经过2页的数据：登录屏幕和第二个屏幕，我选择的数据是读。 我的代码如下所示：urllib发出多个POST请求

import urllib 
    from bs4 import BeautifulSoup 
    url = 'http://website.com' 
    values = {'userName' : 'tom', 
       'Login' : 'submit'} 
    data = urllib.parse.urlencode(values).encode('ascii') 
    req = urllib.request.Request(url, data) 
    page = urllib.request.urlopen(req) 
    soup = BeautifulSoup(page,'html.parser') 
    print(soup.text)

我的问题是我怎么会为了得到该即时寻找数据的登录请求后，提交第二次POST请求？

回答：

通常，它总是取决于他们如何认证用户以及他们如何存储此会话，php，基于令牌的，谷歌认证。不知道所有这些信息都很难知道。解决这个问题的常用方法是使用无头网页浏览器。可以通过代码控制的浏览器。允许您像通常那样点击页面！

我推荐使用seleniumhq for python！ http://www.seleniumhq.org/

以上是 urllib发出多个POST请求 的全部内容， 来源链接： utcz.com/qa/258655.html

回到顶部