爬虫HTTP和HTTPS协议详解

  • Z时代
  • 2024-01-10
  • 分类：综合

python

点击获取全套爬虫零基础学习资料

一、什么是网络协议

网络协议，是计算机之间为了实现网络通信而达成的一种“约定”或者”规则“，有了这种”约定“，不同厂商的生产设备，以及不同操作系统组成的计算机之间，就可以实现通信。

二、HTTP和HTTPS的基本概念

HTTP：是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更加高效，使网络传输减少。

HTTPS：是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。

HTTPS协议的主要作用可以分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。

三、HTTP与HTTPS有什么区别？

HTTP协议传输的数据都是未加密的，也就是明文的，因此使用HTTP协议传输隐私信息非常不安全，为了保证这些隐私数据能加密传输，于是网景公司设计了SSL（Secure Sockets Layer）协议用于对HTTP协议传输的数据进行加密，从而就诞生了HTTPS。简单来说，HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，要比http协议安全。

四、HTTPS的工作原理

尽管HTTPS并非绝对安全，掌握根证书的机构、掌握加密算法的组织同样可以进行中间人形式的攻击，但HTTPS仍是现行架构下最安全的解决方案，主要有以下几个好处：

  • 使用HTTPS协议可认证用户和服务器，确保数据发送到正确的客户机和服务器；

  • HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，要比http协议安全，可防止数据在传输过程中不被窃取、改变，确保数据的完整性。

  • HTTPS是现行架构下最安全的解决方案，虽然不是绝对安全，但它大幅增加了中间人攻击的成本。

  • 谷歌曾在2014年8月份调整搜索引擎算法，并称“比起同等HTTP网站，采用HTTPS加密的网站在搜索结果中的排名将会更高”。

我们以访问百度为例：

 

五、HTTPS优点：

  • 支持客户/服务器模式。

  • 简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

  • 灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

  • 无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

  • 无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

六、HTTPS缺点

虽然说HTTPS有很大的优势，但其相对来说，还是存在不足之处的：

  • HTTPS协议握手阶段比较费时，会使页面的加载时间延长近50%，增加10%到20%的耗电；

  • HTTPS连接缓存不如HTTP高效，会增加数据开销和功耗，甚至已有的安全措施也会因此而受到影响；

  • SSL证书需要钱，功能越强大的证书费用越高，个人网站、小网站没有必要一般不会用。

  • SSL证书通常需要绑定IP，不能在同一IP上绑定多个域名，IPv4资源不可能支撑这个消耗。

  • HTTPS协议的加密范围也比较有限，在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用。最关键的，SSL证书的信用链体系并不安全，特别是在某些国家可以控制CA根证书的情况下，中间人攻击一样可行。

七、URI和URL的区别

HTTP使用统一资源标识符（Uniform Resource Identifier）来传输数据和建立连接。

URI：Uniform Resource Identifier 统一资源标识符。

URL：Uniform Resource Location 统一资源定位符。

URI 是用来标示 一个具体的资源，我们可以通过 URI 知道一个资源是什么，是一个抽象的相对概念。

URL 则是用来定位具体的资源的，标示了一个具体的资源位置。属于URI的一个子集，算是URI在的具体实现方式互联网上的每个文件都有一个唯一的URL。

八、HTTP协议响应请求

HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文

HTTP请求由三部分组成，分别是：请求行、消息报头、请求正文

HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。

每一个报头域都是由名字+“：”+空格+值 组成，消息报头域的名字是大小写无关的。

以上是 爬虫HTTP和HTTPS协议详解 的全部内容， 来源链接： utcz.com/z/531020.html

回到顶部