wget/curl问题

  • Z时代
  • 2024-01-10
  • 分类：IT

如果要批量下载一个url下的资源，用wget/curl/bash怎么实现？

譬如url="http://go.googlecode.com/files/"直接wget -r ${url}的话会出现

➜  golang  wget -r https://go.googlecode.com/files/ 
--2014-10-14 06:02:40--  https://go.googlecode.com/files/
Resolving go.googlecode.com (go.googlecode.com)... 74.125.130.82, 2404:6800:4003:c01::52
Connecting to go.googlecode.com (go.googlecode.com)|74.125.130.82|:443... connected.
HTTP request sent, awaiting response... 404 Not Found
2014-10-14 06:02:40 ERROR 404: Not Found.

资源示例："https://go.googlecode.com/files/go1.2.1.linux-amd64.tar.gz"

回答：

补充下结论吧：如果web服务器不提供一个一个目录下所有资源的汇总页面，是无法进行递归下载的

“wget -r”命令中参数r的解释确实如题主所说，可用于递归下载：

引用文字

但执行完命令之后，确实遇到了和题主一样的窘境，授人以鱼不如授人以渔吧，题主可以通过使用strace跟踪wget命令的执行情况：（注：为了方便阅读http协议，这里将https替换成了http）

strace -s 3000 -tt -o strace.log wget -r http://go.googlecode.com/files/

这里，也附上strace命令参数详解：点击我，谢谢

然后，vim打开strace.log：
图片描述

![通过分析日志，可以发现web服务器上不存在此文件，故返回了404错误（一般来说，如果url对应一个目录，wget服务器会自动补全成“http://go.googlecode.com/files/index.html”）。

由此，可看出，wget递归下载的逻辑是：下载指定url-》解析返回结果-》提取urllist-》遍历urllist-》执行下载-解析返回结果。。。

这里再附上可以正常递归下载的情况：

wget -r http://v.qq.com

图片描述

回答：

1楼说的非常的对，我来稍做补充吧。

为什么需要为个index.html呢？

基本的Web服务器都使用index.html来做为索引页，什么意思，就是只输入目录不输出文件就能出现的页面，这个我们叫它索引页。

因为这个文件里面列出了当前目录下所有文件的名称以及下载的URL地址，所以例如wget 这类的命令可以通过这里面获取访从哪里下载，有哪些文件需要下载的信息。

为什么服务器上会不存在index.html这个文件呢？

因为确实Nginx服务器上就没有这个文件，只有go1.2.1.linux-amd64.tar.gz，index.html可以是管理员手动写的一个文件，当然如果管理员没有手动写这个文件，那怎么办，Web服务器也提供了这个功能，就是如果你没有index.html的话我可以帮你写，但里里面的内容是当前目录下所有文件或目录的url链接信息。（这个功能的开启需要在服务器上开启，Apache 加上 Options Indexes Nginx加上：autoindex on;）

回答：

wget -m -np $url

以上是 wget/curl问题 的全部内容， 来源链接： utcz.com/p/193556.html

回到顶部