DotNetNuke的robots.txt的不被谷歌机器人荣幸

  • Z时代
  • 2024-01-10
  • 分类：问答

我有多个门户DotNetNuke的安装：
domain1.com
domain2.com
domain3.com等DotNetNuke的robots.txt的不被谷歌机器人荣幸

服务器是32个演出，8个核心。

我有一个robots.txt文件。当谷歌开始爬行时，我发现多个谷歌IP地址的CPU时间达到100％。根据IIS的说法，它每次尝试抓取的网址都是/lmm-product-service/elmah.axd/detail?id=af51e96f-d0cd-4598-90ad-ebe980947fa6，并且每次都有一个新的ID。该网址对所有当前的谷歌机器人实例都是相同的，但是当爬虫再次开始时会发生变化。

该网址无效。当我尝试在浏览器中访问它时，出现404错误 - 未找到。

我试图在我的robots.txt来禁止/ LMM产品服务/无济于事：

User-agent: Googlebot 
    Disallow: /*/ctl/  # Googlebot permits * 
    Disallow: /admin/ 
    Disallow: /lmm-product-service/

它实际上不是只有谷歌这样做。这也是ahrefs，但我已经阻止他们在防火墙。

有什么建议吗？

回答：

好的。保持我的手指交叉。我采取了不同的方式。我只是增加了一个urlrewrite规则：

<rule name="KillElmahRequests" enabled="true" stopProcessing="true"> 
     <match url=".*elmah.*" /> 
     <action type="AbortRequest" /> 
    </rule>

已经差不多90分钟了，没有问题。我仍然不知道为什么漫游器试图抓取一个不存在的url，为什么，因为它不存在，它正在吃掉w3wp.exe进程，但这似乎是有效的。

回答：

问题是ELMAH，一个外部ASP.NET记录器。如果DNN使用这个记录器，那么DNN软件中存在一个错误！升级DNN !!错误：System.ComponentModel.Win32Exception您确定Google Bot是真实的吗？有假货

以上是 DotNetNuke的robots.txt的不被谷歌机器人荣幸 的全部内容， 来源链接： utcz.com/qa/257589.html

回到顶部