May 13, 2015
HomeUbuntu / Mac / Github / Aptana / Nginx / Shell / Linux屏蔽wget下载网站内容

屏蔽wget下载网站内容

By  Ubuntu / Mac / Github / Aptana / Nginx / Shell / Linux  0 Comments

经发现，虽然wget遵循robots.txt规则，但是那个还是可以绕过去，现在方法如下：

 

1. 屏蔽下载任何文件

 

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
   Order Allow,Deny
   Allow from all
   Deny from env=bad_bot
</Limit>

2. 屏蔽下载部分文件

 

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ ".(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

来源：http://www.webhostingtalk.com/showthread.php?t=437549

Loading

Related Posts

  • linux 下批量压缩文件

    一堆eps文件要将每个文件单独压缩成一个文件，比如a.eps , b.eps, c.eps 压缩成 a.zip ,b.zip ,c.zip for…

  • Linux umask限制导致php的mkdir 0777无效

    这两天在写一个缓存模块，需要把生成的缓存目录和文件设置成777权限，好让ftp用户可以直接登录删除缓存，蛋疼的事也就这么发生了，明明用了mkdir($path, 0777);用ftp用户登录却删除不了，为什么呢？   查看了一下建立的目录的权限，发现mkdir建立的目录权限都是755的，我明明用的是777，立马google了一下，才知道原来是受Linux 系统的 umask限制了，Linux的umask默认值是0022，所以php 的 mkdir 函数只能建立出755权限的文件夹出来。…

  • Ubuntu文本检索神器——SearchMonkey

    有时候，我们需要搜索包含有某些特定文本或单词的文件。如果你是个开发者或者程序员，经常会碰到这样的问题。现在，我们总是能够使用Linux命令来查找包含有指定文本的所有文件，但不是每个人都热衷于命令行。我见过那些优秀的程序员，他们更多的是依赖于图形化工具，而不是命令行。如果你也更喜欢图形化工具，那么SearchMonkey对于你而言是个十分完美的应用。 SearchMonkey是你的桌面搜索引擎 SearchMonkey递归搜索目录，因此你可以在它工作的时候坐下放松一下。用户可以使用强大的正则表达式来搜索文件名和内容，这使得SearchMonky返回结果时更为精确。   此外，SearchMonkey不仅仅给你列出可能包含有你正在查找的内容的文件，它也高亮显示匹配的内容。 在Ubuntu 14.04中安装SearchMonkey SearchMonkey可以在Ubuntu 14.04的软件仓库中找到，你只需要通过Ubuntu软件中心或者通过以下命令来安装：…

Related Posts

About Author

Gideon

Add a Comment

Your email address will not be published. Required fields are marked *

Time limit is exhausted. Please reload CAPTCHA.