黑客和爬虫区别（爬虫是黑客技术吗）

蜘蛛爬虫的意思？要求：简单说明下他的意思+他与网络爬虫有什么区别（这里详细点）

1首先蜘蛛爬虫和网络爬虫是一个东西，这里的蜘蛛就是爬虫，

2蜘蛛爬虫其实是一段程序。一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。这个程序的功能是，沿着你的网站的URL一层层的读取一些信息，做简单处理后，然后返馈给后台老板(服务器)进行集中处理。

3用处，过滤掉关键词堆砌的网站，比如imba dota为关键词，爬虫会收集所有目标网页上所有跟imba dota相关的内容，回馈关键词在这个页面上的密度（后台服务器），超过3-8%这个密度将被搜索引擎降序排列，更有甚者频繁堆砌的话将被搜索引擎处罚。类似于一个测试者的角色~跟其相关的还有SEO等概念，用于网络营销和推广中~

黑客用爬虫做什么呢？

就是把网站信息内容都是自动黑客和爬虫区别的收集起来

互联网上的任何东西都可以爬取吗?

写爬虫的小伙伴要注意黑客和爬虫区别，爬虫一时爽，但不是一直爬一直爽。

如果黑客和爬虫区别你的爬虫触犯了法律，可是要承担责任的哦，那么什么样的爬虫才算是安全的爬虫呢?

现在我来结合一下实际情况，给几点建议吧：

1、爬虫访问频次要控制，别把对方服务器搞崩溃了

虽然你爬取的信息都是公开的，也不涉及公民隐私，爬取的数据也不用于违法获利，只是自己弄着玩，但是如果你的爬虫太疯狂了，一分钟请求1万次，导致对方服务器应接不暇，不能处理正常业务了，对不起，你这种属于违法行为，这种爬虫等同于进行黑客攻击了，你让人家不能正常工作了，损害了对方的利益

2、 涉及到个人隐私的信息你不能爬

其实这很好理解，你希望你自己的电话号，身份证号，家庭住址，工作单位，行踪轨迹这些隐私信息被别人用爬虫抓取么?当然不希望，别人抓了你的这些信息，你肯定想去报警对不对，让警察去抓那个坏蛋，ok，你不要去做那个坏蛋。

3、 突破网站的反爬措施，后果很严重

正规的网站都会在根目录下放置

robots.txt，这里就规定了哪些能爬，哪些不能爬，谁可以爬。对于那种反爬特别严重的，例如淘宝，你最好别去爬，如果你真的利用你的高智商突破了淘宝的反爬措施，那么恭喜你，你已经违法了。

4、 不要用爬取的数据做不正当竞争

比如你把大众点评的评论数据都爬下来了，然后自己搞了一个xx点评，这肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松的弄下来，直接拿来主义，跟人家搞竞争，你不违法谁违法。

5、 付费内容，你不要抓

既然是付费内容，说明这东西价值很高，付费才能看，你弄下来了，你想干啥?你私自传播，就对网站造成了潜在损失。

6、最后一条，突破网站反爬措施的代码，最好不要上传到网上

你技术很牛逼，能突破网站的反爬措施，你把这些代码发布到网上，比如github，你自己没做啥坏事，可是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的，这个听起来有点冤，但确实存在这样的风险，所以，最好还是不要这么干。

python爬虫被当做黑客攻击是怎么回事呢

网站有专门黑客和爬虫区别的条款说明用户应当遵守黑客和爬虫区别的规定，比如百度知道就对其内容拥有知识产权，在未经允许不能转载传播。网站虽然不知道黑客和爬虫区别你是否会去传播，但是可以通过访问网页的速度判断你是否是一个机器人。

要想避免网站发现你在爬内容，可以适当限制爬去网页的速度。

网络爬虫的几种常见类型

版权归作者所有，任何形式转载请联系作者。

作者：盛世阳光（来自豆瓣）

来源：https://www.douban.com/note/617498592/

1.批量型网络爬虫：限制抓取的属性，包括抓取范围、特定目标、限制抓取时间、限制数据量以及限制抓取页面，总之明显的特征就是受限；

2.增量型网络爬虫（通用爬虫）：与前者相反，没有固定的限制，无休无止直到抓完所有数据。这种类型一般应用于搜索引擎的网站或程序；

3.垂直网络爬虫（聚焦爬虫）：简单的可以理解为一个无限细化的增量网络爬虫，可以细致的对诸如行业、内容、发布时间、页面大小等很多因素进行筛选。

这些网络爬虫的功能不一，使用方法也不同。例如谷歌、百度搜索就是典型的增量型爬虫，提供大而全的内容来满足世界各地的用户。另外像天猫、京东很多店铺都需要屏蔽外来的抓取，这时就需要爬虫根据一些低级域名的链接来抓取他们进行排名。

后来随着爬虫使用越来越灵活，很多网站都使用多个爬虫同步进行抓取。例如现下很多视频网站，都是先通过一般爬虫或者人工批量抓取内容，然后给用户一些可选项，让客户自己给聚焦爬虫划定范围最后找到匹配度足够高的内容，整个过程极大的降低了资源和时间的消耗。相反如果这些内容全部用聚焦爬虫来完成，不仅要消耗大量的网络资源，而且会延长搜索时间时间，影响客户体验。

爬虫究竟是合法还是违法的

我们可以这幺理解：爬虫是用来批量获得网页上的公开信息的，也就是前端显示的数据信息。因此，既然本身就是公开信息，其实就像浏览器一样，浏览器解析并显示了页面内容，爬虫也是一样，只不过爬虫会批量下载而已，所以是合法的。不合法的情况就是配合爬虫，利用黑客技术攻击网站后台，窃取后台数据（比如用户数据等）。

什么是爬虫？什么是爬网？有什么区别？

多次被人问到这个问题，看来需要做一点说明，这里简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。

说的简单易懂一些，网络爬虫跟你使用的〖离线阅读〗工具差不多。说离线，其实还是要跟网络联结，否则怎么抓东西下来？

那么不同的地方在哪里？

1】 网络爬虫高度可配置性。

2】 网络爬虫可以解析抓到的网页里的链接

3】 网络爬虫有简单的存储配置

4】 网络爬虫拥有智能的根据网页更新分析功能

5】 网络爬虫的效率相当的高

那么依据特征，其实也就是要求了，如何设计爬虫呢？要注意哪些步骤呢？

1】 url 的遍历和纪录

这点 larbin 做得非常的好，其实对于url的遍历是很简单的，例如：

cat [what you got]| tr \" \\n | gawk '{print $2}' | pcregrep ^http://

就可以得到一个所由的 url 列表

2】多进程 VS 多线程

各有优点了，现在一台普通的PC 例如 booso.com 一天可以轻松爬下5个G的数据。大约20万网页。

3】时间更新控制

最傻的做法是没有时间更新权重，一通的爬，回头再一通的爬。

通常在下一次爬的的数据要跟上一次进行比较，如果连续5次都没有变化，那么将爬这个网页的时间间隔扩大1倍。

如果一个网页在连续5次爬取的时候都有更新，那么将设置的爬取时间缩短为原来的1／2。

注意，效率是取胜的关键之一。

4】爬的深度是多少呢？

看情况了。如果你比较牛，有几万台服务器做网络爬虫，我劝您跳过这一点。

如果你同我一样只有一台服务器做网络爬虫，那么这样一个统计您应该知道：

网页深度：网页个数：网页重要程度

0 : 1 : : 10

1 :20 : :8

2: :600: :5

3: :2000: :2

4 above: 6000: 一般无法计算

好了，爬到三级就差不多了，再深入一是数据量扩大了3／4倍，二是重要度确下降了许多，这叫做“种下的是龙种，收获的是跳蚤。”

5】爬虫一般不之间爬对方的网页，一般是通过一个Proxy出去，这个proxy有缓解压力的功能，因为当对方的网页没有更新的时候，只要拿到 header 的 tag就可以了，没有必要全部传输一次了，可以大大节约网络带宽。

apache webserver里面纪录的 304 一般就是被cache的了。

6】请有空的时候照看一下robots.txt

7】存储结构。

这个人人见智，google 用 gfs 系统，如果你有7／8台服务器，我劝你用NFS系统，要是你有70／80个服务器的话我建议你用afs 系统，要是你只有一台服务器，那么随便。

给一个代码片断，是我写的新闻搜索引擎是如何进行数据存储的：

NAME=`echo $URL |perl -p -e 's/([^\w\-\.\@])/$1 eq "\n" ? "\n":sprintf("%%%2.2x",ord($1))/eg'`

mkdir -p $AUTHOR

newscrawl.pl $URL --user-agent="news.booso.com+(+http://booso.com)" -outfile=$AUTHOR/$NAME

Posted at November 10, 2004 01:04 PM by Liang at 01:04 PM | Comments (2) | TrackBack(0) | Booso!|

======================================

爬网这个词你可以理解为"建立索引",各大搜索引擎现在都用爬网这个词,都可以理解为建立索引这个意思

网络爬虫是什么？具体要学哪些内容？

网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。

①要具备扎实的python语法基础，这是一切的根基

②对前端知识有一定的了解，起码做到能看懂

③如何获取目标数据：requests模块等

④如何解析目标数据：正则，xpath，jsonpath等

⑤如何做到做到反反爬：经验总结

⑥如何大规模批量获取数据：scrapy框架