摘要：
爬取工具通常提供多种API调用方式,常见的包括:爬取工具的监控和报警机制主要包括以下几个方面:...... 网页爬取器的Robots.txt
网络蜘蛛进入一个网站，一般会访问一个特殊的文本文件，这个文件一般放在网站服务器的根目录下。 网站管理员可以通过来定义哪些目录网络蜘蛛不能访问，或者哪些目录对于某些特定的网络蜘蛛不能访问。 例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到，那么网站管理员就可以把这些目录定义为拒绝访问目录。 语法很简单，例如如果对目录没有任何限制，可以用以下两行来描述：User-agent: *Disallow当然，只是一个协议，如果网络蜘蛛的设计者不遵循这个协议，网站管理员也无法阻止网络蜘蛛对于某些页面的访问，但一般的网络蜘蛛都会遵循这些协议，而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些网页的抓取。 网络蜘蛛在下载网页的时候，会去识别网页的HTML代码，在其代码的部分，会有META标识。 通过这些标识，可以告诉网络蜘蛛本网页是否需要被抓取，还可以告诉网络蜘蛛本网页中的链接是否需要被继续跟踪。 例如：表示本网页不需要被抓取，但是网页内的链接需要被跟踪。 关于的语法和META Tag语法，有兴趣的读者查看文献[4]现 在一般的网站都希望搜索引擎能更全面的抓取自己网站的网页，因为这样可以让更多的访问者能通过搜索引擎找到此网站。 为了让本网站的网页更全面被抓取到，网站管理员可以建立一个网站地图，即Site Map。 许多网络蜘蛛会把文件作为一个网站网页爬取的入口，网站管理员可以把网站内部所有网页的链接放在这个文件里面，那么网络蜘蛛可以很方便的把整个网站抓取下来，避免遗漏某些网页，也会减小对网站服务器的负担。
什么是API
API(Application Programming Interface,应用程序编程接口)是一些预先定义的函数,
API分为四种类型：1.远程调用（RPC） 通过作用在共享数据缓存器上的过程（任务）实现程序间的通信
2.标准查看语言（SQL） 是标准的访问sql
3.文件传输：文件传输通过发送格式化文件实现数据的共享
4.信息交付
API指什么呢
应用程序编程接口，简称API（Application Programming Interface），就是软件系统不同组成部分衔接的约定。 由于近年来软件的规模日益庞大，常常会需要把复杂的系统划分成小的组成部分，编程接口的设计十分重要。 程序设计的实践中，编程接口的设计首先要使系统的职责得到合理划分。 良好的接口设计可以降低系统各部分的相互依赖，提高组成单元的内聚性，降低组成单元间的耦合程度，从而提高系统的维护性和扩展性。 描述API之主要目的是提供应用程序与开发人员以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。 提供API所定义的功能的软件称作此API的实现。 API是一种接口，故而是一种抽象。 A reference implementation of an API is the implementation created by the designer of the API, or one which other implementations of the API are expected to be compared against.例如，图形库中的一组API定义调用绘制图标函数的方式，以于屏幕上显示图标。 程序中调用，编译时连接到这组API，执行时便调用API的实现（库）来显示图标。 操作系统的API可用来分配内存或访问文件。 许多系统与应用程序提供API接口与实现，比如图形系统，数据库，网络，Web服务，甚至于某些游戏。 一组API经常是一套软件开发工具包(SDK)的一部分。 SDK亦可包含其它工具亦或至于硬件，两个术语并不完全等同有诸多不同设计。 用于快速执行的接口通常包括函数，常量，变量与数据结构。 也有其它方式，如通过解释器，或是提供抽象层以遮蔽同API实现相关的信息，确保使用API的代码无需更改而适应实现变化。 [编辑] API在各语言中的表达方式[编辑] Visual Basic[Public|Private] Declare Function|Sub name Lib libname [Alias aliasname]([[Byval] variable [As type][,[Byval] variable [As type]]...]) [As type][编辑] C Sharp[DllImport(libname, Named Parameters)] [public|private|internal] [Type] FunctionName(Type parameter1,Type parameter2...);