思科已经提交了专利申请讨论了一种使用拦截的网络流量来种子搜索引擎爬虫的方法。思科的方法包括监视计算机网络中交换的数据包,这些数据包上分布着具有各自位置标识符的文档,从而检测访问给定文档的请求。从请求中提取给定文档的位置标识符。位置标识符提供给搜索引擎,该引擎在一组文档中搜索数据,以便使搜索引擎将给定的文档添加到该集合中。我在想,思科是否聪明地找到了一种方法,让它的设备成为搜索引擎收费员。例如,思科的专利申请具体状态:
虽然本文描述的实施例主要解决了Web爬行搜索引擎的播种问题,但本发明的原理也可用于其他应用程序,例如控制给定Web页面的重新爬行频率。因此,值得赞赏的是,以上描述的实施例是通过举例的方式引用的,而且本发明不限于上文特别显示和描述的内容。相反,本发明的范围包括以上描述的各种特征的组合和子组合,以及在阅读上述描述时本技术熟练人员可能发生的且在现有技术中未披露的变化和修改。
图1一种框图,示意了在计算机网络中搜索数据的系统:图1框图是用来示意一个系统的吗20.用于在计算机网络中搜索24,根据本发明实施例。网络24可以包括,例如,广域网(WAN),如英特网,城域网(MAN),局域网(LAN)或这些网络类型的组合。网络24可能包括公共网络或企业网络(有时称为内部网)。另外或另外,网络24可包括任何其他适当的网络类型。网络通常包括包交换网络,如Internet协议(IP)网络。