Location:
Search - html spider
Search list
Description: 多线程SPIDER：本实例使用多线程技术实现了网络蜘蛛应用程序，可以自动搜索HTML页面并下载指定文件。-multithreading SPIDER : examples of the use of the multithreading technology to achieve a spider network applications, it will automatically search HTML pages and download a specific file.
Platform: |
Size: 93707 |
Author: zhu |
Hits:
Description: 下载站网,根据html规范分解html的网络蜘蛛
Platform: |
Size: 66586 |
Author: 383121 |
Hits:
Description: 网络蜘蛛源码。 Spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页 ，建立索引数据库，使用户能在搜索引擎中搜索到贵网站的网页。 搜索引擎 派出“蜘蛛”程序检索现有网站一定IP地址范围内的新网站，而对现有网 站的更新则根据该网站的等级不同有快慢之分。一般来说，网站网页等级 越高，更新的频率就越快。搜索引擎的“蜘蛛”同一天会对某些网站或同 一网页进行多次爬行，知道蜘蛛的运动规律，对于更新网页、了解搜索引 擎收录的收录情况等等有相当重要的作用。-Spider-source network. Spider is a search engine of automatic procedures. Its role is to visit on the Internet homepage html, database indexing, so that users can search search engine to your site's homepage. Search engine sent a "spider" search procedures for certain existing site within the IP address of the new site, and to update the existing site under the site of the different grades vary from case to case. Generally, the higher the rating web site, the frequency of updates sooner. The search engine "spider" on the same day, some web site or the same number of reptiles, spiders know the rules of movement, updated website to find out the search engine included included etc. have a very important role.
Platform: |
Size: 4096 |
Author: cwsj |
Hits:
Description: C#写的一个搜索引擎，可以搜索、建立索引等。building a simple search engine that crawls the file system from a specified folder, and indexing all HTML (or other types) of documents. A basic design and object model was developed as well as a query/results page-C# to write a search engine, search, index and so on. Building a simple search engine that crawls the file system from a specified folder, and indexing all HTML (or other types) of documents. A basic design and object model was developed as well as a query/results page
Platform: |
Size: 24576 |
Author: 站长 |
Hits:
Description: 多线程SPIDER：本实例使用多线程技术实现了网络蜘蛛应用程序，可以自动搜索HTML页面并下载指定文件。-multithreading SPIDER : examples of the use of the multithreading technology to achieve a spider network applications, it will automatically search HTML pages and download a specific file.
Platform: |
Size: 93184 |
Author: zhu |
Hits:
Description: 1、锁定某个主题抓取；
2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL；
3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限）
4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟；
5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页；
6、能够对spider/crawler程序的一些基本参数进行设置，包括：抓取深度(depth)、种子URL等；
7、使用User-agent向服务器表明自己的身份；
8、产生抓取统计信息：包括抓取速度、抓取完成所需时间、抓取网页总数；重要变量和所有类、方法加注释；
9、请遵守编程规范，如类、方法、文件等的命名规范，
10、可选：GUI图形用户界面、web界面，通过界面管理spider/crawler，包括启停、URL增删等
-1, the ability to lock a particular theme crawls; 2, can produce log text file format : timestamp (timestamp), the URL; 3. crawls up a URL to allow for the establishment of two connecting (Note : local website for a few analytical thread is not limited) 4, abide by the rules of civilized spiders : to be analyzed robots.txt file and meta tag unrestricted; End grasp a thread after a website to sleep two seconds; 5, capable of HTML pages for analysis, Links to extract URL, the extract can judge whether the URL have been processed. Analysis has not repeat crawl over the web; 6. to the spider/crawler some of the basic procedures for setting up parameters, including : Grasp depth (depth), seeds URL; 7. use User-agent to the server to identify themselves; 8, crawls produce statistical informati
Platform: |
Size: 1911808 |
Author: |
Hits:
Description: 对话框内部打开HTML网页,利用默认浏览器打开网页,利用网页对话框函数打开网页
近期工作需要,在网上找了一些有关在自己程序中显示打开网页的程序,为了方便各位同仁使用及理解,我把它们重新编写成类,去掉了原先一些没有多大用处的函数,也是为了便于正常使用,一目了然!-Internal dialog box to open HTML pages, using the default browser to open pages using the page to open page dialog function needs work in the near future, in-line to find a number of procedures in their own web pages displayed in open procedures, in order to facilitate the use and understanding of colleagues, I rewrite them into a category, removing the original number of not very useful function, but also in order to facilitate the normal use, at a glance!
Platform: |
Size: 27648 |
Author: 徐林 |
Hits:
Description: 蜘蛛登陆追捕器 (网络版）0.12 版
Spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在搜索引擎中搜索到贵网站的网页。 搜索引擎派出“蜘蛛”程序检索现有网站一定IP地址范围内的新网站，而对现有网站的更新则根据该网站的等级不同有快慢之分。一般来说，网站网页等级越高，更新的频率就越快。搜索引擎的“蜘蛛”同一天会对某些网站或同一网页进行多次爬行，知道蜘蛛的运动规律，对于更新网页、了解搜索引擎收录的收录情况等等有相当重要的作用。
我们提供的记录报告是当蜘蛛爬行时才生产，也就是说当天如果没有访问则不生成报告，您可以通过网页日期的URL来查看历史记录。蜘蛛爬行报告提供蜘蛛的以下数据：来访时间、蜘蛛类型、来访IP等众多信息。当然蜘蛛也会有好坏之分，如Google,Baidu等蜘蛛当然是越多越好啦，但是如果像一些Email地址获取蜘蛛如：EmailCollector，整站下载类的蜘蛛，如WEBZIP，当然还是要适当的屏蔽它为妙。不同的搜索引擎派出“蜘蜘”的周期也不一样！你想详细知道它们的足迹吗？赶快来试试吧！
Platform: |
Size: 3072 |
Author: dfd |
Hits:
Description: .net解析html文件可以方便的修改里面的元素-. net analytical html files can be convenient to modify the elements inside
Platform: |
Size: 34816 |
Author: yourname |
Hits:
Description: 下载站网,根据html规范分解html的网络蜘蛛-Download station network, in accordance with norms html decomposition html web spider
Platform: |
Size: 66560 |
Author: 383121 |
Hits:
Description: 目录
目录 1
摘要 3
第一章 引言 4
第二章 搜索引擎的结构 5
2.1系统概述 5
2.2搜索引擎的构成 5
2.2.1网络机器人 5
2.2.2索引与搜索 5
2.2.3 Web服务器 6
2.3搜索引擎的主要指标及分析 6
2.4小节 6
第三章 网络机器人 7
3.1什么是网络机器人 7
3.2网络机器人的结构分析 7
3.2.1如何解析HTML 7
3.2.2 Spider程序结构 8
3.2.3如何构造Spider程序 9
3.2.4如何提高程序性能 11
3.2.5网络机器人的代码分析 12
3.3小节 14
第四章 基于LUCENE的索引与搜索 15
4.1什么是LUCENE全文检索 15
4.2 LUCENE的原理分析 15
4.2.1全文检索的实现机制 15
4.2.2 Lucene的索引效率 15
4.2.3 中文切分词机制 17
4.3 LUCENE与SPIDER的结合 18
4.4小节 21
第五章 基于TOMCAT的WEB服务器 22
5.1什么是基于TOMCAT的WEB服务器 22
5.2用户接口设计 22
5.3.1客户端设计 22
5.3.2服务端设计 23
5.3在TOMCAT上部署项目 25
5.4小节 25
第六章 搜索引擎策略 26
6.1简介 26
6.2面向主题的搜索策略 26
6.2.1导向词 26
6.2.3权威网页和中心网页 27
6.3小节 27
参考文献 28-err
Platform: |
Size: 907264 |
Author: 李丽 |
Hits:
Description: 该爬虫设计的关键:
1.control,交互界面,对爬虫的控制
2.analysis HTML,对HTML进行分析,从中提取心得hot link.
3.多线程.并发抓取页面
-web spider of JAVA
Platform: |
Size: 3072 |
Author: Kerwin Chu |
Hits:
Description: 用java实现一个简单的spider程序.-a spider which could download html pages.
Platform: |
Size: 1024 |
Author: 小桃 |
Hits:
Description: 网上机器人（Robot）又被称作Spider、Worm或Random，核心目的是为获取在Internet上的信息。机器人利用主页中的超文本链接遍历Web，通过URL引用从一个HTML文档爬行到另一个HTML文档。网上机器人收集到的信息可有多种用途，如建立索引、HTML文件的验证、URL链接验证、获取更新信息、站点镜象等。
-Internet Robot (Robot) also known as Spider, Worm, or Random, the core objective is to obtain information on the Internet. Home of the robot using hypertext links traversal Web, through the URL reference from a HTML document to another HTML document crawling. Online robot collected information can be a variety of purposes, such as indexing, HTML document verification, URL link verification, access to updated information, such as mirror sites.
Platform: |
Size: 7168 |
Author: 陈中华 |
Hits:
Description: C语言做的一个最基本的网络爬虫，包括url分析，html协议的实现，提取页面中的url-C language to a basic network of reptiles, including the url of, html protocol implementation, extract the page url
Platform: |
Size: 149504 |
Author: bsbgong |
Hits:
Description: spider网络蜘蛛，通过网页的链接地址来寻找网页，自动搜索 HTML 页面并下载指定文件-spider web spider, the link through the web to find web pages, HTML pages automatically search and download the file specified
Platform: |
Size: 2373632 |
Author: chinagen |
Hits:
Description: Spider又叫WebCrawler或者Robot，是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上，通过给定的一些URL，利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的URL作为新的起点，继续进行漫游，直到没有满足条件的新URL为止。WebCrawler的主要功能是自动从Internet上的各Web 站点抓取Web文档并从该Web文档中提取一些信息来描述该Web文档,为搜索引擎站点的数据库服务器追加和更新数据提供原始数据,这些数据包括标题、长度、文件建立时间、HTML文件中的各种链接数目等-Spider called WebCrawler or Robot, a collection of documents along the Web link roaming procedures. It generally resides on the server, by giving some of the URL, using HTTP and other standard protocols to read the documentation, then all included in the document URL is not visited as a new starting point, continue to roam until the conditions are not met until the new URL. WebCrawler' s main function is to automatically from the Web site on the Internet crawled Web documents and Web documents from the extraction of some information to describe the Web document, the site for the search engine' s database server and update the data provided additional raw data, including title, length, file creation time, HTML file, the number of various links, etc.
Platform: |
Size: 21504 |
Author: 王忠宝 |
Hits:
Description: 最经典的导航网站,为静态源码.为本人08年收藏-simple HTMl
Platform: |
Size: 393216 |
Author: 不知道 |
Hits:
Description: Spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在搜索引擎中搜索到贵网站的网页。-Spider is an automated program for search engines. Its role is to visit the Internet on the html page, the establishment of the index , allowing users to search engines to search your site s Web page.
Platform: |
Size: 5120 |
Author: pot |
Hits:
Description: Java模拟登陆SOUQ，爬取订单信息，保存到本地，并将爬取的HTML转化为JPG图片(login SOUQ.com using Java and download order information)
Platform: |
Size: 7300096 |
Author: p_next2
|
Hits: