Location:
Search - webspider
Search list
Description: 可以从网络上下载网页，采用多线程编程技术，下载速度更快，并可以记录下载网页数量-network can be downloaded from the website, using multithreaded programming techniques, faster download speeds and can be downloaded from the website record number
Platform: |
Size: 29696 |
Author: yang |
Hits:
Description: 网络机器人也称为“网络蜘蛛”(Spider),是一个功能很强的WEB扫描程序。-network robot is also known as "Web Spider" (Spider), it is a highly functional Web scanning procedures.
Platform: |
Size: 66560 |
Author: lanzun |
Hits:
Description: c开发的网络蜘蛛源代码。 c开发的网络蜘蛛源代码。c开发的网络蜘蛛源代码
-c the development of network spider source code. c the development of network spider source code. c the development of network spider source code
Platform: |
Size: 6144 |
Author: liguisheng |
Hits:
Description: 在线网络蜘蛛开源代码，mfc实现。互相学习-Online open-source code spider, mfc realize. Learn from each other
Platform: |
Size: 1589248 |
Author: chen |
Hits:
Description: 一个抓取程序，可以对有关的基金网站的公布的基金进行抓取显示-A crawling process, the Fund can be on the site of the funds released to crawl display
Platform: |
Size: 21192704 |
Author: wujun |
Hits:
Description: 用java写的一个网络蜘蛛，他可以从指定的URL开始解析抓取网页上的URL，对于抓取到的URL自动分成站内外URL，并可以设置抓取的深度。-Using java to write a Web Spider, he can from the specified URL to start crawling on the page to resolve URL, the URL for the crawler to automatically divided into stations inside and outside the URL, and can set the crawling depth.
Platform: |
Size: 5120 |
Author: 纯哲 |
Hits:
Description: WebSpider
数据存储方式自定义,可以用数据库存储,或者文件.
源码项目WindowsFormsSpiderTest中使用的是xml存储HtmlDocument
具体使用方法见项目 WindowsFormsSpiderTest
HtmlDocument类中BodyContent是经过分析去掉网页标签的内容,而Html则为网页源码
-WebSpider custom data storage methods can be used to store database or file. WindowsFormsSpiderTest source project is used xml storage specific use HTMLDocument WindowsFormsSpiderTestHtmlDocument category see item BodyContent removed after analysis of the contents of the page tags, and compared with Html pages source
Platform: |
Size: 103424 |
Author: 王毅 |
Hits:
Description: 用C#编写的多线程抓取网页的“爬虫”程序-With C# Prepared multi-threaded web crawler "reptiles" procedure
Platform: |
Size: 88064 |
Author: 谢霆锋 |
Hits:
Description: c#实现抓取网络资源的网络蜘蛛。使用这个程序，可以通过一个入口网址来扫描整个互联网的网址，并将这些扫描到的网址所指向的网络资源下载到本地 -c# implementation of the network resources to crawl the web spiders. The use of this procedure can be imported through a Web site to scan the entire Internet web site, and these scans to the URL refers to a network resource downloaded to the local
Platform: |
Size: 1081344 |
Author: 朱翔 |
Hits:
Description: 该爬虫设计的关键:
1.control,交互界面,对爬虫的控制
2.analysis HTML,对HTML进行分析,从中提取心得hot link.
3.多线程.并发抓取页面
-web spider of JAVA
Platform: |
Size: 3072 |
Author: Kerwin Chu |
Hits:
Description: 有网络和数据库的蜘蛛程序，可以学习下select Url from TempSplider-Has the spider web and database program, you can study under select Url from TempSplider
Platform: |
Size: 1295360 |
Author: 王沁怡 |
Hits:
Description: 基于JAVA的网络蜘蛛系统,使用JAVA实现抓取网络资源的网络蜘蛛。通过一个入口网址来扫描整个互联网的网址，并将这些扫描到的网址所指向的网络资源下载到本地。然后可以利用其他的分析工具对这些网络资源做进一步的分析。
-Web Spider
Platform: |
Size: 519168 |
Author: 周某某 |
Hits:
Description: 可以对网络进行爬寻，具体爬寻方式可以设置为深度优先或者广度优先。-Climbing on the network can find the specific way of climbing can be set to look for depth-first or breadth-first.
Platform: |
Size: 9609216 |
Author: 吴维 |
Hits:
Description: 一个简单的Java爬虫，可以实现对网页的爬取，并进行分析，爬取需求的网页.-A simple Java reptiles, can be achieved on the climb from the page, and an analysis of the demand for climbing check the page.
Platform: |
Size: 20480 |
Author: 焦波 |
Hits:
Description: 作品名称：网络蜘蛛(WebSpider)
使用说明：
1.直接点击bin目录下的WebSpiderEh.exe，即可开始抓取网站。
2.bin\db.mdb中的sites表配置您要抓取的网站，pages表保存抓取的结果。
3.maxDepth.txt中的数字控制抓取的深度。
4.throughput.txt中的数字控制蜘蛛的吞吐量，一般不用修改，如果您的网速很快，可以将数字调大一点。-Project Title: Web Spider (WebSpider) for use: 1. Direct click bin directory WebSpiderEh.exe, you can start crawling your site. 2.bin \ db.mdb the sites table configuration of the site you want to crawl, pages table to preserve the results of the crawl. The digital control 3.maxDepth.txt crawl depth. 4.throughput.txt spider in the throughput of digital control, the general need not be amended, if your speed quickly, you can transfer large digital.
Platform: |
Size: 1721344 |
Author: ounata |
Hits:
Description: GOOGLE查询分析注入系统
一，通过关键字检索把提取前10个网站的网址
二，通过提取的网站地址做为搜索关键字搜索该网站地址的所以查询结果
三，实现GOOGLE的自动分页排查所有结果直到末页；
四，根据查询后的结果对每一个结果链接做为索引进入网站分析当前页与当前页所有的站内链接页进行分析检测是否有留言板、论坛或其它有注入特征的页面如有发现则将可疑网站及表单信息记录到数据库中，在此环节中加入了多线程，用户在搜索时初始线程数，每个线程针对一个网站的索引页面，如有线程完成了单个网站的分析工作则会向总控制台请求分析下一个网站，加快分析进度提高运行效率，在客户端可以对线程进行相应的管理；
五，在客户端加入分析监控功能，用户可以更直观的观察分析过程得知分析的网站数、页面数、GOOGLE的分页数以及每个线程的运行情况包括：当前分析的网站、当前分析的页面、分析该网站中的页面数、分析该网站所花费的时间及线程的状态全部掌控，如发现停留在该网站的分析时间过长页面过多可以放弃对该网站的分析投入到下一个网站的分析，可以根据实际情况开启新的线程也可以停止单个线程等；
SEO注入模块的管理，可针对相应的分析记录进行注入信息.-SEO search analysis into system
Platform: |
Size: 12251136 |
Author: eera |
Hits:
Description: java网络蜘蛛程序，也称为网络爬虫，是编写搜索引擎的第一步骤！-java web spider, also known as web crawler, is the first step in the preparation of search engine!
Platform: |
Size: 958464 |
Author: blueker |
Hits:
Description: 这个程序可以用于爬网页的目录与内容, 网页需要是树状结构如：www.wikipedia.org-WebSpider for getting contents and indexings of web pages with a tree structure.
Platform: |
Size: 23552 |
Author: xrlsonia |
Hits:
Description: webspider爬虫，通过引用httpclient包链接页面，迭代地深层爬取站点页面保存到本地-webspider reptiles, httpclient package by referring to the link page, iteratively deep crawling the site' s pages to a local
Platform: |
Size: 24576 |
Author: 周东科 |
Hits:
Description: 用c#编写的完整的winform 应用程序，支持多线程下载。下载速度快等优点。-the webspider can download mang webpages in the meantime.
Platform: |
Size: 532480 |
Author: song |
Hits: