crawler4j-master
................\.gitignore
................\.travis.yml
................\CHANGES.txt
................\LICENSE
................\README.md
................\pom.xml
................\src
................\...\main
................\...\....\java
................\...\....\....\edu
................\...\....\....\...\uci
................\...\....\....\...\...\ics
................\...\....\....\...\...\...\crawler4j
................\...\....\....\...\...\...\.........\crawler
................\...\....\....\...\...\...\.........\.......\Configurable.java
................\...\....\....\...\...\...\.........\.......\CrawlConfig.java
................\...\....\....\...\...\...\.........\.......\CrawlController.java
................\...\....\....\...\...\...\.........\.......\Page.java
................\...\....\....\...\...\...\.........\.......\WebCrawler.java
................\...\....\....\...\...\...\.........\.......\authentication
................\...\....\....\...\...\...\.........\.......\..............\AuthInfo.java
................\...\....\....\...\...\...\.........\.......\..............\BasicAuthInfo.java
................\...\....\....\...\...\...\.........\.......\..............\FormAuthInfo.java
................\...\....\....\...\...\...\.........\.......\..............\NtAuthInfo.java
................\...\....\....\...\...\...\.........\.......\exceptions
................\...\....\....\...\...\...\.........\.......\..........\ContentFetchException.java
................\...\....\....\...\...\...\.........\.......\..........\PageBiggerThanMaxSizeException.java
................\...\....\....\...\...\...\.........\.......\..........\ParseException.java
................\...\....\....\...\...\...\.........\.......\..........\RedirectException.java
................\...\....\....\...\...\...\.........\fetcher
................\...\....\....\...\...\...\.........\.......\IdleConnectionMonitorThread.java
................\...\....\....\...\...\...\.........\.......\PageFetchResult.java
................\...\....\....\...\...\...\.........\.......\PageFetcher.java
................\...\....\....\...\...\...\.........\frontier
................\...\....\....\...\...\...\.........\........\Counters.java
................\...\....\....\...\...\...\.........\........\DocIDServer.java
................\...\....\....\...\...\...\.........\........\Frontier.java
................\...\....\....\...\...\...\.........\........\InProcessPagesDB.java
................\...\....\....\...\...\...\.........\........\WebURLTupleBinding.java
................\...\....\....\...\...\...\.........\........\WorkQueues.java
................\...\....\....\...\...\...\.........\parser
................\...\....\....\...\...\...\.........\......\BinaryParseData.java
................\...\....\....\...\...\...\.........\......\ExtractedUrlAnchorPair.java
................\...\....\....\...\...\...\.........\......\HtmlContentHandler.java
................\...\....\....\...\...\...\.........\......\HtmlParseData.java
................\...\....\....\...\...\...\.........\......\NotAllowedContentException.java
................\...\....\....\...\...\...\.........\......\ParseData.java
................\...\....\....\...\...\...\.........\......\Parser.java
................\...\....\....\...\...\...\.........\......\TextParseData.java
................\...\....\....\...\...\...\.........\robotstxt
................\...\....\....\...\...\...\.........\.........\HostDirectives.java
................\...\....\....\...\...\...\.........\.........\RobotstxtConfig.java
................\...\....\....\...\...\...\.........\.........\RobotstxtParser.java
................\...\....\....\...\...\...\.........\.........\RobotstxtServer.java
................\...\....\....\...\...\...\.........\.........\RuleSet.java
................\...\....\....\...\...\...\.........\url
................\...\....\....\...\...\...\.........\...\TLDList.java
................\...\....\....\...\...\...\.........\...\URLCanonicalizer.java
................\...\....\....\...\...\...\.........\...\