草庐IT

Java爬虫常用工具使用

wandaren 2023-04-16 原文

1、htmlunit简单使用

1、 引入依赖

 <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.66.0</version>
        </dependency>
 <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.10</version>
        </dependency>
  <dependency>
            <groupId>org.htmlparser</groupId>
            <artifactId>htmlparser</artifactId>
            <version>2.1</version>
        </dependency>

2、封装获取Cookie的方法

public List<org.apache.http.cookie.Cookie>  getHtmlByWebClient(String url, String method) {
        @SuppressWarnings("resource")
        WebClient webClient = new WebClient();
        webClient.getOptions().setTimeout(100000);
        webClient.getOptions().setCssEnabled(false);// 取消css支持
        webClient.getOptions().setJavaScriptEnabled(true); // 取消javascript支持
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要，设置支持AJAX
        WebResponse response = null;
        try {
            //先去请求网站，让他把网站的CookieSet进去
            try {
                webClient.getPage(url);
            } catch (IOException e) {
            } catch (FailingHttpStatusCodeException e) {
            }
            //等待30秒让WebClient执行js脚本
            TimeUnit.SECONDS.sleep(30L);
            URL ur = new URL(url);
            WebRequest webequest;
            if ("GET".equals(method)) {
                webequest = new WebRequest(ur, HttpMethod.GET);
            } else {
                webequest = new WebRequest(ur, HttpMethod.POST);
            }
            response = webClient.loadWebResponse(webequest);
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            webClient.close();
        }

         Set<Cookie> cookies = null;
        try {
            cookies = webClient.getCookies(new URL(url));
        } catch (MalformedURLException e) {
        }
        return Cookie.toHttpClient(cookies);
    }

3、测试

	@Test
    void name888() {
	String url = "https://www.yuque.com/wanqi-1f4b0/vlgn2k/cnf0v6tw2v5viz5t"
        List<org.apache.http.cookie.Cookie> get = getHtmlByWebClient(url);
        StringBuilder sb = new StringBuilder();
        for (org.apache.http.cookie.Cookie cookie : get) {
            HttpCookie httpCookie = new HttpCookie( cookie.getName(), cookie.getValue());
            sb.append(httpCookie);
            sb.append("; ");
        }
        Map<String, String> headers = new HashMap<>();
        headers.put("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:106.0) Gecko/20100101 Firefox/106.0");
        headers.put("Host", "pic.netbian.com");
        headers.put("Sec-Fetch-Dest", "document");
        headers.put("Sec-Fetch-Mode", "navigate");
        headers.put("Sec-Fetch-Site", "cross-site");
        headers.put("Upgrade-Insecure-Requests", "1");
        headers.put("Pragma", "no-cache");
        headers.put("Cookie", sb.toString());
    
        String s1 = HttpUtil.createGet(url)
            .addHeaders(headers)
            .execute().body();
        System.out.println(s1);
}

2、html解析工具htmlparser封装

package com.wanqi.util;

import org.htmlparser.tags.CompositeTag;

/**
 * @Auther: wq
 * @Date: 2020/3/9 17:37
 * @Description: htmlparser定制标签
 * @Version: 1.0
 */
public class CustomizeTag extends CompositeTag {

    private static final String mIds[] = {
            "tbody", "b", "strong", "dd", "section", "big"
    };
    private static final String mEndTagEnders[] = {
            "tbody", "b", "strong", "dd", "section", "big"
    };

    public CustomizeTag() {
    }


    @Override
    public String[] getIds() {
        return mIds;
    }

    @Override
    public String[] getEndTagEnders() {
        return mEndTagEnders;
    }
}


package com.wanqi.util;

import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.PrototypicalNodeFactory;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.nodes.TagNode;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import org.jetbrains.annotations.NotNull;

import java.util.ArrayList;
import java.util.List;

public class ParseUtil {

	/**
	 * 提取具有某个属性值的标签列表
	 * 
	 * @param <T>
	 * @param html
	 *            被提取的HTML文本
	 * @param tagType
	 *            标签类型
	 * @param attributeName
	 *            某个属性的名称
	 * @param attributeValue
	 *            属性应取的值
	 * @return
	 */
	@SuppressWarnings({ "serial", "unchecked" })
	public static <T extends TagNode> List<T> parseTags(String html, final Class<T> tagType, final String attributeName,
			final String attributeValue) {
		try {
			// 创建一个HTML解释器
			Parser parser = new Parser();
			parser.setInputHTML(html);

			NodeList tagList = parser.parse((NodeFilter) node -> {
				if (node.getClass() == tagType) {
					T tn = (T) node;
					if (attributeName == null) {
						return true;
					}

					String attrValue = tn.getAttribute(attributeName);
					if (attrValue != null && attrValue.equals(attributeValue)) {
						return true;
					}
				}
				return false;
			});
			return getTs(tagList);
		} catch (ParserException e) {
		}
		return null;
	}

	@NotNull
	private static <T extends TagNode> List<T> getTs(NodeList tagList) {
		List<T> tags = new ArrayList<T>();
		for (int i = 0; i < tagList.size(); i++) {
			T t = (T) tagList.elementAt(i);
			tags.add(t);
		}

		return tags;
	}

	@SuppressWarnings({ "serial", "unchecked" })
	public static <T extends TagNode> List<T> parseNodes(String html, final Class<T> tagType,
														 final String attributeName, final String attributeValue) {
		try {
			// 创建一个HTML解释器
			Parser parser = new Parser();
			parser.setInputHTML(html);

			NodeList tagList = parser.parse((NodeFilter) node -> {
				if (node instanceof TagNode) {
					T tn = (T) node;
					if (attributeName == null) {
						return true;
					}

					String attrValue = tn.getAttribute(attributeName);
					if (attrValue != null && attrValue.equals(attributeValue)) {
						return true;
					}
				}
				return false;

			});
			return getTs(tagList);
		} catch (ParserException e) {
		}
		return null;
	}


	public static <T extends TagNode> List<T> parseTags(String html, final Class<T> tagType) {
		return parseTags(html, tagType, null, null);
	}

	public static <T extends TagNode> T parseTag(String html, final Class<T> tagType, final String attributeName,
			final String attributeValue) {
		List<T> tags = parseTags(html, tagType, attributeName, attributeValue);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}

	public static <T extends TagNode> T parseNode(String html, final Class<T> tagType, final String attributeName,
												  final String attributeValue) {
		List<T> tags = parseNodes(html, tagType, attributeName, attributeValue);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}

	public static <T extends TagNode> T parseTag(String html, final Class<T> tagType) {
		return parseTag(html, tagType, null, null);
	}

	@SuppressWarnings({ "serial", "unchecked" })
	public static <T extends TagNode> List<T> parseFuzzyTags(String html, final Class<T> tagType,
															 final String attributeName, final String attributeValue) {
		try {
			// 创建一个HTML解释器
			Parser parser = new Parser();
			parser.setInputHTML(html);

			NodeList tagList = parser.parse((NodeFilter) node -> {
				if (node instanceof TagNode) {
					T tn = (T) node;
					if (attributeName == null) {
						return true;
					}

					String attrValue = tn.getAttribute(attributeName);
					if (attrValue != null && attrValue.contains(attributeValue)) {
						return true;
					}
				}

				return false;

			});

			return getTs(tagList);
		} catch (ParserException e) {
			// e.printStackTrace();
		}
		return null;
	}

	public static <T extends TagNode> T parseFuzzyTag(String html, final Class<T> tagType, final String attributeName,
													  final String attributeValue) {
		List<T> tags = parseFuzzyTags(html, tagType, attributeName, attributeValue);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}

	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @return
	 */
	public static CustomizeTag parseTagsByCustomize(String html, final String tagType) {
		List<CustomizeTag> tags = parseTagsByCustomizes(html, tagType, null, null);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}


	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @param attributeName
	 * @param attributeValue
	 * @return
	 */
	public static CustomizeTag parseTagsByCustomize(String html, final String tagType, final String attributeName,
													final String attributeValue) {
		List<CustomizeTag> tags = parseTagsByCustomizes(html, tagType, attributeName, attributeValue);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}


	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @param attributeName
	 * @param attributeValue
	 * @return
	 */
	public static List<CustomizeTag> parseTagsByCustomizes(String html, final String tagType, final String attributeName,
														   final String attributeValue) {
		try {
			// 创建一个HTML解释器
			CustomizeTag customizeTag =	new CustomizeTag();
			Parser parser = new Parser();
			parser.setInputHTML(html);
			PrototypicalNodeFactory p=new PrototypicalNodeFactory();
			p.registerTag(customizeTag);
			parser.setNodeFactory(p);
			String tagName = null;
			String[] ids = customizeTag.getIds();
			for (String id : ids) {
				if(tagType.equals(id)){
					tagName = id;
				}
			}
			if(tagName == null){
				return null;
			}
			NodeList tagList = parser.parse(new TagNameFilter(tagName));

			List<CustomizeTag> tags = new ArrayList<CustomizeTag>();
			for (int i = 0; i < tagList.size(); i++) {
				CustomizeTag t = (CustomizeTag) tagList.elementAt(i);
				if (attributeName == null) {
					tags.add(t);
				} else {
					String attrValue = t.getAttribute(attributeName);
					if (attrValue != null && attrValue.equals(attributeValue)) {
						tags.add(t);
					}
				}
			}

			return tags;
		} catch (ParserException e) {
		}
		return null;
	}

	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @return
	 */
	public static CustomizeTag parseFuzzyTagsByCustomize(String html, final String tagType) {
		List<CustomizeTag> tags = parseFuzzyTagsByCustomizes(html, tagType, null, null);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}


	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @param attributeName
	 * @param attributeValue
	 * @return
	 */
	public static CustomizeTag parseFuzzyTagsByCustomize(String html, final String tagType, final String attributeName,
														 final String attributeValue) {
		List<CustomizeTag> tags = parseFuzzyTagsByCustomizes(html, tagType, attributeName, attributeValue);
		if (tags != null && tags.size() > 0) {
			return tags.get(0);
		}
		return null;
	}


	/**
	 * 自定义html标签
	 * @param html
	 * @param tagType 标签名
	 * @param attributeName
	 * @param attributeValue
	 * @return
	 */
	public static List<CustomizeTag> parseFuzzyTagsByCustomizes(String html, final String tagType, final String attributeName,
																final String attributeValue) {
		try {
			// 创建一个HTML解释器
			CustomizeTag customizeTag =	new CustomizeTag();
			Parser parser = new Parser();
			parser.setInputHTML(html);
			PrototypicalNodeFactory p=new PrototypicalNodeFactory();
			p.registerTag(customizeTag);
			parser.setNodeFactory(p);
			String tagName = null;
			String[] ids = customizeTag.getIds();
			for (String id : ids) {
				if(tagType.equals(id)){
					tagName = id;
				}
			}
			if(tagName == null){
				return null;
			}
			NodeList tagList = parser.parse(new TagNameFilter(tagName));

			List<CustomizeTag> tags = new ArrayList<CustomizeTag>();
			for (int i = 0; i < tagList.size(); i++) {
				CustomizeTag t = (CustomizeTag) tagList.elementAt(i);
				if (attributeName == null) {
					tags.add(t);
				} else {
					String attrValue = t.getAttribute(attributeName);
					if (attrValue != null && attrValue.contains(attributeValue)) {
						tags.add(t);
					}
				}
			}

			return tags;
		} catch (ParserException e) {
		}
		return null;
	}
}
爬虫常用工具StringreturnattributeNameJava

有关Java爬虫常用工具使用的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

随机推荐