我正在创建一个(表现良好的)网络蜘蛛，我注意到一些服务器导致 Apache HttpClient 给我一个 SocketException——特别是:
java.net.SocketException: Connection reset
导致这个的代码是:
// Execute the request
HttpResponse response;
try {
response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
return;//deep down in apache http sometimes throws a null pointer...
}
对于大多数服务器来说，这很好。但对于其他人，它会立即抛出 SocketException。
导致立即发生 SocketException 的网站示例:http://www.bhphotovideo.com/
效果很好(和大多数网站一样):http://www.google.com/
现在，如您所见，www.bhphotovideo.com 在网络浏览器中加载正常。当我不使用 Apache 的 HTTP 客户端时，它也能正常加载。 (像这样的代码:)
HttpURLConnection c = (HttpURLConnection)url.openConnection();
BufferedInputStream in = new BufferedInputStream(c.getInputStream());
Reader r = new InputStreamReader(in);
int i;
while ((i = r.read()) != -1) {
source.append((char) i);
}
那么，为什么我不直接使用这段代码呢？我需要使用 Apache 的 HTTP 客户端中的一些关键功能。
有谁知道是什么原因导致某些服务器出现这个异常？
目前的研究:
问题出现在我的本地 Mac 开发机器和 AWS EC2 实例上，因此它不是本地防火墙。
似乎错误不是由远程机器引起的，因为异常没有说“由对等”
这个堆栈溢出似乎是相关的java.net.SocketException: Connection reset但答案并没有说明为什么这只会发生在 Apache HTTP 客户端而不是其他方法。
奖励问题:我正在使用该系统进行大量爬行。除了 Apache HTTP Client 之外，通常有更好的 Java 类吗？我发现了很多问题(例如我必须在上面的代码中捕获的 NullPointerException)。似乎 HTTPClient 对服务器通信非常挑剔——比我希望的更挑剔，因为爬虫不能在服务器不正常时中断。
谢谢大家!
老实说，我没有完美的解决方案，但它确实有效，所以这对我来说已经足够了。
正如下面的 oleg 所指出的，Bixo 创建了一个爬虫程序，它自定义 HttpClient 以对服务器更加宽容。为了“解决”这个问题而不是解决它，我在这里使用了 Bixo 提供的 SimpleHttpFetcher: (链接已删除 - 所以认为我是垃圾邮件发送者，所以你必须自己谷歌)
SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","contact@yourcompany.com","ENTER URL"));
try {
FetchedResult result = fetch.fetch("ENTER URL");
System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
e.printStackTrace();
}
此解决方案的缺点是 Bixo 有很多依赖项——因此这可能不是适合所有人的解决方法。但是，您始终可以通过他们对 DefaultHttpClient 的使用来了解他们如何实例化它以使其正常工作。我决定使用整个类，因为它为我处理了一些有用的事情，例如自动重定向跟踪(并报告最终目标 url)。
感谢大家的帮助。
大家好。所以，我喜欢 Bixo 的工作方式，但不喜欢它有这么多依赖项(包括所有 Hadoop)。因此，我创建了一个大大简化的 Bixo，没有所有依赖项。如果您遇到上述问题，我建议您使用它(如果您想更新它，请随时提出拉取请求!)
最佳答案
首先，回答你的问题:
连接重置是由服务器端的问题引起的。服务器很可能无法解析请求或无法处理它并因此放弃连接而没有返回有效响应。 HttpClient 生成的 HTTP 请求中可能有某些内容导致服务器端逻辑失败，这可能是由于服务器端错误。仅仅因为错误消息没有说“by peer”并不意味着连接重置发生在客户端。
几点说明:
(1) bixo等几种流行的网络爬虫http://openbixo.org/使用 HttpClient 没有重大问题，但他们中的很多人不得不调整 HttpClient 行为以使其对常见的 HTTP 协议(protocol)违规行为更加宽容。默认情况下，HttpClient 对 HTTP 协议(protocol)合规性相当严格。
(2) 为什么不向 HttpClient 项目报告 NPE 问题或您遇到的任何其他问题？
关于java - Apache HTTPClient 抛出 java.net.SocketException : Connection reset for many domains，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5280577/
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
是的，我知道最好使用webmock，但我想知道如何在RSpec中模拟此方法:defmethod_to_testurl=URI.parseurireq=Net::HTTP::Post.newurl.pathres=Net::HTTP.start(url.host,url.port)do|http|http.requestreq,foo:1endresend这是RSpec:let(:uri){'http://example.com'}specify'HTTPcall'dohttp=mock:httpNet::HTTP.stub!(:start).and_yieldhttphttp.shou
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/
我早就知道Ruby中的“常量”(即大写的变量名)不是真正常量。与其他编程语言一样，对对象的引用是唯一存储在变量/常量中的东西。(侧边栏:Ruby确实具有“卡住”引用对象不被修改的功能，据我所知，许多其他语言都没有提供这种功能。)所以这是我的问题:当您将一个值重新分配给常量时，您会收到如下警告:>>FOO='bar'=>"bar">>FOO='baz'(irb):2:warning:alreadyinitializedconstantFOO=>"baz"有没有办法强制Ruby抛出异常而不是打印警告？很难弄清楚为什么有时会发生重新分配。 最佳答案
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
我目前正在使用以下方法获取页面的源代码:Net::HTTP.get(URI.parse(page.url))我还想获取HTTP状态，而无需发出第二个请求。有没有办法用另一种方法做到这一点？我一直在查看文档，但似乎找不到我要找的东西。 最佳答案 在我看来，除非您需要一些真正的低级访问或控制，否则最好使用Ruby的内置Open::URI模块:require'open-uri'io=open('http://www.example.org/')#=>#body=io.read[0,50]#=>"["200","OK"]io.base_ur
我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/
HashMap中为什么引入红黑树，而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道，在JDK1.8以及之前，针对HashMap有什么不同。JDK1.7的时候，HashMap的底层实现是数组+链表JDK1.8的时候，HashMap的底层实现是数组+链表+红黑树我们要思考一个问题，为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好？？？2.链表上述的截图其实就是链表的结构，我们来看下链表的增删改查的时间复杂度增：因为链表不是线性结构，所以每次添加的时候，只需要移动一个节点，所以可以理解为复杂度是N(1)删：算法时间复杂度跟增保持一致查：既然是非线性结构，所以查询某一个节点的时候