草庐IT

c# - 网络爬虫数据存储在哪里？

coder 2024-06-02 原文

我有一个简单的网络爬虫，它从根目录(给定的 url)开始下载根页面的 html，然后扫描超链接并爬取它们。我目前将 html 页面存储在 SQL 数据库中。我目前面临两个问题:

  1. 爬虫好像遇到了瓶颈，没法爬得更快，我在某处读到，对页面进行多线程http请求可以让爬虫爬得更快，但我不确定如何做到这一点。

  2. 第二个问题，我需要一个高效的数据结构来存储 html 页面并能够对其进行数据挖掘操​​作(目前正在使用 SQL 数据库，希望听到其他建议)

我正在使用 .Net 框架、C# 和 MS SQL

最佳答案

所以首先，我不会担心进入分布式爬虫和存储，因为顾名思义:它需要相当数量的机器才能获得好的结果。除非你有一个计算机农场，否则你将无法真正从中受益。您可以构建一个 gets 300 pages per second and run it on a single computer with 150 Mbps connection 的爬虫.

list 上的下一件事是确定您的瓶颈在哪里。

对您的系统进行基准测试

尝试消除 MS SQL:

  • 加载您要抓取的 1000 个网址的列表。
  • 对您抓取它们的速度进行基准测试。

如果 1000 个 URL 不足以让您进行足够大的抓取，则获取 10000 个 URL 或 100k 个 URL(或者如果您有勇气，则获取 Alexa top 1 million )。在任何情况下，尝试建立一个排除尽可能多的变量的基线。

识别瓶颈

获得爬网速度的基线后，请尝试确定导致速度变慢的原因。此外，您将需要开始使用多线程，因为您受 i/o 限制，并且在获取页面之间有大量空闲时间，您可以将这些时间用于提取链接和做其他事情，例如工作与数据库。

您现在每秒获得多少页？您应该尝试每秒获取超过 10 页。

提高速度

显然，下一步是尽可能多地调整您的爬虫:

  • 尝试加快您的抓取工具的速度，使其达到硬性限制，例如您的带宽。
  • 我建议使用异步套接字，因为它们比阻塞套接字、WebRequest/HttpWebRequest 等快得多。
  • 使用更快的 HTML 解析库:从 HtmlAgilityPack 开始如果你觉得勇敢，那就试试 Majestic12 HTML Parser .
  • 使用embedded database ，而不是 SQL 数据库，并利用键/值存储(散列键的 URL 并将 HTML 和其他相关数据存储为值)。

开始吧!

如果您已经掌握了以上所有内容，那么我建议您尝试成为专业人士!重要的是你有一个好的选择算法来模仿 PageRank 以平衡新鲜度和覆盖率:OPIC is pretty much the latest and greatest in that respect (AKA Adaptive Online Page Importance Computation) .如果您拥有上述工具，那么您应该能够实现 OPIC 并运行相当快的爬虫。

如果您对编程语言很灵活并且不想偏离 C# 太远，那么您可以尝试基于 Java 的企业级爬虫，例如 Nutch . Nutch 与 Hadoop 和各种其他高度可扩展的解决方案集成。

关于c# - 网络爬虫数据存储在哪里？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8888454/

c#爬虫noreferrernoopeneralgorithmweb-crawler

有关c# - 网络爬虫数据存储在哪里？的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  3. c# - 如何在 ruby​​ 中调用 C# dll？ - 2

    如何在ruby​​中调用C#dll？ 最佳答案 我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL

  4. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  5. C# 到 Ruby sha1 base64 编码 - 2

    我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha

  6. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  8. ruby - Rack:如何将 URL 存储为变量？ - 2

    我正在编写一个简单的静态Rack应用程序。查看下面的config.ru代码:useRack::Static,:urls=>["/elements","/img","/pages","/users","/css","/js"],:root=>"archive"map'/'dorunProc.new{|env|[200,{'Content-Type'=>'text/html','Cache-Control'=>'public,max-age=6400'},File.open('archive/splash.html',File::RDONLY)]}endmap'/pages/search.

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

随机推荐