草庐IT

C# - 大型集合存储

coder 2024-05-26 原文

我目前正面临一个令人头疼的问题，我正在处理一个大型数据集(当我说大型时，我指的是数十亿行数据)并且我在速度和可扩展性之间陷入困境。

我可以在数据库中存储数十亿行数据，但我的应用程序需要不断检查数据集中是否存在新的一行数据，如果不存在，则插入它，否则，检索它。

如果我要使用数据库解决方案，我估计每次调用数据库以检索一行数据需要 10 毫秒(乐观估计)，我需要为我在应用程序中处理的每个文件检索大约 80 万条记录，这意味着要处理每个文件 (10ms x 800k = 2.22 hours)。该时间跨度对于分析和处理 1 个文件来说太长了，考虑到当数据库增长到数十亿行时，从数据库中检索一行数据所需的时间将会增加。

我也想过在本地内存中存储一​​个List或HashSet来比较和检索，但是这行不通，我将无法在内存中存储数十亿条记录(对象)。

请就我的情况提出建议。

编辑:对了，我忘了说我已经实现了半缓存，一旦一条记录被检索到，它就会缓存在内存中，所以如果需要再次检索同一条记录，它会取而代之的是从内存中检索，但我遇到了同样的问题，我将到达内存无法再容纳更多缓存数据的时间点。

最佳答案

理想情况下，如果您要处理大量数据，那么您必须确保在处理数据时不会耗尽资源。然而，您只需要找到一种合理的方法来提高资源的利用率。

我肯定会选择数据库，因为这是以最佳方式查询和存储数据的最著名方式。你没有提到你的应用程序到底做了什么，所以我只能给你关于在这种情况下我会怎么做的一般意见；

  1. 如果您的数据库的数据量真的很大，如您所说的以十亿计，并且如果您的数据是出于分析或报告目的而读取的，那么您最好找到一种数据挖掘技术，例如多维数据集等。这将有助于您以某种方式构建数据以减少查询时间。
  2. 如果以上都不是一个选项，请找到一种方法来水平或垂直分区您的数据，这也取决于您实际检索数据的方式以及如何真正将它们组合在一起。
  3. 找到一种查询一组行的方法(例如 where pk in (1,2,3,4,...,100) 而不是像您之前提到的那样在时间查询每一行，分组可能会增加查询响应指数方式。
  4. 最好在数据本身中找到一个主键，这样您的数据就会按物理上的主键顺序排序，并且您甚至在插入主键之前就知道了主键。但是，如果您不使用主键进行查询，那么最好放置合理的索引以增加查询响应时间。
  5. 在您的应用程序的整个生命周期内保持数据库连接打开，只有在断开时才重新连接。如果需要多个数据库连接，则使用连接池。

关于C# - 大型集合存储，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27394336/

C#大型section数据的sql.netdatabase

有关C# - 大型集合存储的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. c# - 如何在 ruby​​ 中调用 C# dll？ - 2

    如何在ruby​​中调用C#dll？ 最佳答案 我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL

  3. C# 到 Ruby sha1 base64 编码 - 2

    我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha

  4. ruby - Rack:如何将 URL 存储为变量？ - 2

    我正在编写一个简单的静态Rack应用程序。查看下面的config.ru代码:useRack::Static,:urls=>["/elements","/img","/pages","/users","/css","/js"],:root=>"archive"map'/'dorunProc.new{|env|[200,{'Content-Type'=>'text/html','Cache-Control'=>'public,max-age=6400'},File.open('archive/splash.html',File::RDONLY)]}endmap'/pages/search.

  5. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  6. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  7. ruby-on-rails - 为什么在 Rails 5.1.1 中删除了 session 存储初始化程序 - 2

    我去了这个website查看Rails5.0.0和Rails5.1.1之间的区别为什么5.1.1不再包含:config/initializers/session_store.rb？谢谢 最佳答案 这是删除它的提交:Setupdefaultsessionstoreinternally,nolongerthroughanapplicationinitializer总而言之，新应用没有该初始化器，session存储默认设置为cookie存储。即与在该初始值设定项的生成版本中指定的值相同。 关于

  8. ruby-on-rails - 尝试设置 Amazon 的 S3 存储桶 : 403 Forbidden error & setting permissions - 2

    我正在关注Hartl的railstutorial.org并已到达11.4.4:Imageuploadinproduction.我做了什么:注册亚马逊网络服务在AmazonIdentityandAccessManagement中，我创建了一个用户。用户创建成功。在AmazonS3中，我创建了一个新存储桶。设置新存储桶的权限:权限:本教程指示“授予上一步创建的用户读写权限”。但是，在存储桶的“权限”下，未提及新用户名。我只能在每个人、经过身份验证的用户、日志传送、我和亚马逊似乎根据我的名字+数字创建的用户名之间进行选择。我已经通过选择经过身份验证的用户并选中了上传/删除和查看权限的框(而不

  9. ruby - 按数字(从大到大)然后按字母(字母顺序)对对象集合进行排序 - 2

    我正在构建一个小部件来显示奥运会的奖牌数。我有一个“国家”对象的集合，其中每个对象都有一个“名称”属性，以及奖牌计数的“金”、“银”、“铜”。列表应该排序:1.首先是奖牌总数2.如果奖牌相同，按类型分割(金>银>铜，即2金>1金+1银)3.如果奖牌和类型相同，则按字母顺序子排序我正在用ruby​​做这件事，但我想语言并不重要。我确实找到了一个解决方案，但如果感觉必须有更优雅的方法来实现它。这是我做的:使用加权奖牌总数创建一个虚拟属性。因此，如果他们有2个金牌和1个银牌，加权总数将为“3.020100”。1金1银1铜为“3.010101”由于我们希望将奖牌数排序为最高的，因此列表按降序排

  10. ruby - 如何打印出 Mechanized 存储的 cookie？ - 2

    我正在使用mechanize登录网站，然后检索页面。我遇到了一些问题，我怀疑这是由于cookie中的某些值造成的。当Mechanize登录网站时，我假设它存储了cookie。如何通过Mechanize打印出存储在cookie中的所有数据？ 最佳答案 代理有一个cookie方法。agent=Mechanize.newpage=agent.get("http://www.google.com/")agent.cookiesagent.cookies.to_scookie返回一个Mechanize::Cookiesobject

随机推荐