草庐IT

mongodb - 如何使用 Haskell 将某些内容从一个数据库移动到另一个数据库？

coder 2023-10-29 原文

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

4年前关闭。




Improve this question




我对 Haskell 还很陌生；我已经阅读了无数关于它的教程和其他资源，但是每当我决定尝试编写程序来做任何远程有用的事情时，我通常甚至不知道从哪里开始。我最近在听一个播客，其中 Gabriel Gonzalez 谈到保持动力的最佳方法是将它实际用于项目并开始写作，所以我真的想用它来完成我手头的任务。

所以，我有一个 Mongo 数据库，它不断更新，定期抓取项目，还有一个 Elasticsearch 数据库。前者会经常更新我之前已经刮过的项目，而后者则填充了独特的项目。为了实现这一点，我有一个脚本(1000 行 Node.js)，它不断运行并一一使用 Mongo 数据库中的项目，做一些检查以查看它是否已经在 Elasticsearch 数据库中，如果没有则添加它;之后，它从 Mongo 中删除。然而，这个脚本是一团糟。

我一直想在 Haskell 中做到这一点，因为 Haskell 非常适合根据我所读到和听到的以受控方式管理 IO，并且因为我喜欢保留用于转换数据和部分的纯函数的想法实际执行 IO 的程序是分开的。我还假设一个有效的 Haskell 解决方案会更简洁，并且在以后更改时更容易推理。

到目前为止，我已经按照教程设法使用 mongoDB 包在 Mongo 中执行 CRUD 操作，但是关于它的工作原理还有很多我不明白的地方。我发现在 Elasticsearch 中使用 Bloodhound 包做同样的事情更难，而且我完全不知道如何将事情拼凑在一起，尤其是在确保相关项目仅在成功添加后才从 Mongo 中删除时到 Elasticsearch 。

我知道这是一个非常广泛的问题，但如果有人对此有所了解，或者只是能够给我一些指导，我将不胜感激。事实上，非常感谢所有帮助。

最佳答案

I like the idea of keeping pure functions for transforming the data and the parts of the program actually performing IO separate.



如果您从 Haskell 开始，我建议您将其放在次要位置，并构建一个即使它有 IO 也能工作的解决方案。到处。当您获得信心时，您将学会了解重构代码的方法。

I'm completely stumped as to how I would piece things together, especially while ensuring that the relevant items only get deleted from Mongo after having been successfully added to Elasticsearch.



除非我遗漏了一些东西，否则这似乎是非常简单的程序逻辑!

如果你有以下(完全发明的，非常简化的)函数
getDocumentFromMongo :: MongoGonnection -> IO Document

deleteFromMongo :: MongoConnection -> Document -> IO ()

isPresentInElastic :: ElasticConnection -> Document -> IO Bool

insertInElastic :: ElasticConnection -> Document -> IO ()

你可以写一个无限循环，如:
loader :: MongoConnection -> ElasticConnection -> IO r -- runs forever
loader mongoConn elasticConn = forever (do
    document <- getDocumentFromMongo mongoConn
    existsInElastic <- isPresentInElastic elasticConn document
    if existsInElastic
       then return ()
       else insertInElastic elasticConn document
    deleteFromMongo mongoConn document)

当然，还有更多的事情需要考虑。如果遇到 exception 该怎么办在插入 Elasticsearch 时抛出？你大概需要使用像 try 这样的函数, bracket , finally 和 onException 来自 Control.Exception .

此外，也许需要某种程度的并发性。有many good libraries为此，也是。

关于mongodb - 如何使用 Haskell 将某些内容从一个数据库移动到另一个数据库？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40445090/

mongodbHaskellbrnoreferrernoopenerelasticsearchiofunctional-programming

有关mongodb - 如何使用 Haskell 将某些内容从一个数据库移动到另一个数据库？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  6. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  9. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  10. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

随机推荐