草庐IT

mongodb - Crawler4j 与 mongoDB

coder 2023-11-03 原文

我正在研究 crawler4j。我发现它使用 BerkeleyDB 作为数据库。我正在使用 mongoDB 开发一个 Grails 应用程序，并且想知道 crawler4j 在我的应用程序中工作的灵 active 。我基本上是想把爬取的信息存储在mongodb数据库中。是否可以以使用 mongoDB 而不是 BerkeleyDB 作为默认数据存储的方式配置 crawler4j？任何的意见都将会有帮助。谢谢

最佳答案

没有可配置的dao层，但是你可以操作它。

有 3 个 dao 类。 Counters 类保存“预定”和“已处理”页面总数(这仅用于统计)。 DocIDServer 类保存用于解析新 url 的 url-id 对。 Frontier 类保存要抓取的页面的队列。只保留方法逻辑和转换 block 。

关于mongodb - Crawler4j 与 mongoDB，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24496471/

Crawler4jCrawler4sectionmongodb

有关mongodb - Crawler4j 与 mongoDB的更多相关文章

  1. ruby - 是否有 Log4J for Ruby 的等价物，Log4Ruby？ - 2

    找了一圈也没找到。是否有Ruby的Log4X等价物？如果不是，那么处理所有调试语句的最佳方法是什么。我是Ruby的新手。谢谢! 最佳答案 Ruby带有一个内置的日志库，但是有log4r.内置库的一个简短示例:#!/usr/bin/envrubyrequire'logger'log=Logger.new('mylog.txt')log.debug"Hellolog" 关于ruby-是否有Log4JforRuby的等价物，Log4Ruby？，我们在StackOverflow上找到一个类似的问

  2. ruby-on-rails - 在一个 Rails 应用程序中使用 PostgreSQL 的 MongoDB - 2

    我可以在一个Rails应用程序中同时使用MongoDB和PostgreSQL吗？具体来说，我最终会想要使用像MongoHQ这样的东西。到目前为止，我未能在实验中进行这项工作。令我担心的是，MongoDB文档特别指出我必须禁用ActiveRecord。任何建议将不胜感激。 最佳答案 您无需禁用ActiveRecord即可使用MongoDB。查看Mongoid只需将gem加上任何模型与您现有的任何ActiveRecord模型一起添加。您应该注意到MongoHQ只是MongoDB的托管服务，可以与任何对象文档映射器(ODM)一起使用。更多

  3. ruby - 使用 mongodb/mongoid 运行时更改模型 - 2

    我必须在mongoid模型中添加几个字段，我知道MongoDB没有迁移，但如果我继续而不删除数据库，使rails完全“重新生成”数据库，它不会显示或使用新的领域!去这里最好的方法是什么？有比删除/重新打开mongodb更软的东西吗？提前致谢卢卡 最佳答案 一般来说，应该可以在运行时用新字段更新旧文档。MongoDB中不需要迁移。您可能想编写rake任务以使用新字段和默认值更新旧文档。您可以通过检查那些默认值为nil的新字段来找到这些文档。更新简单风格:如果您使用默认值定义一个新字段，只要您设置了一个新值，就应该始终使用该值:应用程序

  4. ruby-on-rails - 我如何从 Ruby 代码连接到 mongodb？ - 2

    我如何从Ruby代码连接到mongodb？ 最佳答案 首先，您必须安装MongoDbgem:geminstallmongo然后运行代码:require'rubygems'#notnecessaryforRuby1.9require'mongo'db=Mongo::Connection.new.db("mydb")#ORdb=Mongo::Connection.new("localhost").db("mydb")#ORdb=Mongo::Connection.new("localhost",27017).db("mydb")

  5. ruby - MongoDB:无法从 BSON 类型 EOO 转换为 Date - 2

    我正在尝试使用聚合框架(使用ruby​​)并像这样投影日期:db['requests'].aggregate([{"$project"=>{_id:0,method:'$method',user:'$user',year:{'$year'=>'$timestamp'}}}])文档是这样的:{_id:ObjectId("5177d7d7df26358289da7dfd"),timestamp:ISODate("2013-04-12T03:58:05+00:00"),method:"POST",status:"200",inputsize:"874",outputsize:"4981",u

  6. ruby - 在 Ruby 中从 MongoDB 中检索字段的子集 - 2

    我试图通过在Ruby中进行的查询从MongoDB获取字段的子集，但它似乎不起作用。它不返回任何结果这是ruby代码:coll.find("title"=>'Halo',:fields=>["title","isrc"])#thisdoesn'twork如果我删除字段散列，它会工作，返回包含所有字段的结果coll.find("title"=>'Halo')#thisworks查看mongodb控制台，第一个查询在mongodb服务器上结束，如下所示:{title:"Halo",fields:["title","isrc"]}如果我尝试从mongo客户端控制台进行查询，它会工作，我会得到结

  7. ruby-on-rails - neo4j 的哪个 Ruby REST API 客户端？ - 2

    我想知道Ruby(不是JRuby，所以native绑定(bind)不是一个选项)可以使用哪些RESTAPI客户端？理想情况下，我希望API类似于neo4jgem或ActiveRecord(验证、迁移、观察者等)。当前可用的(REST)工具甚至无法与我们所拥有的相提并论，例如，在ActiveRecrod中:neograhy-只是普通RESTAPI。与模型等无关neology-只是对新地理学的包装，并不是功能齐全的ActiveModel。architect4r-符合ActiveModel，但仅提供一种查询数据的方式(Cypher语言)，也不支持索引。我更喜欢architect4r的代码(主

  8. Neo4j 实战（一）-- Mac neo4j 安装与配置 - 2

     前言        Neo4j是一个高性能的，Nosql图形数据库。Nosql＝nosql，即与传统的将数据结构化并存储在表中的数据库不一样。Neo4j将数据存储在网络上，我们也可以把Neo4j视为一个图引擎。我们打交道的是一个面对对象的、灵活的网络结构而不是严格的、静态的表。传统关系型数据库，当数据量很大时，查询性能会明显受影响，尤其是一度以上的查询。但是图形数据库却在这方面表现得很好。neo4j支持多种主流编程语言，包括.Net、Java、JavaScript、Python。本文主要是涉及到jdk和neo4j安装和适配。        注意事项：neo4j安装版本与JDK版本需要对应，不

  9. Elasticsearch和MongoDB对比 - 2

    文章目录Elasticsearch和MongoDB对比关于ElasticsearchElasticsearch应用场景关于MongoDBMongoDB优点mongodb适用场景Elasticsearch和MongoDB对比Elasticsearch和MongoDB开源许可协议参考Elasticsearch和MongoDB对比关于Elasticsearch官网：https://www.elastic.co/cn/elasticsearch/Elasticistheleadingplatformforsearch-poweredsolutions.Weaccelerateresultsthatma

  10. javascript - 类型错误 : mongodb property insertmany is not a function - 2

    db.col.insertMany([{"_id":"tt0084726","title":"StarTrekII:TheWrathofKhan","year":1982,"type":"movie"},{"_id":"tt0796366","title":"StarTrek","year":2009,"type":"movie"},{"_id":"tt0084726","title":"StarTrekII:TheWrathofKhan","year":1982,"type":"movie"}]);OS:LinuxMint17.3RosaMongoDB:dbversionv2.6.1

随机推荐