草庐IT

twitter-gem

全部标签

caching - 从 Twitter Streaming API 和 RESTful API 获取的数据是否需要缓存?

1.我正在使用TwitterStreamingAPI获取一些带有特定主题标签的推文。我想从每条推文中提取一些元数据,并使用它们来更新一些本地数据结构。有时很多推文会在短时间内出现在我的电脑上。我不确定处理速度是否比推文流的速度快。我想保证所有的推文都能被成功接收,并且每条推文都可以进行。所以我想问一下我是否必须添加一些结构来缓存我收到的推文?如果是,你能给结构或工具的建议吗?缓冲区、线程池或一些缓存软件,如memecached或redis?2.我还想使用Twitter搜索API,这是一个RESTfulapi,来获取一些推文。我会在一次查询中得到100条推文。在这种情况下是否有必要缓存推

ruby - 使用 God Gem 设置流程启动顺序

有没有可能让上帝依次启动两个过程?我正在使用依赖于Redis的Sidekiq。我想启动Redis,然后启动Sidekiq,我设置了两个独立的watch,它们可以独立工作,但是当我运行时:$god-c"./config.god"-D看来是大神同时启动,导致Sidekiq无法连接到Redis服务器报错。我的上帝配置文件如下:#config.godPROJECT_ROOT=ENV['PROJECT_ROOT']||"/Path/to/app"God.watchdo|w|w.name="redis-server"w.group='conversion-api'w.interval=30.sec

ruby-on-rails - 当我有 Mongoid 时,Heroku 要求 PG gem

我收到以下错误Pleaseinstallthepostgresqladapter:`geminstallactiverecord-postgresql-adapter`(pgisnotpartofthebundle.AddittoGemfile.)(LoadError)每当我访问我的heroku应用程序中的页面时。我不知道为什么会这样,因为我在我的应用程序中使用了MongoDB和Mongoid。我还添加了MongoLabStarter作为heroku插件来修改MongoDB的应用程序。我删除了我的GemFile.lock并再次安装了捆绑软件。我的GemFile是source'https

python - 如何使用 NetworkX 和 pymongo 绘制 Twitter 用户的社交网络?

我已经使用了来自Twitter的一堆推文,通过pymongo将它们存储在我的本地驱动器mongodb中。我现在想使用NetworkX绘制在我的收藏中发现的不同用户之间的关系图-本质上是绘制社交网络图。作为一个菜鸟,我不知道该怎么做——有什么想法吗?欢迎使用代码片段或代码链接。谢谢! 最佳答案 作为主题介绍,观看GiladLotan'slecture并查看hisslides如果您之后遇到困难,也许会带着特定的基于代码的问题回来? 关于python-如何使用NetworkX和pymongo绘

ruby-on-rails - URL 缩短器如何大规模工作(例如 t.co 在 Twitter 的情况下)

标准方法包括生成一个唯一的ID(较小的整数,通常是一个自动递增的ID),然后在双射函数中使用该ID来生成一个较小的字符串,如下所述:https://stackoverflow.com/a/742047/762747但这种方法不适用于大规模的分布式系统。NoSQL数据库的id通常要大得多以确保唯一性。可以尝试生成自动递增ID,但这肯定会很低效。是否有任何其他方法来生成短URL。具体来说:1)twitter如何生成t.coURL,因为这是我们谈论规模时我能想到的最好的例子。推文ID大得多(他们使用雪花),所以我们可以说推特没有(而且可能不能)使用自动递增ID。2)如果他们使用相同的方法,那

ruby-on-rails - 如果我使用 will_paginate gem,mongo 查询是否仍然选择所有行然后分页?

代码:Channel.all.paginate(:page=>3,:per_page=>25)假设我有一个包含400,000条记录的表,上面的代码是选择所有400,000条记录然后获取我需要的当前25条记录,还是只查询我需要的25条记录。如果它查询所有400,000条记录,是否有更好的优化方法来使用rails对大型数据集进行分页? 最佳答案 MongoMapper(我假设您使用它是因为您的查询语法)正在使用限制和跳过表达式实现这一点。基本上,它会运行一个查询,跳过多个channel,然后检索限制指定的数量(每页获得的数量)。例如:如

mongodb - Twitter 数据 - 在 MongoDB 中查找提及次数最多的用户

假设我有来自TwitterAPI的流数据,并且我将数据作为文档存储在MongoDB中。我要查找的是entities.user_mentions下的screen_name的计数。{"_id":ObjectId("50657d5844956d06fb5b36c7"),"contributors":null,"text":"","entities":{"urls":[],"hashtags":[{"text":"","indices":[26,30]},{"text":"","indices":[]}],"user_mentions":[{"name":"TwitterAPI","indic

java - 将 twitter4J 状态保存到 MongoDB 会得到 "twitter4j.Status is an interface, and JAXB can' t 句柄接口(interface)”

试图保存List到MongoDB(通过Morphia),我得到了这个编译时错误:com.sun.xml.ws.spi.db.DatabindingException:com.sun.xml.bind.v2.runtime.IllegalAnnotationsException:1countsofIllegalAnnotationExceptionstwitter4j.Statusisaninterface,andJAXBcan'thandleinterfaces.thisproblemisrelatedtothefollowinglocation:attwitter4j.Statusa

ruby-on-rails - 如何在带有 Rails 4 版本的 mongodb 中使用 "devise"gem?

我使用Rails4和MongoDB作为我项目的数据库。我正在使用“设计”gem来创建登录,但我找不到与Rails4兼容的MongoMapper版本。我收到以下错误:/app/models/user.rb:3:in`':uninitializedconstantMongoMapper::Devise(NameError),rom/home/rails/Projects/synergy/app/models/user.rb:1:in`'from/home/rails/.rvm/gems/ruby-2.0.0-p353/gems/activesupport-4.0.1/lib/active_

node.js - TypeError : Cannot create property '_id' on string. .. 即使在使用 JSON.Parse 之后?? (MongoDB/Node.js/Twitter API)

编辑-顺便说一句,我正在尝试将100条推文插入MongoDB数据库。我试图将推文文本(使用TwitterAPI)插入MongoDB数据库,但我得到TypeError:Cannotcreateproperty_idonstring即使在解析之后。我敢打赌,这可能是一个容易修复的愚蠢错误。我的代码如下:编辑2-我编辑了代码以得到我仍然遇到的相同错误。varTwitter=require('twitter');varfs=require("fs");varrequest=require("request");varclient=newTwitter({consumer_key:'',cons