草庐IT

cassandra - 我应该或不应该一起使用Cassandra和Redis来构建可扩展的一对一聊天应用程序？

coder 2023-07-18 原文

到目前为止，我几乎已经使用MySQL来完成所有事情，但是我不喜欢手动分片数据并暂时维护所有数据的想法。

我想构建一个像Facebook和WhatsApp的一对一聊天应用程序，如下图所示:



因此，这里有两个部分。右侧部分是聊天线程中的所有消息，左侧部分显示带有来自上一条消息的信息的聊天线程，以及您的聊天伙伴信息，例如名称和图像等。

到目前为止，这就是我所拥有的:

Cassandra确实擅长写作和阅读。但是由于逻辑删除，在删除数据上并没有那么多。而且您不希望将gc_grace_seconds设置为0，因为如果节点关闭并发生删除，则在完成修复后，该删除的行可能会恢复正常。因此，我们可能最终会在节点进入集群之前从节点删除所有数据。无论如何，据我所知，Cassandra对于此聊天应用程序的正确部分将是完美的。由于消息将按其插入时间进行存储和排序，因此排序永远不会改变。因此，您只需读写即可。这是Cassandra擅长的。

我有这些表来存储右侧的消息:

CREATE TYPE user_data_for_message (
    from_id INT,
    to_id INT,
    from_username TEXT,
    to_username TEXT,
    from_image_name TEXT,
    to_image_name TEXT
);

CREATE TABLE message_by_thread_id (
    message_id TIMEUUID,
    thread_id UUID,
    user_data FROZEN <user_data_for_message>,
    message TEXT,
    created_time INT,
    is_viewed BOOLEAN,
    PRIMARY KEY (thread_id, message_id)
) WITH CLUSTERING ORDER BY (message_id DESC);

在插入新消息之前，如果客户端未提供thread_id，则可以检查两个用户之间是否存在线程。我可以像这样存储这些信息:
CREATE TABLE message_thread_by_user_ids (
    thread_id UUID,
    user1_id INT,
    user2_id INT,
    PRIMARY KEY (user1_id, user2_id)
);

我可以为user1和user2颠倒顺序的每个线程存储两行，因此我只需要读1来检查是否存在。由于我不想在每次插入之前检查线程是否存在，因此我可以首先检查Redis中用户之间是否存在线程，因为它在内存中并且速度更快。

我可以像上面那样在Redis中保存上面的相同信息(不是我在Cassandra中做的两种方式，而是一种保存内存的方式。我们可以做两个GET来检查它):
SET user:1:user:2:message_thread_id 123e4567-e89b-12d3-a456-426655440000

因此，在发送消息之前，我可以先在Redis中检查两个用户之间是否存在线程。如果在Redis中找不到，我可以 checkin Cassandra(以防Redis服务器在某个时候关闭并且没有保存它)，并且如果存在线程，只需使用该thread_id插入新消息，否则就创建线程，然后将其插入表中:
message_thread_by_user_ids

使用上面的SET命令将其插入Redis。然后最后将消息插入:
message_by_thread_id

好了，现在是棘手的部分。聊天的左侧部分没有静态的排序顺序。顺序一直在变化。如果对话中有新消息，则该对话将转到顶部。因此，我没有找到一种在不进行删除和插入的情况下在Cassandra中对此建模的好方法。我必须删除一行，然后将其插入，以便表对行进行重新排序。而且，要删除行并在表中插入行，每次发送消息对我来说听起来都不是一个好主意，但是我可能错了，我对Cassandra并不熟悉。

所以我的想法是我可以在左侧使用Redis，但是唯一的问题是，如果Redis服务器宕机，那么左侧的最新聊天对话将丢失，即使聊天本身仍保留在Cassandra中。用户将需要重新发送消息以使对话再次出现。

我以为可以在Redis中做到以下几点:

每次用户发送一条消息，例如，如果用户1向用户2发送消息，我都可以这样做:
ZADD user:1:message_thread_ids 1510624312 123e4567-e89b-12d3-a456-426655440000

ZADD user:2:message_thread_ids 1510624312 123e4567-e89b-12d3-a456-426655440000

排序后的集合将跟踪线程的ID，其中最近 Activity 的 session 按Unix时间戳进行排序。

但是，另一个问题是，每次加载此窗口时，我都必须执行ZRANGE，例如在左侧获取20个最近的对话，然后在Cassandra中使用LIMIT 1执行20个单个SELECT语句以获取有关最后发送的消息，可能不是那么有效。我以为我可以使用HMSET将最近20次最新 Activity 对话中的最后一条消息的信息保存为HMSET，其中包含最相关的信息，例如消息本身仅精简为60个字符，last_message时间戳，from_username，to_username，from_id，to_id，from_image， to_image和message_id。
HMSET thread:123e4567-e89b-12d3-a456-426655440000 <... message info ...>

但是现在我必须跟踪并从Redis中删除不相关的哈希映射，因为我不想保留最新的20个以上的哈希映射，因为它很快就会消耗内存。我将从Redis和内存中获得最新的20，如果用户向下滚动，那么一次将从Cassandra获得10。另一个问题是，如果Redis服务器出现故障，那么如果对话是一个全新的对话，我可能会从应用程序的左侧断开对话。

我认为通过这种方法，仅添加新节点就可以每秒在Cassandra端获得大量写入，而Redis每秒可以完成20万至80万次操作，因此删除和添加到排序集的操作不应一个限制。由于Redis服务器会来回传递一些消息，因此我可以尝试通过管道方式传递Redis命令或编写Lua脚本，这样我就可以一次性将指令发送给Redis。

这是一个好主意吗？如何解决显示 Activity 对话的应用程序左侧问题？像我建议的那样在Redis中执行此操作是个好主意，还是应该以其他方式进行操作？

最佳答案

两者都是很好的解决方案。但是瓶颈可能在哪里？

1)Redis仅限于内存，不能超过内存。同样，当服务器关闭时，您也会丢失数据。

2)在扩展方面，redis使用带分片的主从拓 flutter ，其中Cassandra使用环形拓 flutter ，其中每个节点都等于读写。

在我看来，我宁愿使用Cassandra，也要知道它不如Redis快，但足够快且易于扩展。

Is this a good idea? How can I solve this issue of the left side of the app that shows active conversations? Is it a good idea to do this in Redis like I suggested or should I do it differently?



您的用户如何彼此书写，我想您是通过websocket来执行此操作的，不是吗？如果是，只需跟踪套接字ID并在套接字断开连接时将其删除即可。

另一个问题是，您在哪里以及如何检索某个人的 friend ID(图片的左侧)？

关于cassandra - 我应该或不应该一起使用Cassandra和Redis来构建可扩展的一对一聊天应用程序？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47276519/

一对一cassandrabrRedismessage

有关cassandra - 我应该或不应该一起使用Cassandra和Redis来构建可扩展的一对一聊天应用程序？的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  3. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  4. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  5. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  6. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  7. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  8. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  9. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  10. c - mkmf 在编译 C 扩展时忽略子文件夹中的文件 - 2

    我想这样组织C源代码:+/||___+ext||||___+native_extension||||___+lib||||||___(Sourcefilesarekeptinhere-maycontainsub-folders)||||___native_extension.c||___native_extension.h||___extconf.rb||___+lib||||___(Rubysourcecode)||___Rakefile我无法使此设置与mkmf一起正常工作。native_extension/lib中的文件(包含在native_extension.c中)将被完全忽略。

随机推荐