草庐IT

database-replication

全部标签

database - 使用 git 存储库作为数据库后端

我正在做一个处理结构化文档数据库的项目。我有一个类别树(约1000个类别,每个级别最多约50个类别),每个类别包含数千个(例如,约10000个)结构化文档。每个文档都是一些结构化形式的几千字节的数据(我更喜欢YAML,但它也可能是JSON或XML)。该系统的用户执行几种类型的操作:通过ID检索这些文档通过文档中的一些结构化属性搜索文档编辑文档(即添加/删除/重命名/merge);每个编辑操作都应记录为带有注释的事务查看特定文档的记录更改历史记录(包括查看谁、何时以及为什么更改了文档,获取较早版本-如果需要,可能会恢复到此版本)当然,传统的解决方案是使用某种文档数据库(例如CouchDB

database - 如何将数据库置于 git(版本控制)之下?

我正在做一个web应用程序,我需要为一些重大更改创建一个分支,问题是,这些更改需要更改数据库架构,所以我想将整个数据库也放在git下.我该怎么做?是否有一个特定的文件夹可以保存在git存储库下?我怎么知道是哪一个?我如何确定我放置的是正确的文件夹?我需要确定,因为这些更改不向后兼容;我不能搞砸。我的数据库是PostgreSQL编辑:有人建议进行备份并将备份文件而不是数据库置于版本控制之下。老实说,我觉得这很难下咽。必须有更好的方法。更新:好的,所以没有更好的方法,但我仍然不太相信,所以我会稍微改变一下问题:我想将整个数据库置于版本控制之下,我可以使用什么数据库引擎来将实际数据库置于版本

database - 什么是不打算持久化,但可以存储超过 1MB 的键值内存存储系统?

基本上,我想要可以存储超过1MB的memcached。 最佳答案 WhyNotMemcached上的memcachedwiki页面建议MogileFS作为另一种分布式键/值存储技术,可以存储大于1MB的对象。 关于database-什么是不打算持久化,但可以存储超过1MB的键值内存存储系统?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/3295436/

database-design - 你知道任何支持嵌入式文档(MongoDB)的数据库设计软件吗?

我正在尝试为MongoDB设计数据库模式,但希望能够直观地表示嵌入式文档。有点像这样:http://www.mongodb.org/download/attachments/131465/reference.jpg?version=1&modificationDate=1253899724083有没有人知道一些软件可以让我做到这一点?我知道我可以在纸上完成,但我希望能够与同事共享架构并让他们编辑小东西。 最佳答案 查看JSONDesigner用于创建JSON建模图。您也可以考虑使用JSONSchema格式作为表示和共享Mongo文档

database-design - 你知道任何支持嵌入式文档(MongoDB)的数据库设计软件吗?

我正在尝试为MongoDB设计数据库模式,但希望能够直观地表示嵌入式文档。有点像这样:http://www.mongodb.org/download/attachments/131465/reference.jpg?version=1&modificationDate=1253899724083有没有人知道一些软件可以让我做到这一点?我知道我可以在纸上完成,但我希望能够与同事共享架构并让他们编辑小东西。 最佳答案 查看JSONDesigner用于创建JSON建模图。您也可以考虑使用JSONSchema格式作为表示和共享Mongo文档

django - 操作失败 : database error when threading in MongoEngine/PyMongo

我有一个函数可以从网站读取数据,对其进行处理,然后将其加载到MongoDB中。当我在没有线程的情况下运行它时,它工作正常,但是一旦我设置了只调用这个函数的celery任务,我经常会收到以下错误:“OperationFailure:数据库错误:未经授权的db:dbname锁定类型:-1”这有点奇怪,因为如果我在多个终端上运行非celery版本,我根本不会收到此错误。我怀疑这与没有与Mongo的开放连接有关,尽管在我的代码中我在每次Mongo调用之前打开一个。具体的异常(exception)情况如下:Tasktwitter[a974bfcc-d6ca-4baf-b36f-cae9143ce

django - 操作失败 : database error when threading in MongoEngine/PyMongo

我有一个函数可以从网站读取数据,对其进行处理,然后将其加载到MongoDB中。当我在没有线程的情况下运行它时,它工作正常,但是一旦我设置了只调用这个函数的celery任务,我经常会收到以下错误:“OperationFailure:数据库错误:未经授权的db:dbname锁定类型:-1”这有点奇怪,因为如果我在多个终端上运行非celery版本,我根本不会收到此错误。我怀疑这与没有与Mongo的开放连接有关,尽管在我的代码中我在每次Mongo调用之前打开一个。具体的异常(exception)情况如下:Tasktwitter[a974bfcc-d6ca-4baf-b36f-cae9143ce

database - 小文件海量存储策略

大容量存储数百万个小文件(平均约50KB)并自动修剪超过20分钟的文件的好策略是什么?我需要从Web服务器编写和访问它们。我目前正在使用ext4,在删除期间(计划在cron中)HDD使用率飙升至100%,[flush-8:0]显示为创建负载的进程。此负载会干扰服务器上的其他应用程序。当没有删除时,最大HDD利用率为0-5%。嵌套和非嵌套目录结构的情况相同。最糟糕的是,在峰值负载期间大量删除似乎比插入速度慢,因此需要删除的文件量越来越大。我尝试过更改调度程序(截止日期、cfq、noop),但没有帮助。我也试过将ionice设置为删除脚本,但它也没有帮助。我已经尝试将GridFS与Mong

database - 在数据库中存储深层目录树

我正在开发一个桌面应用程序,它很像WinDirStat或voidtools的Everything-它映射硬盘驱动器,即从目录树中创建一个深度嵌套的字典。然后桌面应用程序应该将目录树存储在某种数据库中,以便可以使用Web应用程序从根目录逐个深度地浏览它们。假设两个应用程序暂时在同一台机器上本地运行。想到的问题是应该如何构建数据以及应该使用什么数据库,考虑:1)RAM消耗应该是合理的2)目录准备好在Web应用程序中查看所需的时间应该最短P.S-我最初的方法是将每个文件系统节点分别序列化为JSON并将每个节点插入到Mongo中,对象引用将它们链接到它们的子节点。这样,Web应用程序可以轻松地

database - 在数据库中存储深层目录树

我正在开发一个桌面应用程序,它很像WinDirStat或voidtools的Everything-它映射硬盘驱动器,即从目录树中创建一个深度嵌套的字典。然后桌面应用程序应该将目录树存储在某种数据库中,以便可以使用Web应用程序从根目录逐个深度地浏览它们。假设两个应用程序暂时在同一台机器上本地运行。想到的问题是应该如何构建数据以及应该使用什么数据库,考虑:1)RAM消耗应该是合理的2)目录准备好在Web应用程序中查看所需的时间应该最短P.S-我最初的方法是将每个文件系统节点分别序列化为JSON并将每个节点插入到Mongo中,对象引用将它们链接到它们的子节点。这样,Web应用程序可以轻松地