The transaction log for database '***' is full due to 'REPLICATION'(数据库“***”的事务日志已满，原因为“REPLICATION”).
CDC以及复制的基本原理粗略地讲，对于日志的使用步骤如下：
1、每当基础表（开启了CDC或者replication的表）产生事务性操作（增删改）之后，对应的事务日志写入日志文件；
2、此时的日志被状态被标记为Replication，也即处于待复制状态，这个活动状态跟数据库的还原模式无关，即便是简单还原模式；
3、然后有后台进程来读取这个日志，根据事务日志的内存写入目标表，这个目标对于cdc来说是记录数据变化的系统表，对于replication来说是写入distribution这个库；
4、步骤3完成之后，事务日志被标记为正常状态，如果是简单还原模式，被后台进程解析过的事务日志被截断，可以重用；
如果上述中间的第三个步骤出现问题，也即后台进程无法解析日志后释放可用的日志空间，再次往数据库中写入操作，就会出现：数据库“TestDB”的事务日志已满，原因为“REPLICATION”的情况
本文通过通过演示开启CDC的情况下日志空间被占满的现象，以及对应的处理办法
USE master
GO
CREATE DATABASE TestLogFull ON PRIMARY
(
NAME = N'TestLogFull',
FILENAME = N'D:\DBFile\TestLogFull\TestLogFull.mdf' ,
SIZE = 500MB ,
MAXSIZE = UNLIMITED,
FILEGROWTH = 100MB
)
LOG ON
(
NAME = N'TestLogFull_log',
FILENAME = N'D:\DBFile\TestLogFull\TestLogFull_Log.ldf' ,
SIZE = 1MB ,
MAXSIZE = 512MB
)
USE TestLogFull
--启用CDC
EXECUTE sys.sp_cdc_enable_db;
GO
--创建一张测试表
create table test_cdc
(
id int identity(1,1) primary key,
name nvarchar(50),
mail varchar(50),
address nvarchar(50),
lastupdatetime datetime
)
--对表启用CDC
EXEC sys.sp_cdc_enable_table
@source_schema = 'dbo',
@source_name = 'test_cdc',
@role_name = 'cdc_admin',
@capture_instance = DEFAULT,
@supports_net_changes = 1,
@index_name = NULL,
@filegroup_name = DEFAULT
SELECT NAME, CASE is_tracked_by_cdc WHEN 1 THEN '已开启CDC' ELSE ‘未开启 CDC’ END AS result
FROM sys.TABLES
WHERE OBJECT_ID = OBJECT_ID(dbo.test_cdc)
cdc.***_capture作业或者复制代理作业来读取日志,如果SQL Server Agent在开启了CDC或者复制之后被关闭，或者重启服务器之后SQL Server Agent没有随机自动启动
就有可能造成步骤2中的日志积压，也就是记录数据变化之后的事务日志处于replication状态，无法重用，导致没有可以使用的日志,致使发生操作数据库的时候提示The transaction log for database '***' is full due to 'REPLICATION'.
这里暂时关闭代理服务（仅仅是为了测试演示这一现象）
增删改都可以产生事务日志，这里就演示insert数据的情况，做一个写数据的SQL，往开启了CDC的表中写数据库,在建库的时候日志文件有限制成了512M，因为这个表上开启了CDC，写数据这个过程会产生事务日志，日志有空空间限制,在写入数据的过程中，一开始是没有问题的，随着数据的不断写入（Replication状态的日志不断积压），当日志全部使用之后，下面的报错就会产生了
--模拟一个大批量的事务性操作
while 1=1
begin
insert into test_cdc values (newid(),newid(),newid(),GETDATE())
end
此时观察事务日志的使用情况，发现已经是完全使用了
--查看日志使用率
DBCC SQLPERF(LOGSPACE);
因为日志空间被完全使用了，那么观察一下日志的等待状态，是Replication状态
--日志状态模式查询
select [name],[database_id],[log_reuse_wait],[log_reuse_wait_desc]
from [sys].[databases] where name = 'TestLogFull';
此时尝试收缩也是无效的，因为日志都是出于活动状态，活动状态的日志是无法收缩的
--尝试收缩日志文件
DBCC SHRINKFILE(N'TestLogFull_Log' ,100)
可见，因为代理被关闭，读取日志的作业无法执行，造成日志堵塞，那么开启代理来看看到底行不行？
开启代理，查看CDC作业的执行情况，会发现，此时代理作业也不好使了，作业执行的时候并没有成功，一样提示说事务日志已满
此时观察测试表的cdc目标表没有任何数据，说明此时即便开启了代理，cdc的作业依然没有成功执行
那么这里为什么CDC的代理作业也无法正常执行？
其实也不难理解，cdc的作业也是读取事务日志写数据的，这中间也相当于有事务性操作，必须要借助日志来实现，而此时又没有可用的日志空间，这个作业当然要失败了。
那么此时怎么办？
既然是日志堵塞了，就想办法清理到这部分活动日志，尝试将事务日志标记为已分发（虽然这里是CDC，但是对于日志的使用应该是跟复制一样的）
--日志中所有复制的事务将标记为已分发
EXEC sp_repldone @xactid=NULL,@xact_segno=NULL,@numtrans=0,@time=0,@reset=1;
根据本人的测试，在执行上面的语句，将复制的事物标记为已分发之后，再次查看日志使用率，发现还是100%，但是尝试写入数据的时候是成功的，再次写入数据（一条即可）之后，日志空间开始释放，应该是写入时候的时候触发被标记为已分发的日志截断，也就是将上面占用了100%的日志空间释放出来，然后再观察日志的使用率，发现如预期的，这部分日志已被截断，日志空间不再是被完全占用了，日志变成Nothing状态（可重用）
--查看日志使用率
DBCC SQLPERF(LOGSPACE);
--日志状态模式查询
select [name],[database_id],[log_reuse_wait],[log_reuse_wait_desc]
from [sys].[databases] where name = 'TestLogFull';
这个测试说明，如果开启了CDC，SQL Server代理没有正常启动或者对应的作业没有正常启动，日志空间会随着不断产生的事物被占满，导致数据库无法进行写入性操作，这里是用过手动标记日志为已分发的方式来释放日志的，这种情况下会导致cdc日志断裂的情况，也就是手动释放的日志无法传递到下游（cdc日志表），毕竟不是一个太好的办法，下面会说明另外一种办法。
2、短时间内较大的事务性操作导致的日志空间被占满的情况
对上面所说的代理服务被关闭导致日志堵塞的情况不同，这里直接开启代理服务，依旧拿着下面的脚本往表中写数据（比如实际业务中批量导入数据之类的）
在写入一段时间之后，依然出现了事务日志被填满的情况，这又是为什么？
--模拟一个大批量的事务性操作
while 1=1
begin
insert into test_cdc values (newid(),newid(),newid(),GETDATE())
end
还要从CDC的代理任务说起，这个代理的JOB虽然是连续执行的，但是因为上面写数据的时候也是连续写入的，也就是日志是连续产生的，因为限制了日志文件的大小（这里为了方便演示，限制为512M），日志文件有最大使用空间的限制。这里可以认为是一个Session消耗日志空间（Insert操作），一个进程解析日志之后释放日志空间（代理作业），但是消耗的速度要高于释放的速度，一旦日志空间被使用完，CDC的代理作业也无法完成，这样就又造成了上面的情况：日志空间被填满，数据库无法执行任何写入操作，CDC作业也无法执行从而释放可重用的日志空间，上面是通过手动标记事务日志的状态来解决日志文件被填满的，直接手动标记日志为已分发的做法是有点不合适的，一旦标记日志状态为已分发，接下来他就不会传递给CDC的系统表或者订阅端了，这里通过另外一种方法来解决此问题:既然当前日志占满了，就在添加一个日志，注意新加日志初始化的空间不要太小。（有兴趣测试的盆友，这里添加完日志文件后注意耐心等待一两分钟）然后随后的CDC作业会借助新加的这个日志空间会继续执行
如果是当前逻辑此磁盘空间充足，也可以通过扩大事务日志文件来实现
ALTER DATABASE TestLogFull
MODIFY FILE (
NAME = N'TestLogFull_log',
FILENAME = N'D:\DBFile\TestLogFull\TestLogFull_log.ldf' ,
SIZE = 600MB ,
MAXSIZE = UNLIMITED,
FILEGROWTH = 100MB
)
如果是SQL Server 2014（非SP2补丁版），开启CDC的方式占满日志则不会出现如下的情况，也就是说重启有日志并不会自动扩充一部分，我也是醉了，验证个东西真不容易，这些小细节跟补丁版本也有关系，不过这种偏门的方法不能作为经验！
我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的
Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/
我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa
我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和
是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式？ 最佳答案 您可以像这样为日期选择器提供额外的选项，而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义，我们在StackOverflow上找到一个类似的问题： https://s
我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中，我们希望成为我们的rails应用程序中的一等公民的几个类类型起源，这意味着它们应该驻留在应用程序的app文件夹下，它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来，我有点担心应用程序文件夹被这么多目录污染。因此，我想将它们移动到一个子目录/模块中，该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内，目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty
我正在尝试将以下SQL查询转换为ActiveRecord，它正在融化我的大脑。deletefromtablewhereid有什么想法吗？我想做的是限制表中的行数。所以，我想删除少于最近10个条目的所有内容。编辑:通过结合以下几个答案找到了解决方案。Temperature.where('id这给我留下了最新的10个条目。 最佳答案 从您的SQL来看，您似乎想要从表中删除前10条记录。我相信到目前为止的大多数答案都会如此。这里有两个额外的选择:基于MurifoX的版本:Table.where(:id=>Table.order(:id).
我目前正在用Ruby编写一个项目，它使用ActiveRecordgem进行数据库交互，我正在尝试使用ActiveRecord::Base.logger记录所有数据库事件具有以下代码的属性ActiveRecord::Base.logger=Logger.new(File.open('logs/database.log','a'))这适用于迁移等(出于某种原因似乎需要启用日志记录，因为它在禁用时会出现NilClass错误)但是当我尝试运行包含调用ActiveRecord对象的线程守护程序的项目时脚本失败并出现以下错误/System/Library/Frameworks/Ruby.frame
我有一个应用需要发送用户事件邀请。当用户邀请friend(用户)参加事件时，如果尚不存在将用户连接到该事件的新记录，则会创建该记录。我的模型由用户、事件和events_user组成。classEventdefinvite(user_id,*args)user_id.eachdo|u|e=EventsUser.find_or_create_by_event_id_and_user_id(self.id,u)e.save!endendend用法Event.first.invite([1,2,3])我不认为以上是完成我的任务的最有效方法。我设想了一种方法，例如Model.find_or_cr
这是我在ActiveAdmin中的自定义页面ActiveAdmin.register_page"Settings"doaction_itemdolink_to('Importprojects','settings/importprojects')endcontentdopara"Text"endcontrollerdodefimportprojectssystem"rakedataspider:import_projects_ninja"para"OK"endendend我想做的是，当我单击“导入项目”按钮时，我想在Controller中执行rake任务。但是我无法访问该方法。可能是什