草庐IT

mysql - aws rds，在查询期间丢失与 MySQL 服务器的连接，导入大文件时

coder 2023-10-05 原文

我尝试将 1.4G mysql 文件导入 aws rds。我尝试了 2 cpu 和 4G mem 选项。我仍然遇到错误:Lost connection to MySQL server during query .我的问题是如何将大型 mysql 文件导入 rds。

最佳答案

MySQL 服务器和 MySQL 客户端都有一个参数 max_allowed_packet .

这被设计为一种安全检查，以防止在数据损坏导致连接的接收端相信数据包¹ 非常大时可能发生的大量内存的无用和破坏性分配。

在传输查询和结果集时，客户端和服务器都不允许发送任何大于 max_allowed_packet 的单个“事物”(通常是查询或列的值)。 -- 如果你尝试，发送方会抛出一个错误并拒绝发送它，接收方会抛出一个错误然后关闭你的连接(所以客户端可能会也可能不会实际上报告抛出的错误——它可能只需报告连接丢失)。

不幸的是，这个参数的客户端设置和服务器设置是两个独立的设置，它们是不协调的。从技术上讲，不要求它们相同，但只有当它们都不超过另一个施加的限制时，差异值才有效。

更糟糕的是，它们的默认值实际上是不同的。在最近的版本中，服务器默认为 4 MiB，而客户端默认为 16 MiB。

找到服务器的值( SELECT @@MAX_ALLOWED_PACKET )，然后将客户端设置为匹配服务器( mysql --max-allowed-packet=max_size_in_bytes )将“修复”神秘的 Lost connection to MySQL server during query通过导致客户端做正确的事™ 而不尝试发送服务器不会接受的数据包来发送错误消息。但是您仍然会收到一个错误——只是一个信息量更大的错误。

因此，我们需要将双方重新配置为更合适的东西……但是我们如何知道正确的值？

你必须知道你的数据。任何列中的最大可能值是多少？如果这是一个延伸(并且在许多情况下确实如此)，您可以简单地根据转储文件中最长的行从一个相当大的值开始。

使用此单行查找:

$ perl -ne '$max = length($_) > $max ? length($_) : $max; END { print "$max\n" }' dumpfile.sql

输出将是文件中最长行的长度(以字节为单位)。

您可能希望将其四舍五入到下一个 2 的幂，或者至少是 1024 的下一个增量(1024 是服务器接受的粒度 - 值被四舍五入)或任何您喜欢的东西，但这个结果应该给出您的值应该允许您毫无问题地加载转储文件。

现在我们已经建立了一个应该有效的新值，更改 max_allowed_packet在服务器上添加到您刚刚发现的新值。在 RDS 中，这是在参数组中完成的。确保该值已应用于您的服务器 ( SELECT @@GLOBAL.MAX_ALLOWED_PACKET; )。

然后，您需要将相同的值传递给您的客户端程序，例如mysql --max-allowed-packet=33554432如果此值小于默认客户端值。您可以通过以下方式找到默认客户端值:
$ mysql --help --verbose | grep '^max.allowed.packet'
max-allowed-packet                16777216

客户端还允许您以 SI 单位指定值，例如 --max-allowed-packet=32M为 32 MiB(33554432 字节)。

这个参数——以及其中有两个参数，一个用于客户端，一个用于服务器这一事实——引起了很多困惑，并导致了一些不良信息的传播:你会在 Internet 上发现人们在说您可以将其设置为荒谬的值，例如 1G(1073741824，这是可能的最大值)，但这并不是一个真正好的策略，因为如上所述，这是一种保护机制。如果数据包碰巧在网络上以错误的方式损坏，服务器可能会得出结论，它实际上需要分配大量内存，以便该数据包可以成功加载到缓冲区中——这可能导致通过使系统缺乏可用内存来导致系统损坏或拒绝服务。

服务器通常分配用于从线路读取数据包的实际内存量为 net_buffer_length .除非大于 net_buffer_length，否则实际上不会分配数据包中指示的大小。 .

¹ 数据包是指 MySQL 客户端/服务器协议(protocol)意义上的第 7 层数据包。不要与 IP 数据包或数据报混淆。

关于mysql - aws rds，在查询期间丢失与 MySQL 服务器的连接，导入大文件时，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43964113/

大文mysqlcodebrsectionamazon-web-servicesrds

有关mysql - aws rds，在查询期间丢失与 MySQL 服务器的连接，导入大文件时的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  6. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  7. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  10. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

随机推荐