草庐IT

hadoop - Sqoop 导出作业的 sqoop.export.records.per.statement 是否有限制？

coder 2024-01-06 原文

有谁知道Sqoop批量导出作业的sqoop.export.records.per.statement的值是否有限制？

我有非常大的数据，例如 200,000,000 行数据要从 Impala 导出到 Vertica。我将得到 [Vertica][VJDBC](5065) ERROR: Too many ROS containers exist for the following projections 如果 records per statement 设置得太低，或者 java.lang.OutOfMemoryError: GC如果每个语句的记录数设置得太高，则超出开销限制。

有人知道如何解决这个问题吗？谢谢!

最佳答案

我认为限制是内存。如果你增加堆，它会让你设置更高的数字。尝试添加 -D mapred.child.java.opts=-Xmx1024M 或比当前设置更大的数字？

您可以尝试增加 export.statements.per.transaction 并减少每条语句的记录。我认为这对 ROS 容器方面没有帮助，因为我认为每批 SQL = 1 COPY 语句 = 1 ROS 容器。我认为它不会将多批 INSERT 转换为单个 COPY，但我现在没有办法对其进行测试。

您可以绕过 sqoop 并流式传输数据(您可能需要构建 COPY)，例如:

impala-shell -k -i server:port -B -q 'select * from mytable' --output_delimiter="|" | vsql -h database_host -U user -w password -c 'copy mytable from stdin direct'

关于hadoop - Sqoop 导出作业的 sqoop.export.records.per.statement 是否有限制？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33355906/

statementrecordssectioncodehadoopjdbcsqoopvertica

有关hadoop - Sqoop 导出作业的 sqoop.export.records.per.statement 是否有限制？的更多相关文章

  1. ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2

    我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - 缺失区域；使用 :region option or export region name to ENV ['AWS_REGION' ] - 2

    我知道还有其他相同的问题，但他们没有解决我的问题。我不断收到错误:Aws::Errors::MissingRegionErrorinBooksController#create,缺少区域；使用:region选项或将区域名称导出到ENV['AWS_REGION']。但是，这是我的配置开发.rb:config.paperclip_defaults={storage::s3,s3_host_name:"s3-us-west-2.amazonaws.com",s3_credentials:{bucket:ENV['AWS_BUCKET'],access_key_id:ENV['AWS_ACCE

  4. ruby-on-rails - ruby 范围 : operators in case statement - 2

    我想检查my_number是否在某个范围内，包括较高的值。在IF语句中我会简单地使用“x>100&&x但是我应该在Ruby案例中做什么(开关)？使用:casemy_numberwhenmy_number不起作用。备注:标准范围不包括my_number恰好为500的情况，并且我不想添加第二个“when”，因为我必须编写双重内容casemy_number#between100and500when100..500puts"Correct,dosomething"when500puts"Correct,dosomethingagain"end 最佳答案

  5. ruby-on-rails - Ruby 数组等效于 active record.where(criteria) - 2

    这可能是一段很长的时间，但如果存在的话会让生活变得更轻松一些。无论如何，这都是场景。我有一个散列数组，其中一个键的值是另一个散列.......是的，我知道。这里有一个更好的解释:@myArrayOfStuff[0]@myArrayOfStuff[0]["single-key"]@myArrayOfStuff[0]["single-key"]["object-identifier"]第一个返回一个散列。第二个将返回一个对象(在我的例子中称为页面，但示例使用不同的名称)第三个返回我作为对象标识符引用的任何变量。足够简单。我想做的是选择另一个对象标识符值不为零或大于x的数组。类似于activ

  6. ruby-on-rails - my_object.save(false) 并没有真正跳过我的 Active Record 验证 - 2

    所以我一直在努力解决我一直遇到的这个错误，我终于找到了导致它的原因。我一直觉得，当我调用@my_model.save(false)我会跳过我的ActiveRecord验证。事实证明这是部分正确的。我的对象正在保存到数据库中DESPITE我的ActiveRecord验证。我的问题存在是因为我的一个验证在验证过程中修改了一个子模型(这是一个24小时位置的调度应用程序，因此当午餐被保存时，我对照他们保存的那天和第二天检查它们以及确保用户不是指“凌晨2点”表示要上夜类。我的问题是:有没有办法真正跳过我的验证并直接移动到数据库？这是正常的ActiveRecord行为还是我应该更深入地研究我的验证

  7. ruby - 如何使用远程 API 将 Confluence "Space"导出为 PDF - 2

    如何将Confluence的“空间”导出为pdf文件？看起来Confluence5.0可能仍然支持使用XML-RPCAPI。不过，我找不到调用什么的示例。https://developer.atlassian.com/display/CONFDEV/Remote+API+Specification+for+PDF+Export#RemoteAPISpecificationforPDFExport-XML-RPCInformation该链接表示调用应以pdfexport为前缀，但没有列出任何调用或给出示例。 最佳答案 这可以使用Bob

  8. ruby - 扩展 ActiveSupport::Notifications.subscribe, instantiation.active_record 钩子(Hook) - 2

    我正在探索ActiveSupport::Notifications，并且想要更多关于'instantiation.active_record'的信息，而不仅仅是:record_count和:类名[1].例如，ActiveSupport::Notifications.subscribe/instantiation.active_record/do|*args|args.status#DatabaseorActiveRecordreturnstatusargs.result#Theactualresultsetreturnedargs.etc..#AnyotherinfoIcancolle

  9. ruby-on-rails - ruby rails : Find records without Sorting - 2

    我需要按照作为搜索参数传入的准确顺序查找记录。例如，我有一个字符串:item_list="23,12,54,45"通过以下查询，我按“item_list”的asc顺序获取记录-“12,23,45,54”。Inventory.find(item_list.split(","))如何修改上述查询，使其以与“item_list”相同的顺序返回记录。谢谢。 最佳答案 试试这个，虽然它可能只适用于MySQL:Inventory.where("idIN(#{item_list})").order("find_in_set(id,'#{item_

  10. ruby - 按组大小排列的 Active Record 顺序 - 2

    我有一个正在使用group_by的事件记录查询@foo=Foo.group_by(&:relation)然后在我正在使用的View中@foo.eachdo|group,values|groupxhasvalues.countelementsend有没有一种方法可以根据每组的数量对这些进行排序？ 最佳答案 group_by不是ActiveRecord方法，group是。group_by是一个枚举器方法。怎么样@foo=Foo.group('relation').order('count_idasc').count('id')取自"Or

随机推荐