我们有数据(此时未分配)要转换/聚合/透视到wazoo。我在www上看了看，我问的所有答案都指向hadoop可扩展、运行便宜(没有SQL服务器机器和许可证)、快速(如果你有足够的数据)、可编程(不少你拖来拖去的盒子)。我一直遇到一个问题即“如果你有超过10gb的数据，请使用hadoop”现在我们甚至没有1gb的数据(在这个阶段)是否仍然可行。我的另一个选择是SSIS。现在我们确实将SSIS用于我们当前的一些ETL，但我们没有资源，将SQL放在云中只会花费很多，甚至不让我开始考虑可伸缩性成本和配置。谢谢 最佳答案 您当前的数据量似乎太
我的SQLServerIntegrationService软件包中有一个OLEDB源。然后，我还将脚本组件连接到源。从SQL查询中获得500.000记录的OLEDB源访问数据。我想知道何时开始运行应用程序时，该应用程序是否开始存储内存（500.000）中的所有记录，还是Cicle中的软件包存储记录类似于5.000记录...它是如何工作的？我可以配置吗？看答案您的包裹可以如果您具有异步/阻止组件（sort/gentregate），则尝试将所有500.000行缓冲到内存中，因为数据不能超出该点，直到从源来发送每行并已达到该组件。只有这样，SSIS才能确定X列的最大值，或者所有行已通过键Y对所有行进
我将许多文件加载到SQLServer数据库中。我有一个具有日期列的平面文件ASstring[DT_STR]。我的数据库中有两个“日期字段”。一个是varchar，一个是datetime.转换datetime列没有问题，如果需要，我只使用数据转换/派生列。但是，这个varchar专栏给我麻烦了。我们的此列的数据库值应为yyyymmdd格式。但是，在此文件上，日期的格式更改。通常我会做一个SUBSTRING(...)在这里表达，但困难是这些日期的格式发生了变化。值的一些示例可能是08/16/20178/16/201708/6/201708/06/201710/6/201710/06/2017这使挑
我试图将两个桌子连接在一起，并在我的SSIS软件包中使用OLEDB源。我在这里有两个解决方案：在查询中两次使用相同的变量；在查询中使用两个变量。我尝试了类似的东西：selectr.*,u.*fromrecruiterrinnerjoinusersuonr.userid=u.useridwherer.modifieddate>?oru.modifieddate>?在我的OLEDB源编辑器中，但显然它无法像执行SQL任务那样工作。我该怎么做才能做到这一点？看答案在“映射”对话框中命名您的参数0＆amp;1。
在早期的一些帮助下，我在SSIS中创建了一个C#脚本，用于将数据从MongoDB检索到SQLServer。虽然很容易检索到常规文档，但嵌套文档和数组却存在问题。问题1:我有shipping_address.country返回结果使用this.UserDBBuffer.SCountry=document["shipping_address"].AsBsonDocument["country"].ToString();但是，mlocation.address使用相同的代码给我一个错误“找不到国家/地区”:this.UserDBBuffer.Country=document["mlocati
我有许多平坦的文本文件，我需要将其内容导入到以前创建的SQLServer表中。我正在使用使用导入列任务的SSIS软件包。但是，这起作用了，它无法保留任何线供稿。只是为了澄清，每个文件上的文本都应导入到一个列/行中，因此，如果文件上的文本为Thecatisbigandthedogissmall导入SQLServer时，需要保留线供稿。目前，我得到的是：Thecatisbigandthedogissmall提前谢谢了。编辑：paths.txt：C:\Users\xxxx\Documents\DEV_SANDPIT_TEST_RESOURCES\TextFileToTableField\test1.
目前我正在尝试让mongodb通过SSIS使用MicrosoftSQLServer2012进入画面，主要问题是mongodb当然是一个面向文档的数据库，而MicrosoftSQL对此有问题，因为它是一个关系数据库类型程序。是否有任何程序可以用作tableau的中间件来读取，它将面向文档的数据库转换为tableau可以理解的关系数据类型？ 最佳答案 ApacheDrill可能对您有用。它提供了一种开箱即用的方式来探索多种格式的数据，包括Parquet、JSON、Hive。基本上，一个大数据ODBC连接器可以在没有模式可用的情况下即时发
关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭6年前。Improvethisquestion我正在尝试使用SSIS构建一些ETL包以在MongoDB和MSSQLServer之间加载数据。根据这篇文章ImportingMongoDBDataUsingSSIS2012，我需要安装MongoDBC#驱动程序。我下载了CSharpDriver-2.2.3.zip.但是，gacutil提示DLL未使用强名称签名。然后我去下载wholesolutionofthedriver并希望自己编译并签名。令人惊讶的是
我在SSIS中创建了一个脚本来从MongoDB检索数据。虽然我在查询常规文档时没有任何问题，但我不确定如何从嵌套文档中检索值。例如，“地址”扩展包含“国家”、“州”、“城市”、“街道”和“zip”。我只对检索“国家”(字段)值感兴趣。理论上，我知道它应该是“Address.Country”之类的东西，但我不知道如何在我的代码中实现它。实现这一目标的最佳方法是什么？这是检索所有其他文档的代码:publicoverridevoidCreateNewOutputRows(){stringconnectionString="mongodb://localhost";MongoServermyM
我有一个SSIS包，用于将数据从MySQL数据库导出到SQL数据库。出于某种原因，我只能使用ODBC源项读取数据，但无法预览表格，而且在进行其他一些测试时，我发现我也无法使用ODBC目标项插入数据。每当我尝试时，我都会收到此错误:ERROR[42000][MySQL][ODBC8.0(w)Driver][mysqld-5.7.23]YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear"TABLENAME"atline1(m
