草庐IT

在SSIS中执行HTTP获取操作以从API获取信息

我正在研究SSIS软件包,以从API获取一些信息。我可以在SSIS中使用任何组件或扩展名执行HTTP请求或响应操作。我的API为JSON格式。它有两个字段ID和日期。我正在尝试通过提供ID来获取“日期”字段。我是C#和SSIS的新手。请让我知道我是否应该尝试使用脚本组件,或者SSI中是否有其他替代扩展可以执行此操作。我尝试过使用SSIS中的脚本组件。这是我参考后尝试的这个文章。publicoverridevoidCreateNewOutputRows(){stringserviceDate=Variables.TaskID;stringwUrl="https://virtserver.swag

sql-server - SSIS 将具有不同类型列的表导出到平面文件中

我正在处理SSIS包。我有如下表格:表名:Employee_tableEmployeIDEmployeeNameEmployeeDataXML==============================================1Mark32Manager2Albert31Staff==============================================必须将此表导出到名称为Employeedata.dat的平面文件中文件中的内容应该是这样的:1Mark32Manager2Albert31Staff基本上,employeeid和employeename列不是x

sql-server - SSIS 使用过多内存将大型 (40GB+) XML 文件加载到 SQL Server 表中

我需要使用SSIS将一个大型(40GB+)XML文件加载到SQLServer2012数据库表中。我遇到问题是因为SSIS似乎试图将整个文档加载到内存中而不是流式传输它。这是我的SSIS包的更多详细信息。我创建了一个具有以下属性的XML源:数据访问模式:来自变量的XML文件(但可以是XML文件位置)变量名:指定我电脑中XML文件路径的变量。XSD位置:定义正在读取的XML的XSD的路径。XML结构简单,只有3个层级:带有标题信息的根元素一级定义对象集合定义单个对象的叶级别(每个对象都有一组固定的字段)我需要为每个叶元素插入一个数据库记录,从更高层次重复字段。换句话说,我需要展平XML层次

SQL 服务器 : Multiple rows XML

我提取了xml文件并将其移动到SQLServer。现在看起来像这样。现在我正在尝试将其转换为XML数据类型。DECLARE@XMLASXMLSELECT@XML=convert(xml,[Column0],2)FROMTestExtract但是我得到了这个错误XMLparsing:line1,character43,unabletoswitchtheencoding也许我应该将所有行合并为一行?然后转换它?请告知任何选项。谢谢! 最佳答案 IusedSSIS,flatfileasasourceandoledb(SQLserver)a

sql-server - SSIS XML XSLT 任务内存不足

我正在BIDS2005中开发一个包,该包以针对非常大的输入文件的XML(XSLT)任务开始,并不断收到以下错误[XMLTask]Error:Anerroroccurredwiththefollowingerrormessage:"Exceptionoftype'System.OutOfMemoryException'wasthrown.我的工作站是Win764位-16GIGRam-i78核处理器3.5gHZ。我在此过程中运行任务管理器,它在运行期间最多只能使用大约7.5gigs的ram,直到它因错误而崩溃。我正在针对我的本地SQL2008R264位实例运行。该包在BIDS中配置为以64

xml - 在 SSIS 中保存/记录变量的值以供下次执行

我目前正在将数据从数据库导出到XML文件中。这很好用。根据数据量的不同,一个XML文件可能只包含一个数据集,也可能包含数百个数据集。这个过程每天都会触发。现在数据集应该有一个像“FileNo”这样的属性,它应该在开始时为零,然后总是增加值1。现在看到SSIS中有foreach-container和for-container。不幸的是,恐怕使用这样的容器每天都会为所有数据集提供相同的“FileNo”,因此它们并没有被正确地提升。此外,我不知道SSIS中是否可以将变量“FileNo”的最后一个值缓存在某处,以便第二天可以使用下一个更高的“FileNo”值而不是从零重新开始。..你知道如何计

sql-server - ssis导入问题将一些数据映射到xml文件

我需要使用SSIS包将一些数据从XML文件导入到SQLServer,但是当我生成xsd文件(从SSIS)时,一些必要的数据到XML文件中没有映射为要输出的列:这是我正在使用的一个非常相似的xml文件模型:xmlformatmodel需要导入第2行的数据(DocumentID、ExportID、JobID、RunID、CreationTime、StartTime、EndTime)。这是从SSIS生成XSD文件的方式:我是SSIS和XML任务的新手,如果有任何帮助,我将不胜感激!谢谢... 最佳答案 我不认为你可以使用XMLSource

sql-server - SSIS 中的 XML 列具有字节顺序标记

我在SSIS包中使用oledb数据源从数据库中提取列。该列是XML数据类型。在SSIS中,它被自动识别为数据类型DT_NTEXT。它转到一个脚本组件,我试图将它加载到System.Xml.XmlDocument中。这是我用来将xml数据转换为字符串的代码:System.Text.Encoding.Default.GetString(Row.Data.GetBlobData(0,Row.Data.Length))这是正确的方法吗?我看到的一件奇怪的事情是,在一台服务器上,我在结果字符串中得到了一个字节顺序标记,而在另一台服务器上却没有。我不介意知道为什么会这样,但我真正的愿望是如何在没有

c# - 以编程方式编写脚本 SSIS 包 - 动态 XML 到 OLE DB

我一直在努力拼凑其他用户是如何完成他们的项目的,但我的理解仍然有限。我想获取任何给定的XML源,创建数据流任务,并将其数据传递到与XML文件的表名匹配的OLEDB目标。使用可视化工具运行它意味着我无法执行动态数据流任务,因为元数据不会刷新。我已经创建了一个创建包的脚本,但是当我在VisualStudio中打开包时,它有一个红色x表示输入列不能为零。当我向下钻取并查看OLEDB目标的映射时,然后单击确定-它会为我更正它。我不知道如何以编程方式执行此操作。我见过其他人通过使用foreach循环并遍历输入列来解决它,但我似乎无法弄明白。我还有一个单独的脚本,我试图用它来模仿几个人的脚本,但它

sql-server - 是否可以使用 SQL Server 或 SSIS 解析此 XML 文件?

我有一个从名为MDM的金融数据提供商那里收到的XML文件。它显示了我下载了哪些分红。它包括股息率、日期和要求的证券等信息。我尝试使用XML源和MergeJoin通过SSIS对其进行解析。我也尝试过使用OpenXML的SQLServer2012,但无法做到。我从Youtube、谷歌和搜索此板收集了这些技术。我的目标是采用易于阅读的表格格式,以便我可以查看哪些证券收到了股息信息。当我尝试使用SSIS解析它时,给出了以下输出名称FIELDSECURITYAPP_PARAMMDM_MESSAGEXML文件太大,无法在此处完整发布,但我提供了一个希望有效的Dropbox链接。希望有人能提供帮助。