草庐IT

spark_read_csv

全部标签

c# - 将 DataTable 转换为 CSV 的最有效方法

我正在使用DataTable,我需要将它们转换为CSV文件格式。我正在使用的大多数表都有超过50,000条记录,因此我尽量减少转换它们所需的时间。这是我目前的方法:publicstaticstringtable_to_csv(DataTabletable){stringfile="";foreach(DataColumncolintable.Columns)file=string.Concat(file,col.ColumnName,",");file=file.Remove(file.LastIndexOf(','),1);file=string.Concat(file,"\r\n"

Spark搭建/Hadoop集群

一、Spark概述.Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室,它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快,而且内置了丰富的API,使得我们能够更加容易编写程序。Spark在2013年加入Apache孵化器项目,之后获得迅猛的发展,并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎,它是基于内存计算的大数据并行计算框架,适用于各种各样的分布式平台的系统。在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、MLlib等组件。 图1-1 

c# - 在独立应用程序中使用 Spark View Engine

我的客户端应用程序需要生成HTML。我想使用像Spark这样的模板/View引擎解决方案,但我不确定Spark是否可以在ASP.NET应用程序之外使用。有谁知道以这种方式使用Spark的任何示例或文档?(如果您知道其他可以独立使用的View引擎解决方案,我也很想知道。) 最佳答案 除了其他示例之外,我还在Spark源代码中找到了一个简单的示例。Xpark项目是一个使用Spark转换XML的命令行应用程序。LouisDeJardin,Spark的创造者,描述了howXparkworks在他的博客上。相关代码片段为://Createan

c# - CSV 的通用类(所有属性)

我正在寻找一种从所有类实例创建CSV的方法。我想要的是我可以将任何类(它的所有实例)导出到CSV。有人可以指导我找到可能的解决方案吗(如果已经回答)。谢谢! 最佳答案 看看LINQtoCSV.虽然它有点重,这就是为什么我编写了以下代码来执行我需要的一小部分功能。它处理属性和字段,就像您要求的那样,尽管其他的不多。它所做的一件事是正确转义输出,以防它包含逗号、引号或换行符。publicstaticclassCsvSerializer{//////SerializeobjectstoCommaSeparatedValue(CSV)for

c# - 在 ASP.Net 中生成 CSV 文件

我在按钮单击事件的aspx页面上使用下面的代码生成csv文件。当我不命名我的文件但是当我尝试使用时这有效:Response.AddHeader("Content-Disposition","attachment;filename=myfilename.csv");将文件命名为myfilename.csv,生成的excel表是网页的屏幕截图,而不是其中的文本。谁能帮我解决这个问题。谢谢!DataGriddg=newDataGrid();dg.DataSource=GetData();htmlTextWriter.WriteLine("Details");//Getthehtmlforth

c# - 对象实体到 CSV 序列化/转换

如何在C#中将所有值(属性)写入csv格式的字符串?例如:classPerson(stringfirstName,stringlastName,int_age);Personperson=newPerson("Kevin","Kline",33);现在我想要一个字符串"Kevin;Kline;33"换句话说,我想将一个对象序列化为CSV 最佳答案 看看JoshClose's优秀CSVHelper图书馆varperson=newPerson("Kevin","Kline",33);using(varcsv=newCsvWriter(n

c# - SMTP 异常 : Unable to read data from the transport connection: net_io_connectionclosed

我知道这个问题看起来像是许多其他问题的重复,但事实并非如此。每当我尝试通过我的Web应用程序在我的本地计算机上发送电子邮件时,都会抛出SMTPException,异常是://onthisline:SmtpServer.Send(mail);Unabletoreaddatafromthetransportconnection:net_io_connectionclosed.虽然生产代码运行良好,相同的代码、相同的连接、相同的凭据,我使用的是IP而不是别名,我试图关闭本地机器上的防火墙,但没有任何帮助解决这个问题。虽然以前在我的本地机器上工作过,但任何人都可以提示引发此问题的可能是什么问题

c# - 使用 DataReader 和 OLEDB Jet 数据提供程序读取 CSV 文件时,如何控制列数据类型?

在我的C#应用程序中,我使用MicrosoftJetOLEDB数据提供程序来读取CSV文件。连接字符串如下所示:Provider=Microsoft.Jet.OLEDB.4.0;DataSource=c:\Data;ExtendedProperties="text;HDR=Yes;FMT=Delimited我使用该连接字符串打开ADO.NETOleDbConnection并使用以下命令从CSV文件中选择所有行:select*fromData.csv当我打开OleDbDataReader并检查它返回的列的数据类型时,我发现堆栈中的某些内容试图根据文件中的第一行数据来猜测数据类型。例如,假

c# - 如何在 C#.Net 中获取编码为 UTF-8 的 CSV 文件?

我想制作编码为UTF-8的CSV文件。现在,我的CSV文件无法显示日文字体。我想要C#代码来解决这个问题。 最佳答案 苏珊达,我不确定您当前的代码或您要保存的实际文本,但这可能会让您朝着正确的方向前进。using(varsw=newStreamWriter("testfile_utf8.csv",false,Encoding.UTF8)){sw.WriteLine("頼もう");}如果您在Excel中打开该文件,它将按预期显示日语文本。如果不包括Encoding.UTF8参数,它会显示乱码。我希望这就是您要找的。

C# 初学者学习 : To do a project without having read big concepts

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭5年前。Improvethisquestion作为IT支持技术员工作了3年后,我决定改变领域并开始编程。我正在通过WroxBeginningVisualC#2008book学习C#,我将其用作指南。我已经阅读了整个POO部分(继承、多态性……委托(delegate)……)。我已经开始了第二部分,即Windows编程(Winforms)我知道你们中的很多人建议做一些工作应用程序来练习,但是如果我还没有开始使用SQLServer、LINQ