草庐IT

UTF8Encoding

全部标签

python - unicode() 与 str.decode() 用于 utf8 编码的字节字符串(python 2.x)

有什么理由更喜欢unicode(somestring,'utf8')而不是somestring.decode('utf8')?我唯一的想法是.decode()是一种绑定(bind)方法,因此python可能能够更有效地解决它,但如果我错了,请纠正我。 最佳答案 对其进行基准测试很容易:>>>fromtimeitimportTimer>>>ts=Timer("s.decode('utf-8')","s='ééé'")>>>ts.timeit()8.9185450077056885>>>tu=Timer("unicode(s,'utf-

python 3 : How to specify stdin encoding

在将代码从Python2移植到Python3时,我在从标准输入读取UTF-8文本时遇到了这个问题。在Python2中,这很好用:forlineinsys.stdin:...但是Python3需要来自sys.stdin的ASCII,如果输入中有非ASCII字符,我会收到错误:UnicodeDecodeError:'ascii'codeccan'tdecodebyte..inposition..:ordinalnotinrange(128)对于普通文件,我会在打开文件时指定编码:withopen('filename','r',encoding='utf-8')asfile:forlinei

python - python 2.x中不可避免的 'encoding is an invalid keyword'错误吗?

AnsitoUTF-8usingpythoncausingerror我在那里尝试了将ansi转换为utf-8的答案。importiowithio.open(file_path_ansi,encoding='latin-1',errors='ignore')assource:withopen(file_path_utf8,mode='w',encoding='utf-8')astarget:shutil.copyfileobj(source,target)但我得到“TypeError:'encoding'isaninvalidkeywordargumentforthisfunction”

python - Python 2.6 中对 csv 文件的通用 Unicode/UTF-8 支持

当涉及UTF-8/Unicode时,Python中的csv模块无法正常工作。我发现,在Pythondocumentation在其他网页上,适用于特定情况的代码段,但您必须充分了解您正在处理的编码并使用适当的代码段。如何从Python2.6中“正常工作”的.csv文件读取和写入字符串和Unicode字符串?或者这是Python2.6的限制,没有简单的解决方案? 最佳答案 http://docs.python.org/library/csv.html#examples给出的如何读取Unicode的示例代码看起来已经过时,因为它不适用于P

python - 使用 Python 读取 UTF8 CSV 文件

我正在尝试使用Python读取带有重音字符的CSV文件(仅限法语和/或西类牙语字符)。基于csvreader(http://docs.python.org/library/csv.html)的Python2.5文档,我想出了以下代码来读取CSV文件,因为csvreader仅支持ASCII。defunicode_csv_reader(unicode_csv_data,dialect=csv.excel,**kwargs):#csv.pydoesn'tdoUnicode;encodetemporarilyasUTF-8:csv_reader=csv.reader(utf_8_encoder

python - pip 抛出 TypeError : parse() got an unexpected keyword argument 'transport_encoding' when trying to install new packages

我正在使用最新版本的Anaconda3。我刚刚安装了它,我正在尝试下载一些软件包。我正在使用Anaconda提示。在尝试使用pip做任何事情(包括升级现有软件包)时,我得到以下回溯。Exception:Traceback(mostrecentcalllast):File"C:\Users\csprock\Anaconda3\lib\site-packages\pip\basecommand.py",line215,inmainstatus=self.run(options,args)File"C:\Users\csprock\Anaconda3\lib\site-packages\pi

java - Java 如何在其 16 位 char 类型中存储 UTF-16 字符?

根据JavaSE7Specification,Java使用UnicodeUTF-16标准来表示字符。将String想象为一个由16位变量组成的简单数组,每个变量都包含一个字符,生活很简单。不幸的是,有些代码点16位根本不够用(我相信它是所有Unicode字符的16/17)。因此,在String中,这不会造成直接问题,因为当想要使用额外的两个字节存储这些~1.048.576个字符之一时,只需其中两个数组位置String将被使用。这对于Strings没有任何直接问题,因为总是可以有额外的两个字节。虽然当涉及到单个变量时,与UTF-16编码相比,它具有16位的固定长度,但如何存储这些字符,特

java - 如何编译编码为 "UTF-8"的 java 源文件?

我保存了我的Java源文件,指定它的编码类型为UTF-8(使用记事本,默认情况下记事本的编码类型是ANSI),然后我尝试使用以下代码编译它:javac-encoding"UTF-8"One.java但它给出了错误消息“One.java:1:illegalcharacter:\65279?publicclassOne{^1error有没有其他方法,我可以编译这个?这里是来源:publicclassOne{publicstaticvoidmain(String[]args){System.out.println("HI");}} 最佳答案

Java + Mysql UTF8 问题

正如标题所说,我在java和mysql之间有问题mysql数据库、表和列是utf8_unicode_ci。我有一个应用程序从xml中获取一些输入,然后编写查询...publicString[]saveField(Stringxmltag,Stringlang){NodeListnodo=this.doc.getElementsByTagName(xmltag);String[]pos=newString[nodo.getLength()];for(inti=0;i此方法返回一个字符串数组,其中包含一个或多个SQL插入查询...那么Class.forName("com.mysql.jdb

java - 如何在 ant 的 build.xml 中设置 -Dfile.encoding?

我有使用iso-8859-1编码的java源文件。当我运行ant时,我收到“警告:用于编码UTF-8的不可映射字符”。如果我运行ant-Dfile.encoding=iso-8859-1或将encoding="ISO-8859-1"添加到每个javac语句,我可以避免这种情况。p>有没有办法在build.xml中全局设置属性?不起作用。我知道我可以添加一个foo=ISO-8859-1属性并将encoding="${foo}"设置到每个javac语句,但我试图避免这种情况。 最佳答案 如果您有以特定方式编码的文件,最好告诉javac而