草庐IT

csv_text

全部标签

python - Pandas to_csv : suppress scientific notation in csv file when writing pandas to csv

我正在将pandasdf写入csv。当我将其写入csv文件时,其中一列中的某些元素被错误地转换为科学记数法/数字。例如,col_1中有'104D59'等字符串。字符串在csv文件中主要表示为字符串,因为它们应该如此。但是,偶尔出现的字符串(例如'104E59')会被转换为科学记数法(例如1.04E61)并在随后的csv文件中表示为整数。我正在尝试将csv文件导出到一个软件包中(即pandas->csv->software_new),这种数据类型的变化导致导出出现问题。有没有办法将df写入csv,确保df['problem_col']中的所有元素在生成的csv中都表示为字符串或不转换为科

python - 如何在 python 中删除行 CSV

我正在尝试比较两个csv文件(fileA和fileB),并从fileA中删除在fileB中找不到的所有行。我希望能够在不创建第三个文件的情况下执行此操作。我以为我可以使用csvwriter模块来做到这一点,但现在我在猜测自己。目前,我正在使用以下代码从文件B记录我的比较数据:removal_list=set()withopen('fileB','rb')asfile_b:reader1=csv.reader(file_b)next(reader1)forrowinreader1:removal_list.add((row[0],row[2]))这是我卡住的地方,不知道如何删除行:wit

python - 在 Python Pandas read_csv 中使用多字符定界符

pandasread_csv函数似乎只允许使用单个字符分隔符/分隔符。有没有什么方法允许使用像“*|*”或“%%”这样的字符串? 最佳答案 Pandas现在做supportmulticharacterdelimitersimportpandaaspdpd.read_csv(csv_file,sep="\*\|\*") 关于python-在PythonPandasread_csv中使用多字符定界符,我们在StackOverflow上找到一个类似的问题: http

python - 如何使用带有 gzip 压缩选项的 pandas read_csv 读取 tar.gz 文件?

我有一个非常简单的csv,包含以下数据,压缩在tar.gz文件中。我需要使用pandas.read_csv在数据框中读取它。AB014125236importpandasaspdpd.read_csv("sample.tar.gz",compression='gzip')但是,我收到错误:CParserError:Errortokenizingdata.Cerror:Expected1fieldsinline440,saw2以下是一组read_csv命令和我遇到的不同错误:pd.read_csv("sample.tar.gz",compression='gzip',engine='py

python - 在python中顺序读取巨大的CSV文件

我有一个10gb的CSV文件,其中包含一些我需要使用的信息。由于我的电脑内存有限,我无法一次读取内存中的所有文件。相反,我只想迭代读取此文件的某些行。假设在第一次迭代时我想读取前100个,在第二次迭代时我想读取101到200等等。有没有一种在Python中执行此任务的有效方法?Pandas可以为此提供一些有用的东西吗?还是有更好的(在内存和速度方面)方法? 最佳答案 这是简短的回答。chunksize=10**6forchunkinpd.read_csv(filename,chunksize=chunksize):process(c

python - 如何修复 Anaconda linter 在 Sublime Text 3 中显示 f 字符串错误?

显示的错误只是“[E]”,所以我不确定如何在Anaconda首选项中免除此错误。例如print(f"Hello,world!")的linter错误显示“[E]语法无效” 最佳答案 编辑您的Anaconda用户首选项并添加:"python_interpreter":"python3",我在某处读到它是python的一个已知错误。它在3.6.3版中已修复,因此您可能还需要更新python版本。我的是3.6.3,不知道有没有必要更新。 关于python-如何修复Anacondalinter在S

python - re.sub (".*", ", "(replacement )", "text") 在 Python 3.7 上加倍替换

在Python3.7上(在Windows64位上测试过),使用RegEx.*替换字符串会使输入字符串重复两次!在Python3.7.2上:>>>importre>>>re.sub(".*","(replacement)","sampletext")'(replacement)(replacement)'在Python3.6.4上:>>>importre>>>re.sub(".*","(replacement)","sampletext")'(replacement)'在Python2.7.5(32位)上:>>>importre>>>re.sub(".*","(replacement)"

python - 如何禁用 Python 2.4 CSV 阅读器中的引用?

我正在编写一个Python实用程序,它需要解析一个不受我控制的定期更新的大型CSV文件。该实用程序必须在只有Python2.4可用的服务器上运行。CSV文件根本不引用字段值,而是引用Python2.4versionofthecsvlibrary似乎没有给我任何关闭引用的方法,它只允许我设置引号字符(dialect.quotechar='"'或其他)。如果我尝试将引号字符设置为None或空字符串,我得到一个错误。我可以通过将dialect.quotechar设置为一些“稀有”字符来解决这个问题,但这很脆弱,因为没有ASCII字符我可以绝对保证不会出现在字段中值(分隔符除外,但如果我设置d

Python 2 和 3 csv 阅读器

我正在尝试使用csv模块读取utf-8csv文件,由于编码原因,我在为python2和3创建通用代码时遇到了一些麻烦。这是Python2.7中的原始代码:withopen(filename,'rb')ascsvfile:csv_reader=csv.reader(csvfile,quotechar='\"')langs=next(csv_reader)[1:]forrowincsv_reader:pass但是当我用python3运行它时,它不喜欢我在没有“编码”的情况下打开文件这一事实。我试过这个:withcodecs.open(filename,'r',encoding='utf-8

python - 不使用 Google Cloud Storage 将 BigQuery 数据导出为 CSV

我目前正在写一个软件,用于导出大量的BigQuery数据并将查询结果存储在本地为CSV文件。我使用的是Python3和google提供的客户端。我进行了配置和身份验证,但问题是我无法在本地存储数据。每次执行时,我都会收到以下错误消息:googleapiclient.errors.HttpError:https://www.googleapis.com/bigquery/v2/projects/round-office-769/jobs?alt=jsonreturned"InvalidextractdestinationURI'response/file-name-*.csv'.Must