用于文本数据分析的 Pandas：使用 Str 访问器清理和操作文本数据

启辰8 2023-03-28 原文

文本数据是数据分析和机器学习中最常用的数据类型之一。然而，文本数据往往是杂乱无章的，需要清洗和预处理才能被有效分析。 Pandas 是一个强大的 Python 数据分析库，它提供了一个方便的 str 访问器来帮助您清理和操作文本数据。

Pandas 中的 str 访问器提供了许多有用的字符串操作，可以应用于 Pandas 系列的每个元素。这些操作包括字符串拆分、连接、替换等。在这里，我们将了解一些最有用的 str 操作，它们可以帮助您清理和操作文本数据。

让我们从使用文本数据创建示例数据框开始：

import pandas as pd

data = {"text_column": ["this is a text", "an example", "of text data", "in pandas"]}
df = pd.DataFrame(data)
print(df)

输出

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

1、小写转换

有时，文本数据可能包含混合大小写字符，这会导致难以分析和比较。 str 访问器提供了一个 lower() 方法来将所有字符转换为小写。

df["text_column"] = df["text_column"].str.lower()
print(df)

输出

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

2、strip方法

文本数据可能包含不需要的字符，如空格、制表符或换行符。 str 访问器提供了 strip() 方法来从系列中每个字符串的开头和结尾删除这些字符。

df["text_column"] = df["text_column"].str.strip()
print(df)

输出:

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

3、替代法

str 访问器还提供了一种 replace() 方法，用于在系列的每个元素中用一个字符串替换另一个字符串。当您想要替换文本数据中的特定单词或字符时，这很有用。

df["text_column"] = df["text_column"].str.replace("text", "string")
print(df)

输出:

text_column
0  this is a string
1      an example
2     of string data
3        in pandas

4、另一个重要的函数是extract()

此功能可用于从文本中提取特定模式。 extract() 函数将正则表达式模式作为参数，并返回一个或多个匹配项作为新的 DataFrame 列。让我们看一个例子：

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 extract() 函数提取“love”这个词
df['love'] = df['text'].str.extract(r'(\w+)\s(\w+)')
# Check the DataFrame
print(df)

这将产生以下输出：

text   love
0     I love cats!  love
1   Dogs are the best   NaN
2  I love dogs and cats  love

5、另一个有用的函数是split()

此函数可用于根据指定的分隔符将文本拆分为多个部分。 split() 函数返回从原始文本中拆分出来的子字符串列表。让我们看一个例子：

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 split() 函数将文本拆分为单词
df['text'] = df['text'].str.split()
# Check the DataFrame
print(df

这将产生以下输出：

text
0    [I, love, cats!]
1  [Dogs, are, the, best]
2  [I, love, dogs, and, cats]

如您所见，split() 函数已将文本拆分为单词并返回子字符串列表。

6、去除标点符号和特殊字符

在文本数据中，我们经常会有很多与分析无关的标点符号和特殊字符。要删除它们，我们可以使用 str.translate() 方法和 str.maketrans() 方法。

import string

#创建特殊字符和标点符号到 None 的映射
translator = str.maketrans("", "", string.punctuation)
# 将翻译器应用于文本列
df["text"] = df["text"].str.translate(translator)

7、删除停用词

停用词是对文本意义不大的常用词，通常会被删除以简化分析。要删除停用词，我们可以使用 nltk 库。

import nltk
from nltk.corpus import stopwords

# 下载停用词语料库
nltk.download("stopwords")
# 获取停用词列表
stop_words = set(stopwords.words("english"))
# 从文本列中删除停用词
df["text"] = df["text"].apply(lambda x: " ".join([word for word in x.split() if word not in stop_words]))

8、对文本进行词干化或词形还原

词干提取和词形还原是两种重要的 NLP 技术，用于将单词简化为基本形式。它们有助于简化文本数据并使其更易于分析。

词干提取是将单词简化为基本形式或词根形式的过程。它涉及删除词的后缀或词尾以得到词根。例如，“running”、“runner”和“ran”都使用词干提取法简化为词根形式“run”。

另一方面，词形还原是使用基于字典的方法将单词简化为基本形式的过程。与词干提取不同，词形还原考虑单词的上下文并将它们映射到最有意义的基本形式。例如，“running”将简化为“run”，“is”将简化为“be”。

词干提取和词形还原都有各自的优点和缺点，它们之间的选择取决于用例。词干化更快更简单，但词形还原更准确并产生更有意义的基本形式。

要在 Pandas 中对文本进行词干化或词形还原，我们可以使用 nltk 库。以下是如何使用 nltk 执行词干提取的示例：

import nltk
from nltk.stem import PorterStemmer

# 初始化词干分析器
stemmer = PorterStemmer()
# 定义一个函数来阻止文本
def stem_text(text):
    return ' '.join([stemmer.stem(word) for word in text.split()])
# 将词干提取功能应用于文本列
df['text_stemmed'] = df['text'].apply(stem_text)

以下是如何使用 nltk 执行词形还原的示例：

import nltk
from nltk.stem import WordNetLemmatizer

#初始化词形还原器
lemmatizer = WordNetLemmatizer()
# 定义一个函数来对文本进行词形还原
def lemmatize_text(text):
    return ' '.join([lemmatizer.lemmatize(word) for word in text.split()])
# 将词形还原函数应用于文本列
df['text_lemmatized'] = df['text'].apply(lemmatize_text)

在这两种情况下，词干化或词形化的文本都存储在数据框中的新列中。这个新列可用于进一步分析或建模。

作文本作文 span style color 大数据数据分析 $Pandas

有关用于文本数据分析的 Pandas：使用 Str 访问器清理和操作文本数据的更多相关文章

ruby - 使用 ruby 将 HTML 转换为纯文本并维护结构/格式 - 2
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。最佳答案首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2
大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje
ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
Ruby Sinatra 配置用于生产和开发 - 2
我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？最佳答案根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
ruby - Ruby 有 `Pair` 数据类型吗？ - 2
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？最佳
ruby - inverse_of 是否适用于 has_many？ - 2
当我使用has_one时，它工作得很好，但在has_many上却不行。在这里您可以看到object_id不同，因为它运行了另一个SQL来再次获取它。ruby-1.9.2-p290:001>e=Employee.create(name:'rafael',active:false)ruby-1.9.2-p290:002>b=Badge.create(number:1,employee:e)ruby-1.9.2-p290:003>a=Address.create(street:"123MarketSt",city:"SanDiego",employee:e)ruby-1.9.2-p290
ruby - 我如何添加二进制数据来遏制 POST - 2
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2
本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit
使用canal同步MySQL数据到ES - 2
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co