草庐IT

关于字符串：R – 带有逗号分隔的文本列条目的文档术语矩阵

codeneng 2023-03-28 原文

R - Document Term Matrix with comma separated text column entries

我有一个数据框，其中有一列由字符串 (project_skills) 组成，表示某个工作 (job_id) 提供的技能。我想为每个工作拆分这个字符串以获得一个工作提供的技能向量，然后创建一个文档术语矩阵来表示某个工作提供哪些技能(在所有可能的技能中)。

我有以下数据框：

1
2
3
4
5
6
job_id           project_skills
107182           CSS,HTML,Joomla,PHP
108169           XTCommerce,Magento,Prestashop,VirtueMart,osCommerce
112969           Google Search Console,Google Analytics,Google Webmaster Central,C++,Java,C#
114660           Marketing,Email Marketing
118686           PHP

结果应该是这样的(基本上是一个带有逗号分隔短语的文档术语矩阵：

1
2
3
4
5
6
7
        project_skills
job_id  CSS   HTML   PHP   Google Search Console   Google Analytics   Java ...
107182  1     0       0 ...        
108169  0     0       0     0                       0        
112969  0     0       0     1                       1 ...        
114660  0     0       0 ...            
118686  0     0       1 ...

我尝试了以下方法：

1
2
3
4
5
6
7
8
9
10
11
12
df <- data.frame(job_id = c(107182, 108169, 112969, 114660, 118686), project_skills = c("CSS,HTML,Joomla,PHP","XTCommerce,Magento,Prestashop,VirtueMart,osCommerce","Google Search Console,Google Analytics,Google Webmaster Central,C++,Java,C#","Marketing,Email Marketing","PHP"))

corpus <- Corpus(VectorSource(df$project_skills))
corpus <- tm_map(corpus, function(x) {
PlainTextDocument(
    strsplit(x,"\\\\,")[[1]],
    id=ID(x)
)
})
inspect(corpus)
dtm <- DocumentTermMatrix(corpus)
as.matrix(dtm)

但不幸的是，这会拆分所有单词而不是逗号(例如，Google Search Console 应被视为 DTM 中的一个术语)。

有很多解决方案，但 strsplit 是你的朋友。这正是以下代码中所做的：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
library(udpipe)
df <- data.frame(job_id = c(107182, 108169, 112969, 114660, 118686), project_skills = c("CSS,HTML,Joomla,PHP","XTCommerce,Magento,Prestashop,VirtueMart,osCommerce","Google Search Console,Google Analytics,Google Webmaster Central,C++,Java,C#","Marketing,Email Marketing","PHP"),
                 stringsAsFactors = FALSE)
dtm <- document_term_frequencies(x = df$project_skills, document = df$job_id, split =",")
dtm <- document_term_matrix(dtm)
colnames(dtm)
 [1]"C#"                      "C++"                     "CSS"                     "Email Marketing"        
 [5]"Google Analytics"        "Google Search Console"   "Google Webmaster Central""HTML"                    
 [9]"Java"                    "Joomla"                  "Magento"                 "Marketing"              
[13]"osCommerce"              "PHP"                     "Prestashop"              "VirtueMart"              
[17]"XTCommerce"              
rownames(dtm)
[1]"107182""108169""112969""114660""118686"
dim(dtm)
[1]  5 17

  • 谢谢这个解决方案也有效，更简单，更紧凑？？

tm(或其他一些文本挖掘包)在单词(空格)上拆分，如果您不检查，则倾向于删除标点符号和#。最简单的选择就是使用 strsplit。我在下面使用 tidyr 和 dplyr 显示了一个选项。第一个按job_id分组，然后拆分列。这将创建一个嵌套，当未嵌套时会创建一个长 data.frame。在这里，我为每个条目添加值 1，这就像文档术语矩阵中的 1 一样。然后传播成宽格式以获得您预期的输出。如果您查看生成的结构，列名就是您所期望的，而不显示波浪号 (~)。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
library(tidyr)
library(dplyr)

outcome <- df1 %>%
  group_by(job_id) %>%
  mutate(project_skills = strsplit(project_skills,",")) %>%
  unnest() %>%
  mutate(value = 1) %>% # add 1 for every value
  spread(key = project_skills, value = value) # use fill = 0 if you don't want NA's

head(outcome)
# A tibble: 5 x 18
# Groups:   job_id [5]
  job_id  `C#` `C++`   CSS `Email Marketin~ `Google Analyti~ `Google Search ~ `Google Webmast~  HTML  Java Joomla Magento Marketing
   <int> <dbl> <dbl> <dbl>            <dbl>            <dbl>            <dbl>            <dbl> <dbl> <dbl>  <dbl>   <dbl>     <dbl>
1 107182    NA    NA     1               NA               NA               NA               NA     1    NA      1      NA        NA
2 108169    NA    NA    NA               NA               NA               NA               NA    NA    NA     NA       1        NA
3 112969     1     1    NA               NA                1                1                1    NA     1     NA      NA        NA
4 114660    NA    NA    NA                1               NA               NA               NA    NA    NA     NA      NA         1
5 118686    NA    NA    NA               NA               NA               NA               NA    NA    NA     NA      NA        NA
# ... with 5 more variables: osCommerce <dbl>, PHP <dbl>, Prestashop <dbl>, VirtueMart <dbl>, XTCommerce <dbl>

  • 非常感谢，这解决了我的问题，这是一个非常灵活和好的解决方案。 ??

条目8211nbspsectionquotdataframerstringstrsplittm

有关关于字符串：R – 带有逗号分隔的文本列条目的文档术语矩阵的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  7. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  8. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串？ - 2

    我试图获取一个长度在1到10之间的字符串，并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符，然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  9. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  10. ruby - 用逗号、双引号和编码解析 csv - 2

    我正在使用ruby​​1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\

随机推荐