我有一个关键字数据库，其中包含不同群体的人在搜索中使用的关键字。 像这样的东西:
group1person1: x, y, z
group1person2: x, z, d
...
group2person1: z, d, l
...
等等
我想看看哪些关键词最能代表给定的群体。我正在尝试做 OkCupid 在他们的博客中所做的事情:http://blog.okcupid.com/index.php/the-real-stuff-white-people-like/
任何人都可以就此任务推荐合适的算法/术语/建议吗？
(我将在 Python 中执行此操作)
提前致谢!
最佳答案
您的问题或多或少地列举了 ID3 算法的核心用例。
ID3 的输出是一个分类器，它具有二叉树结构(ID3、C4.5 等通常称为决策树)。 Decision Tree Learning 的维基百科条目实际上对 ID3 有一个不错的总结(在算法层面)。
ID3 中的两个常用指标称为信息熵，用于确定给定节点处的数据部分应如何拆分。 (一个较少使用的指标是 Gini Impurity。)ID3 算法只是一个递归下降解析器，它测试变量/值的所有组合，并在给出最低加权平均熵的组合上拆分节点。
从直觉上讲，信息熵试图识别变量(列)和该变量中“最佳”拆分数据的值。 “最佳拆分”与我们的直觉一致。这比用散文描述要容易得多。考虑这个数据集:
Height Weight Age 90 min aerobics/wk? completed 5 mile run?
155 45 31 Yes True
160 51 33 No False
168 52 28 No False
155 61 25 Yes True
169 57 52 Yes True
172 81 35 No False
164 70 23 Yes False
如果数据在第 4 列拆分(此人是否每周至少进行 90 分钟的有氧运动？)，则生成的两组类别标签如下所示:
是组:[True, True, True, False]
没有分组:[False, False, False]
两组之间几乎但不完全是完全异质性。因此，显然第 4 列是拆分此数据的“最佳”变量。
ID3 算法中用于确定最佳拆分的指标只是这种直觉的数学形式。
这不是一个完美的(数学上精确的)类比，但粗略地说，您可以认为信息熵与分类变量(离散值)相关，因为方差与连续变量( float )相关。换句话说——信息熵(粗略地)表示离散数据的方差(或标准差)。
这是一个计算熵的 python 函数(使用 NumPy):
def entropy(arr1) :
import numpy as NP
ue = NP.unique(x)
p, entropy = 0., 0.
for itm in ue :
ndx = arr1 == itm
p += NP.size(x[ndx]) / float(x.size)
entropy -= p * NP.log2(p)
return entropy
上面的熵函数就是将这两个表达式组合并简化为代码:
p(i) = frequency(outcome) = count(outcome) / count(total_rows)
entropy = sum of p(i) x log2(p(i))
完美异质性的熵 = 0，因此最“有区别”的变量/值是这样的，当您根据该变量和值拆分数据时，加权平均熵最低。接近 1 的熵值几乎完全“混合”或接近随机。
# simulate a data set with three class labels (0 1, 2)
# for your problem, the class labels are the keywords,
# so just map each unique keyword to an integer value (e.g., { 'keyword1' : 0, 'keyword2' : 1}
>>> x = NP.random.randint(0, 3, 20)
>>> x
array([1, 0, 0, 0, 1, 1, 2, 1, 1, 1, 2, 2, 0, 2, 0, 1, 1, 1, 1, 1])
>>> print("{0:.3f}".format(entropy(x)))
0.758
总而言之，对于您的特定问题，要确定最“与众不同”的关键字，请计算两个类标签列表中每一个的熵，然后计算它们的加权平均值(由每个列表中的项目数加权)。导致具有最低加权平均熵的拆分的关键字就是您所追求的。
关于python - 哪些关键词最能区分两组人？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7211678/
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的
本文主要介绍在使用Selenium进行自动化测试或者任务时，对于使用了iframe的页面，如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候，可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签，如果直接查找是无法找到的，会抛出没有找到元素的异常。比如近在咫尺的例子就是，CSDN的登录窗体就是使用的iframe，大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素，会抛出NoSuchElementException异常。解决
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
ValidPalindromeGivenastring,determineifitisapalindrome,consideringonlyalphanumericcharactersandignoringcases. [#125]Example:"Aman,aplan,acanal:Panama"isapalindrome."raceacar"isnotapalindrome.Haveyouconsiderthatthestringmightbeempty?Thisisagoodquestiontoaskduringaninterview.Forthepurposeofthisproblem
是否可以在PyYAML或Ruby的Psych引擎中禁用创建anchor和引用(并有效地显式列出冗余数据)？也许我在网上搜索时遗漏了一些东西，但在Psych中似乎没有太多可用的选项，而且我也无法确定PyYAML是否允许这样做.基本原理是我必须序列化一些数据并将其以可读的形式传递给一个不是真正的技术同事进行手动验证。有些数据是多余的，但我需要以最明确的方式列出它们以提高可读性(anchor和引用是提高效率的好概念，但不是人类可读性)。Ruby和Python是我选择的工具，但如果有其他一些相当简单的方法来“展开”YAML文档，它可能就可以了。 最佳答案
我正在尝试学习Ruby词法分析器和解析器(whitequarkparser)以了解更多有关从Ruby脚本进一步生成机器代码的过程。在解析以下Ruby代码字符串时。defadd(a,b)returna+bendputsadd1,2它导致以下S表达式符号。s(:begin,s(:def,:add,s(:args,s(:arg,:a),s(:arg,:b)),s(:return,s(:send,s(:lvar,:a),:+,s(:lvar,:b)))),s(:send,nil,:puts,s(:send,nil,:add,s(:int,1),s(:int,3))))任何人都可以向我解释生成的