我正在尝试开发一个文本分类器，它将一段文本分类为私有(private) 或公共(public)。以医疗或健康信息为例。我能想到的典型分类器将关键字视为主要区分器，对吗？像下面这样的场景怎么样？如果两段文本都包含相似的关键字但含义不同怎么办？
以下一段文字揭示了某人的私有(private)(健康)情况(患者患有癌症):
我去过两个诊所和我的pcp。我进行了一次超声检查，结果却被告知这是正在消退的囊肿 或血肿，但它越来越大，开始让我的腿变形疼痛。 PCP 说它不可能是囊肿，因为它开始时太大了，我发誓我的腿从未受伤，甚至没有凸起。我现在很害怕癌症。大约 9 个月前，我在蹲下时才注意到有点不舒服的感觉。 3 个月前，我蹲下来收拾衣物，感觉有点疼。 疼痛 促使我检查我的腿，那时我注意到小腿肌肉底部有一个肿 block > 弯曲只会让它更引人注目。最终在四次诊所就诊、一次超声波和一次pcp之后，结果似乎呈阳性并且肿 block 越来越大。
[私有(private)](正确分类)
以下一段文字是一位医生的评论，绝对不会透露健康状况。它介绍了典型分类器模型的弱点:
不要害怕，也不要将任何坏事假设为癌症。我在我的 clinic 经历过几个案例，这些案例对我来说似乎很熟悉。正如您提到的，它可能是一个囊肿或一个血肿，而且它越来越大，它必须需要一些额外的诊断，例如活检。在该区域有疼痛或肿 block 的大小并不能真正说明任何不好。您应该多去几次专门的诊所，并进行一些特定的检查，例如biopsy、CT scan、pcp和超声波之前肿 block 变得更大。
[Private](分类错误，应该是[Public])
由于显而易见的原因，第二段被我当前所有的分类器归类为私有(private)。相似的关键字、有效的词序列、主题的存在似乎使分类器非常困惑。甚至，这两个内容都包含 I、You(名词、代词)等主题。我考虑过从 Word2Vec 到 Doc2Vec，从 Inferring meaning 到 semantic embeddings 但不能'不要考虑最适合这个问题的解决方法。
知道我应该用哪种方式处理分类问题吗？提前致谢。
到目前为止的进展:
这些数据是我从公共(public)来源收集的，患者/受害者通常会发布他们自己的情况，而医生/祝福者会回复这些信息。我在爬行时假设 - 帖子属于我的私有(private)类(class)，评论属于公共(public)类(class)。总而言之，我从 5K+5K 的帖子/评论开始，并在没有任何主要预处理的情况下使用朴素贝叶斯分类器获得了大约 60% 的结果。我很快就会尝试神经网络。但在输入任何分类器之前，我只想知道如何更好地进行预处理，以便为任一类赋予合理的权重以实现更好的区分。
最佳答案
如果您发布的数据代表您要区分的类别，则基于关键字的功能可能不是最有效的。看起来一些有时被视为停用词的术语将是关于什么是私有(private)的，什么是公共(public)的很好的线索。
你提到代词，我认为这可能仍然是一个很好的前进方向。如果您使用的是 unigram/bag-of-words 类型的功能，请确保您的矢量化器没有删除它们。
计算第一人称代词的实例(I、my、I've、mine ) 为 Private 案例给出 13，为 Public 案例给出 2。
Public 示例有第二人称代词(例如 you)，而第一个示例没有。因此，关于第一人称代词和第二人称代词的计数或平滑比率的特征可能会有效。
如果您具有句法结构或通过 n-gram 或类似表示跟踪位置信息，那么涉及第一人称代词和关键字的功能可能会有效。
此外，动词首句结构(Don't be ..., Having an...)是第二人称定向语言的特征，可能显示在公共(public)文本中比私有(private)文本更多。
最后一个推测性想法:这两段话的情绪非常不同，因此如果您可以进行情绪分析，那可能会提供额外的线索。我希望 Public 类比 Private 类更中立。
将您的公共(public)示例插入 Watson Tone Analyzer演示给出了这个显着的结果:
{
"sentence_id": 3,
"text": "I am now scared and afraid of cancer.",
"tones": [
{
"score": 0.991397,
"tone_id": "fear",
"tone_name": "Fear"
}
]
},
公共(public)声明也包含一个带有恐惧标签的句子，但它的得分不高，伴随着其他注释，并且在句子中包含一个明确的否定。因此，也可能值得利用这些功能。
"sentences_tone": [
{
"sentence_id": 0,
"text": "Don’t be scared and do not assume anything bad as cancer.",
"tones": [
{
"score": 0.874498,
"tone_id": "fear",
"tone_name": "Fear"
},
{
"score": 0.786991,
"tone_id": "tentative",
"tone_name": "Tentative"
},
{
"score": 0.653099,
"tone_id": "analytical",
"tone_name": "Analytical"
}
]
},
关于python - 超越关键字依赖的文本分类并推断实际含义，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54992220/
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作，我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容，因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表？~>3.0还是~>4.0？ 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本，你可以这
我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的
本文主要介绍在使用Selenium进行自动化测试或者任务时，对于使用了iframe的页面，如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候，可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签，如果直接查找是无法找到的，会抛出没有找到元素的异常。比如近在咫尺的例子就是，CSDN的登录窗体就是使用的iframe，大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素，会抛出NoSuchElementException异常。解决