草庐IT

php - 单词之间没有空格的语言中的断字(例如，亚洲语言)？

coder 2023-06-15 原文

我想让 MySQL 全文搜索与日语和中文文本以及任何其他语言一起工作。问题是这些语言以及其他可能的语言通常在单词之间没有空格。当您必须键入与文本中相同的句子时，搜索就没有用了。

我不能只在每个字符之间放一个空格，因为英语也必须有效。我想用 PHP 或 MySQL 解决这个问题。

我可以配置 MySQL 来识别应该是它们自己的索引单元的字符吗？有没有可以识别这些字符的 PHP 模块，这样我就可以在它们周围放置空格作为索引？

更新

部分解决方案:

$string_with_spaces =
  preg_replace( "/[".json_decode('"\u4e00"')."-".json_decode('"\uface"')."]/",
  " $0 ", $string_without_spaces );

这至少从我需要特别对待的一些字符中创建了一个字符类。我应该提一下，修改索引文本是可以接受的。

有人知道我需要在周围插入空格的所有字符范围吗？

此外，必须有更好的、可移植的方式来表示 PHP 中的那些字符吗？ Literal Unicode 中的源代码并不理想；我不会认出所有的角色；它们可能无法在我必须使用的所有机器上呈现。

最佳答案

上述语言的分词需要语言学方法，例如使用词典并理解基本的>词干规则。

我听说过相对成功的全文搜索应用程序，它们简单地将每个字符拆分为一个单独的单词，用中文简单地对最终用户提供的搜索条件应用相同的“标记化”。然后，搜索引擎会为以与搜索标准相同的顺序提供字符-单词的文档提供更好的排名。 我不确定这是否可以扩展到日语等语言，因为平假名和片假名字符集使文本更类似于具有短字母表的欧洲语言。

编辑:
资源
这个断字问题以及相关问题是如此不平凡，以致于整本书都是关于它的。参见示例 CJKV Information Processing (CJKV 代表中文、日文、韩文和越南文；您也可以使用 CJK 关键字，因为在许多文本中，没有讨论越南文)。另见 Word Breaking in Japanese is hard有关此主题的一页纸。
可以理解的是，涵盖该主题的大部分 Material 都是用一种基本的母语编写的，因此对于那些对这些语言不那么流利的人来说用途有限。因此，为了帮助您在开始实现分词器逻辑后验证搜索引擎，您应该寻求一两个母语人士的帮助。

各种想法
您关于识别系统地暗示断字的字符(比如引号、括号、类似连字符的字符等)的想法很好，这可能是一些专业级断字符所使用的一种启发式方法。然而，您应该为此类列表寻找权威来源，而不是根据轶事调查结果从头开始组装。
一个相关的想法是在Kana-to-Kanji transitions(但我猜不是相反的方式)和可能在Hiragana-to-Katakana 或反之亦然。
与分词本身无关，索引可能 [-or may not- ;-)] 受益于每个系统的转换，比如说，平假名字符到相应的片假名字符。只是一个没有教养的想法!我对日语的了解不够，不知道这是否有帮助；直觉上，它类似于将重音字母等系统化地转换为相应的非重音字母，正如几种欧洲语言所采用的那样。

也许我之前提到的系统地索引单个字符(以及根据它们与搜索条件的接近顺序对搜索结果进行排名)的想法可以稍微改变，例如将连续的假名字符放在一起，然后一些其他规则...并产生一个不完美但足够实用的搜索引擎。

如果情况并非如此，请不要失望...如前所述，这远非微不足道，从长远来看，它可以通过暂停阅读一两本书来节省您的时间和金钱。尝试学习更多“理论”和最佳实践的另一个原因是，目前您似乎专注于断词，但很快，搜索引擎可能也受益于词干感知；事实上，这两个问题至少在语言上是相关的，并且可能会受益于串联处理。

祝你在这个令人烦恼但值得的努力中好运。

关于php - 单词之间没有空格的语言中的断字(例如，亚洲语言)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1605353/

亚洲语言中strong的sectionphpfull-text-searchtokenizecjkwordbreaker

有关php - 单词之间没有空格的语言中的断字(例如，亚洲语言)？的更多相关文章

  1. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗？ - 2

    我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了？ 最佳答案 表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。 关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/7732154/

  4. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  5. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  6. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  7. ruby-on-rails - 在 ruby​​ 中使用 gsub 函数替换单词 - 2

    我正在尝试用ruby​​中的gsub函数替换字符串中的某些单词，但有时效果很好，在某些情况下会出现此错误？这种格式有什么问题吗NoMethodError(undefinedmethod`gsub!'fornil:NilClass):模型.rbclassTest"replacethisID1",WAY=>"replacethisID2andID3",DELTA=>"replacethisID4"}end另一个模型.rbclassCheck 最佳答案 啊，我找到了!gsub!是一个非常奇怪的方法。首先，它替换了字符串，所以它实际上修改了

  8. ruby - ＃之间？ Cooper 的 *Beginning Ruby* 中的错误或异常 - 2

    在Cooper的书BeginningRuby中，第166页有一个我无法重现的示例。classSongincludeComparableattr_accessor:lengthdef(other)@lengthother.lengthenddefinitialize(song_name,length)@song_name=song_name@length=lengthendenda=Song.new('Rockaroundtheclock',143)b=Song.new('BohemianRhapsody',544)c=Song.new('MinuteWaltz',60)a.betwee

  9. ruby-on-rails - `a ||= b` 和 `a = b if a.nil 之间的区别？ - 2

    我正在检查一个Rails项目。在ERubyHTML模板页面上，我看到了这样几行:我不明白为什么不这样写:在这种情况下，||=和ifnil?有什么区别？ 最佳答案 在这种特殊情况下没有区别，但可能是出于习惯。每当我看到nil?被使用时，它几乎总是使用不当。在Ruby中，很少有东西在逻辑上是假的，只有文字false和nil是。这意味着像if(!x.nil?)这样的代码几乎总是更好地表示为if(x)除非期望x可能是文字false。我会将其切换为||=false，因为它具有相同的结果，但这在很大程度上取决于偏好。唯一的缺点是赋值会在每次运行

  10. ruby - 寻找通过阅读代码确定编程语言的ruby gem？ - 2

    几个月前，我读了一篇关于ruby​​gem的博客文章，它可以通过阅读代码本身来确定编程语言。对于我的生活，我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗？ 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem？，我们在StackOverflow上找到一个类似的问题：

随机推荐