我读过 how Zalgo text works ，我正在寻找聊天或论坛软件如何防止这种烦恼。更准确地说，什么是完整的 Unicode 组合字符集需要:

a) 要么被剥离，假设聊天参与者只使用不需要组合标记的语言(即你可以用组合标记写“未婚夫”，但你会是如果你坚持要咬 Zalgo'd 自己)；或者，

b) 减少到最多 8 个连续字符(maximum encountered in actual languages)？

编辑:与此同时，我发现了一个措辞完全不同的问题(“How to protect against... diacritics?”)，它与这个问题基本相同。我把它的标题写得更明确了，这样其他人也能找到它。

最佳答案

假设您对此非常认真并且想要一个技术解决方案，您可以按照以下步骤进行操作:

1. 将传入的文本拆分为更小的单元(单词或句子)；
2. 使用您选择的字体渲染服务器上的每个单元(具有巨大的行高和 Zalgo“噪声”所在基线下方的大量空间)；
3. 训练机器学习算法来判断它是否看起来太“暗”和“忙”；
4. 如果算法的置信度较低，请遵从人工调解员。

实现起来可能很有趣，但在实践中，直接进入第四步可能会更好。

编辑:这是 Python 2.7 中更实用但更直接的解决方案。分类为"Mark, nonspacing" 和"Mark, enclosing" 的Unicode 字符似乎是用于创建Zalgo 效果的主要工具。与上述想法不同，这不会尝试确定文本的“美学”，而是简单地删除所有此类字符。 (不用说，这会破坏很多很多语言的文本。继续阅读以获得更好的解决方案。)要过滤掉更多字符类别，请将它们添加到 ZALGO_CHAR_CATEGORIES。

#!/usr/bin/env python
import unicodedata
import codecs

ZALGO_CHAR_CATEGORIES = ['Mn', 'Me']

with codecs.open("zalgo", 'r', 'utf-8') as infile:
    for line in infile:
        print ''.join([c for c in unicodedata.normalize('NFD', line) if unicodedata.category(c) not in ZALGO_CHAR_CATEGORIES]),

示例输入:

1
H̡̫̤ͭ̓̓̇͗̎̀ơ̯̗͒̄̀̈ͤ̀͡w͓̲͙͋ͬ̊ͦ̂̀̚ ͎͉͖̌ͯͅͅd̳̘̿̃̔̏ͣ͂̉̕ŏ̖̙͋ͤ̊͗̓͟͜e͈͕̯̮͌ͭ̍̐̃͒s͙͔̺͇̗̱̿̊̇͞ ̸ͩͩ͑̋̀ͮͥͦ̊Z̆̊͊҉҉̠̱̦̩͕ą̟̹͈̺̹̋̅ͯĺ̡̘̹̻̩̩͋͘g̪͚͗ͬ͒o̢̖͇̬͍͇̔͋͊̓ ̢͈͂ͣ̏̿͐͂ͯ͠t̛͓̖̻̲ͤ̈ͣ͝e͋̄ͬ̽͜҉͚̭͇ͅx̌ͤ̓̂̓͐͐́͋͡ț̗̹̄̌̀ͧͩ̕͢ ̮̗̩̳̱̾w͎̭̤̄͗ͭ̃͗ͮ̐o̢̯̻̾ͣͬ̽̔̍͟r̢̪͙͍̠̀ͅǩ̵̶̗̮̮ͪ́?̙͉̥̬ͤ̌͗ͩ̕͡
2
H̡̫̤ͭ̓̓̇͗̎̀ơ̯̗͒̄̀̈ͤ̀͡w͓̲͙͋ͬ̊ͦ̂̀̚ ͎͉͖̌ͯͅͅd̳̘̿̃̔̏ͣ͂̉̕ŏ̖̙͋ͤ̊͗̓͟͜e͈͕̯̮͌ͭ̍̐̃͒s͙͔̺͇̗̱̿̊̇͞ ̸ͩͩ͑̋̀ͮͥͦ̊Z̆̊͊҉҉̠̱̦̩͕ą̟̹͈̺̹̋̅ͯĺ̡̘̹̻̩̩͋͘g̪͚͗ͬ͒o̢̖͇̬͍͇̔͋͊̓ ̢͈͂ͣ̏̿͐͂ͯ͠t̛͓̖̻̲ͤ̈ͣ͝e͋̄ͬ̽͜҉͚̭͇ͅx̌ͤ̓̂̓͐͐́͋͡ț̗̹̄̌̀ͧͩ̕͢ ̮̗̩̳̱̾w͎̭̤̄͗ͭ̃͗ͮ̐o̢̯̻̾ͣͬ̽̔̍͟r̢̪͙͍̠̀ͅǩ̵̶̗̮̮ͪ́?̙͉̥̬ͤ̌͗ͩ̕͡
3

输出:

1
How does Zalgo text work?
2
How does Zalgo text work?
3

最后，如果您希望检测而不是无条件删除 Zalgo 文本，您可以执行字符频率分析。下面的程序对输入文件的每一行执行此操作。函数 is_zalgo 为给定的字符串中的每个单词计算“Zalgo 分数”(分数是潜在 Zalgo 字符数除以字符总数)。然后它会查看 third quartile的单词分数大于 THRESHOLD。如果 THRESHOLD 等于 0.5，这意味着我们正在尝试检测每四个单词中是否有一个单词包含超过 50% 的 Zalgo 字符。 (猜测的 THRESHOLD 为 0.5，可能需要针对实际使用进行调整。)这种算法在 yield /编码工作量方面可能是最好的。

#!/usr/bin/env python
from __future__ import division
import unicodedata
import codecs
import numpy

ZALGO_CHAR_CATEGORIES = ['Mn', 'Me']
THRESHOLD = 0.5
DEBUG = True

def is_zalgo(s):
    if len(s) == 0:
        return False
    word_scores = []
    for word in s.split():
        cats = [unicodedata.category(c) for c in word]
        score = sum([cats.count(banned) for banned in ZALGO_CHAR_CATEGORIES]) / len(word)
        word_scores.append(score)
    total_score = numpy.percentile(word_scores, 75)
    if DEBUG:
        print total_score
    return total_score > THRESHOLD

with codecs.open("zalgo", 'r', 'utf-8') as infile:
    for line in infile:
        print is_zalgo(unicodedata.normalize('NFD', line)), "\t", line

示例输出:

0.911483990148
True    Señor, could you or your fiancé explain, H̡̫̤ͭ̓̓̇͗̎̀ơ̯̗͒̄̀̈ͤ̀͡w͓̲͙͋ͬ̊ͦ̂̀̚ ͎͉͖̌ͯͅͅd̳̘̿̃̔̏ͣ͂̉̕ŏ̖̙͋ͤ̊͗̓͟͜e͈͕̯̮͌ͭ̍̐̃͒s͙͔̺͇̗̱̿̊̇͞ ̸ͩͩ͑̋̀ͮͥͦ̊Z̆̊͊҉҉̠̱̦̩͕ą̟̹͈̺̹̋̅ͯĺ̡̘̹̻̩̩͋͘g̪͚͗ͬ͒o̢̖͇̬͍͇̔͋͊̓ ̢͈͂ͣ̏̿͐͂ͯ͠t̛͓̖̻̲ͤ̈ͣ͝e͋̄ͬ̽͜҉͚̭͇ͅx̌ͤ̓̂̓͐͐́͋͡ț̗̹̄̌̀ͧͩ̕͢ ̮̗̩̳̱̾w͎̭̤̄͗ͭ̃͗ͮ̐o̢̯̻̾ͣͬ̽̔̍͟r̢̪͙͍̠̀ͅǩ̵̶̗̮̮ͪ́?̙͉̥̬ͤ̌͗ͩ̕͡

0.333333333333
False   Příliš žluťoučký kůň úpěl ďábelské ódy.  

关于javascript - Z͎̠͗ͣḁ̵͙̑l͖͙̫̲̉̃ͦ̾͊ͬ̀g͔̤̞͓̐̓̒̽o͓̳͇̔ͥ文本如何被阻止？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22277052/