我正在处理多语言文本数据，其中包括使用西里尔字母的俄语和土耳其语。我基本上必须比较两个文件中的单词 my_file和 check_file如果my_file中的话可以在 check_file 中找到，将它们写入一个输出文件中，同时保留来自两个输入文件的关于这些词的元信息。

一些单词是小写的，而另一些单词是大写的，所以我必须将所有单词都小写才能比较它们。当我使用 Python 3.6.5 并且 Python 3 默认使用 unicode 时，它​​会处理小写字母，然后再为西里尔字母正确地大写单词。然而，对于土耳其语，有些字母没有得到正确处理。大写 'İ'应该对应小写的'i' , 大写 'I'应该对应小写的'ı'和小写 'i'应该对应大写的'İ'如果我在控制台中键入以下内容，情况就不是这样了:

>>> print('İ'.lower())
i̇  # somewhat not rendered correctly, corresponds to unicode 'i\u0307'
>>> print('I'.lower())
i
>>> print('i'.upper())
I

我正在做如下(简化示例代码):

# python my_file check_file language

import sys

language = sys.argv[3]

# code to get the files as lists

my_file_list = [['ıspanak', 'N'], ['ısır', 'N'], ['acık', 'V']]
check_file_list = [['109', 'Ispanak', 'food_drink'], ['470', 'Isır', 'action_words'], [409, 'Acık', 'action_words']]

# get the lists as dict
my_dict = {}
check_dict = {}

for l in my_file_list:
    word = l[0].lower()
    pos = l[1]
    my_dict[word] = pos

for l in check_file_list:
    word_id = l[0]
    word = l[1].lower()
    word_cat = l[2]
    check_dict[word] = [word_id, word_cat]

# compare the two dicts
for word, pos in my_dict.items():
    if word in check_dict:
        word_id = check_dict[word][0]
        word_cat = check_dict[word][1]
        print(word, pos, word_id, word_cat)

这只给我一个结果，但它应该给我三个词作为结果:

acık V 409 action_words

到目前为止，我基于 this question 所做的工作:

1. 阅读建议使用 PyICU 的已接受答案但我希望我的代码无需安装即可使用，所以我没有实现它。
2. 试图import locale和 locale.setlocale(locale.LC_ALL, 'tr_TR.UTF-8')正如问题中提到的，但它没有改变任何东西。

3. 实现两个函数turkish_lower(self)和 turkish_upper(self)对于第二个答案中描述的三个有问题的字母，这似乎是唯一的解决方案:

   def turkish_lower(self):
       self = re.sub(r'İ', 'i', self)
       self = re.sub(r'I', 'ı', self)
       self = self.lower()
       return self
   
   def turkish_upper(self):
       self = re.sub(r'i', 'İ', self)
       self = self.upper()
       return self
   

但是我如何在不检查 if language == 'Turkish' 的情况下使用这两个函数？每次？我应该重写内置函数吗 lower()和 upper() ？如果是，这样做的 pythonic 方式是什么？我是否应该为我正在使用的各种语言实现类并覆盖土耳其语类中的内置函数？

最佳答案

您可以创建一个简单的“语言感知”字符串，它是 str 的子类，并将进行适当的大写和小写，例如:

class LanguageAwareStr(str):
    lang = None


class RussianStr(LanguageAwareStr):
    lang = 'ru'


class TurkishStr(LanguageAwareStr):
    lang = 'tr'

    _case_lookup_upper = {'İ': 'i', 'I': 'ı'}  # lookup uppercase letters
    _case_lookup_lower = {v: k for (k, v) in _case_lookup_upper.items()}

    # here we override the lower() and upper() methods
    def lower(self):
        chars = [self._case_lookup_upper.get(c, c) for c in self]
        result = ''.join(chars).lower()
        cls = type(self)  # so we return a TurkishStr result
        return cls(result)

    def upper(self):
        chars = [self._case_lookup_lower.get(c, c) for c in self]
        result = ''.join(chars).upper()
        cls = type(self)  # so we return a TurkishStr result
        return cls(result)

然后当你读取一个字符串时，知道它是什么语言，你将它包装在适当的 LanguageAwareStr 子类中，然后定期使用它:

from langaware import RussianStr, TurkishStr

if language == 'turkish':
    LangStr = TurkishStr  # can also create a dict to lookup the correct class

然后当您读取语言字符串时，您只需将它们包装在对 LangStr() 的调用中:

for l in my_file_list:
    word = LangStr(l[0]).lower()
    pos = l[1]
    my_dict[word] = pos

for l in check_file_list:
    word_id = l[0]
    word = LangStr(l[1]).lower()
    word_cat = l[2]
    check_dict[word] = [word_id, word_cat]

关于python - 正确处理土耳其语大写和小写，需要修改/覆盖内置函数？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50135094/