自从我打开了一个question之后我就有点糊涂了, 我想在这里更具体一点。
我有许多包含德语字母的文件,大部分采用 iso-8859-15 或 UTF-8 编码。为了处理它们,必须将所有字母转换为小写。
例如,我有一个文件(以 iso-8859-15 编码)包含:
Dr. Rose in M. Das sogen. Baptisterium zu Winland, eins der im Art. "Baukunst" (S. 496) erwähnten Rundgebäude in Grönland, soll nach Palfreys "History of New England" eine von dem Gouverneur Arnold um 1670 erbaute Windmühle sein. Vgl. Gust. Storm in den "Jahrbüchern der königlichen Gesellschaft für nordische Altertumskunde in Kopenhagen" 1887, S. 296.
Ää Öö Üü ẞß Örebro
文字Ää Öö Üü ẞß Örebro应该变成:ää öö üü ßß örebro .
然而,tolower()似乎不适用于 Ä, Ö, Ü, ẞ 等大写字母,尽管我尝试了强制区域设置,如 this SO post 中所述
这是我在另一个问题中发布的相同代码:
std::vector<std::string> tokens;
std::string filename = "10223-8.txt";
//std::string filename = "test-UTF8.txt";
std::ifstream inFile;
//std::setlocale(LC_ALL, "en_US.iso88591");
//std::setlocale(LC_ALL, "de_DE.iso88591");
//std::setlocale(LC_ALL, "en_US.iso88591");
//std::locale::global(std::locale(""));
inFile.open(filename);
if (!inFile) { std::cerr << "Failed to open file" << std::endl; exit(1); }
std::string s = "";
std::string line;
while( (inFile.good()) && std::getline(inFile, line) ) {
s.append(line + "\n");
}
inFile.close();
std::cout << s << std::endl;
//std::setlocale(LC_ALL, "de_DE.iso88591");
for (unsigned int i = 0; i < s.length(); ++i) {
if (std::ispunct(s[i]) || std::isdigit(s[i]))
s[i] = ' ';
if (std::isupper(s[i]))
s[i] = std::tolower(s[i]);
//s[i] = std::tolower(s[i]);
//s[i] = std::tolower(s[i], std::locale("de_DE.utf8"))
}
std::cout << s << std::endl;
//tokenize string
std::istringstream iss(s);
tokens.clear();
tokens = {std::istream_iterator<std::string>{iss}, std::istream_iterator<std::string>{}};
//PROCESS TOKENS...
这真的很令人沮丧,关于 <locale> 的使用范例并不多.
所以,除了我的代码的主要问题外,还有一些问题:
isupper()、ispunct() ...)?de_DE在我的 Linux 中启用或安装了区域设置 env正确处理字符串的字符? std::string 相同的方式处理文本是否安全?那是
从具有不同编码(iso-8859-15 或 UTF-8)的文件中提取?编辑:Konrad Rudolph 的回答仅适用于 UTF-8 文件。它不适用于 iso-8859-15,它转换为此处发布的初始问题: How to apply functions on text files with different encoding in c++
最佳答案
使用std::ctype::tolower , 而不是 std::tolower:
#include <iostream>
#include <locale>
int main() {
std::locale::global(std::locale("de_DE.UTF-8"));
std::wcout.imbue(std::locale());
auto& f = std::use_facet<std::ctype<wchar_t>>(std::locale());
std::wstring str = L"Ää Öö Üü ẞß Örebro";
f.tolower(&str[0], &str[0] + str.size());
std::wcout << "'" << str << "'\n";
}
除了设置全局语言环境,您还可以创建本地语言环境(呵呵):
std::locale loc("de_DE.UTF-8");
std::wcout.imbue(loc);
auto& f = std::use_facet<std::ctype<wchar_t>>(loc);
这会编译并“工作”。在我的系统上,它可以正确转换变音符号,但无法处理大写字母 -ß(老实说,这不足为奇)。
此外,请注意此函数的局限性:它只能执行一对一的字符转换。在 Unicode 标准的早期版本中,“ß”的正确大写转换为“SS”。 std::ctype::toupper 明确地从不支持这一点。
关于c++ - 如何在 C++ 中对德语大写字母 Ä、Ö、Ü、ẞ 正确应用 tolower(),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49719117/
出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗?我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何rubygems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此
我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r
我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server
鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende
我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用? 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击