草庐IT

ChatGPT可以作为一个翻译器吗？

wshzd 2023-04-04 原文

论文地址：https://arxiv.org/abs/2301.08745.pdf

背景

自从OpenAI2022年11月30日发布ChatGPT以来，基本上把NLP所有任务大统一了，那么在机器翻译的表现到底如何呢？腾讯AI Lab在翻译Prompt、多语言翻译以及翻译鲁棒性三方面做了一些实验，并且与Google Translate（133种语言）， DeepL Translate（29种语言）和Tencent TranSmart（16种语言）三款商业翻译软件进行了对比。

核心结论

1、在高资源语言上的翻译效果和主流商业翻译软件(Google翻译，deepl等)相当；

2.在低资源语言上的翻译效果差强人意，通过pivot prompting方法可以提升效果；

3.在翻译的鲁邦稳定性上落后于主流商业翻译软件；

4.ChatGPT在口语翻译上是一个潜在的好工具；

ChatGPT机器翻译评估

评估数据

由于翻译数据需要手动去和ChatGPT交互得到，比较耗时，因此作者每个种类的数据集都随机采样了50个样本进行评估

评估指标

BLEU、ChrF++、TER，这三种评估指标可以在如下链接找到实现方案：https://github.com/mjpost/sacrebleu

翻译的Prompts

首先作者使用如下Prompt在ChatGPT上生成翻译需要的Prompts

如上图所示，发现生成的Prompt是合理的，但基本都很类似的，作者重新进行了归类，如下表所示：

[SRC]表示源语言，[TGT]表示目标语言。由于在Figture1中生成的Prompt中都带有“引号”，作者在Tp2中增加了去掉生成“引号”的Prompt，不过这样偶尔导致生成不稳定。

从上述三种翻译Prompt的实验来看，Tp3是最佳的，因此后面的实验都使用Tp3 Prompt。

翻译的语言

作者使用了四种语言进行两两之间进行翻译，以BLEU为平均指标，结果如下图所示：

从上图可以看出，在低资源的罗马语言到英语的效果要比高资源的德文到英语的翻译差，所谓高资源，低资源是从他们的翻译语料多少来定的。

一般来说，低资源或者不同语种直接的翻译，传统商业软件是比较难的，而ChatGPT一个模型解决多任务的能力可以通过高资源的语料和NLP其他任务弥补这种不足。

为了解决不同语种的翻译，提出了一种叫Pivot Prompting的方法，具体做法就是先把一种语言翻译成中间语言，然后再翻译成目标语言，一般中间语言默认是英语。形式如下：Please provide the [PIV] translation first and then the [TGT] translation for these sentences one by one:

使用这种方法，Tp3可以修改成如下形式：

使用Pivot Prompting方法，并且对低资源语言翻译进行BLEU评估，结果如下Table 5所示。

ChatGPT在翻译任务的鲁棒性

从Table 6可以看出，ChatGPT在这些翻译数据上不如商业软件Google Translate 和 DeepL Translate好。
下面看一些具体的case

参考文献：

[1] https://github.com/wxjiao/Is-ChatGPT-A-Good-Translator
[2] https://translate.google.com
[3] https://www.deepl.com/translator
[4] https://transmart.qq.com/zh-CN/index
[5] https://github.com/facebookresearch/flores
[6]https://github.com/hsing-wang/WMT2020_BioMedical/tree/master/Bio-18-19-testset 
[7] https://github.com/mjpost/sacrebleu

ChatGPT可以strongxffxff0c自然语言处理$gpt-3$chatgpt

有关ChatGPT可以作为一个翻译器吗？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  3. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  4. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  5. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  6. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  7. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  8. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  9. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  10. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

随机推荐