メインコンテンツへスキップ
見出し画像

あなたのChatGPTもプロ級翻訳に!プロンプトで能力アップ

    ChatGPTは翻訳に特化したソフト(Google翻訳やDeepL)に比較すると僅かに劣ると言われています(下記論文参照)、しかしChatGPTの翻訳性能を上げる方法を見つけました。この記事では、ChatGPTの和英翻訳能力を向上させるプロンプトについて解説します。プロンプトはStep1で翻訳をしてStep2で文章を校正することで改善を図ります。

    Is ChatGPT A Good Translator? A Preliminary Study

    performs competitively with commercial translation products on high-resource European languages but lags behind significantly on low resource or distant languages

    abs: https://t.co/RCuNITNGQo
    github: https://t.co/CwxeUnCKEf pic.twitter.com/IUCK0TX2Yh

    — AK (@_akhaliq) January 24, 2023

    以下のChatGPTに生成してもらった文章をChatGPT(GPT-3, GPT-4それぞれの翻訳のみのステップとeditをかけたstep)とDeepL、Google翻訳に翻訳(英訳)してもらいます。その上でそれぞれの出力をChatGPT(GPT-4)に評価してもらいます。結果としてはGPT-4翻訳のみ、GPT-4翻訳+Edit、GPT-3翻訳+Editが同率で一位でした。

    LLM(大規模言語モデル)は医療分野において革新的な応用が期待されており、診断や治療法の最適化に寄与する。既存の医学文献を分析し、病態の解明や新たな治療法の発見に貢献する。また、患者と医療専門家のコミュニケーションをサポートし、症状や検査結果を基に個別化された治療戦略を提案する。遠隔医療やテレヘルスにおいても、LLMは情報の整理や判断の補助を行い、医療従事者の負担軽減と質の向上に寄与する。ただし、倫理やプライバシーの課題も伴うため、十分な配慮が必要である。

    Promptはこちら

    Task: Translate and edit an article
    Step 1: Japanese to English translation
    Step 2: Simplify and clarify text
    Target Journal: 分野が特性されている雑誌名
    Goal: Easy-to-understand, clear writing
    Audience: Subject experts
    Style: Analytical, PhD-level
    Output step 1 and 2
    Text:(訳したい文章ここに)

    GPT3の回答

    Step 1 - Japanese to English Translation:

    LLMs (large language models) are expected to have innovative applications in the medical field and contribute to the optimization of diagnosis and treatment. They analyze existing medical literature and contribute to the elucidation of pathologies and the discovery of new treatments. They also support communication between patients and healthcare professionals and propose individualized treatment strategies based on symptoms and test results. In remote medical care and telehealth, LLMs assist with information organization and decision-making, contributing to the reduction of the workload for medical practitioners and the improvement of quality. However, there are ethical and privacy issues that require adequate consideration.

    Step 2 - Simplify and clarify text:

    Large language models (LLMs) have the potential to revolutionize the medical field by improving diagnosis and treatment. They analyze medical literature and contribute to finding new treatments and understanding diseases. LLMs also support communication between patients and healthcare professionals by proposing personalized treatment strategies based on symptoms and test results. In remote medical care and telehealth, LLMs assist with organizing information and decision-making, reducing the workload for medical practitioners and improving quality. However, there are ethical and privacy issues that require careful consideration.

    GPT-4の回答

    Step 1: Japanese to English translation

    Large language models (LLMs) are expected to have innovative applications in the medical field, contributing to the optimization of diagnoses and treatments. They analyze existing medical literature to help elucidate disease mechanisms and discover new treatment methods. LLMs also support communication between patients and medical professionals, proposing personalized treatment strategies based on symptoms and test results. In telemedicine and telehealth, LLMs help organize information and assist in decision-making, reducing the burden on healthcare workers and improving quality. However, ethical and privacy issues must be carefully considered.

    Step 2: Simplify and clarify text

    Large language models (LLMs) hold great potential in revolutionizing the medical field, optimizing diagnosis and treatment methods. By analyzing medical literature, LLMs can clarify disease mechanisms and uncover new therapies. They also enhance communication between patients and healthcare professionals, suggesting tailored treatment plans based on symptoms and test results. In telemedicine and telehealth, LLMs streamline information and support decision-making, easing the workload of healthcare workers and enhancing quality. Nonetheless, it is crucial to address the accompanying ethical and privacy concerns.

    Google 翻訳の回答

    LLMs (Large-Scale Language Models) are expected to have innovative applications in the medical field, contributing to the optimization of diagnosis and treatment methods. Analyze existing medical literature and contribute to the elucidation of pathological conditions and the discovery of new treatments. It also supports communication between patients and healthcare professionals and suggests personalized treatment strategies based on symptoms and test results. In telemedicine and telehealth, LLM organizes information and assists decision-making, reducing the burden on medical staff and improving quality. However, since it also entails issues of ethics and privacy, sufficient consideration is required.

    DeepLの回答

    LLMs (large-scale language models) are expected to have innovative applications in the medical field, contributing to the optimization of diagnostic and therapeutic methods. It will analyze existing medical literature and contribute to the elucidation of pathological conditions and the discovery of new treatment methods. They also support communication between patients and medical professionals and propose personalized treatment strategies based on symptoms and test results. In telemedicine and telehealth, LLM can also help organize information and assist in decision making, thereby reducing the burden on medical professionals and improving quality. However, they also entail ethical and privacy issues that require careful consideration.

    ではこれらのtextをGPT-4に評価してもらいます。(評価はブラインドでおこなっています)結果としてはGPT-4翻訳のみ、GPT-4翻訳+Edit、GPT-3翻訳+Editが同率で一位でした。

    和文がChatGPTに適当に作成してもらった物で恐らく英語をベースに考えられた文章のため、和訳は比較的しやすく、あまり差が出にくい文章だった可能性はあります。人間の書いた揺らぎのある文章だともう少し差が出る可能性があると思います。是非ご自身の書いた文章で試してみてください。

    Text1:GPT-4翻訳のみ
    Clarity: 9
    Cohesion and coherence: 9
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 9
    Grammar, punctuation, and spelling: 10
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 9
    Engagement and interest: 8
    Overall rating: 8.9

    Text2:GPT-4翻訳+Edit
    Clarity: 9
    Cohesion and coherence: 9
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 9
    Grammar, punctuation, and spelling: 10
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 9
    Engagement and interest: 8
    Overall rating: 8.9

    Text3:GPT-3翻訳
    Clarity: 8
    Cohesion and coherence: 8
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 8
    Grammar, punctuation, and spelling: 9
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 8
    Engagement and interest: 7
    Overall rating: 8.2

    Text4:GPT-3翻訳+Edit

    Clarity: 9
    Cohesion and coherence: 9
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 9
    Grammar, punctuation, and spelling: 10
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 9
    Engagement and interest: 8
    Overall rating: 8.9

    Text5:Google翻訳

    Clarity: 7
    Cohesion and coherence: 7
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 7
    Grammar, punctuation, and spelling: 7
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 7
    Engagement and interest: 7
    Overall rating: 7.6

    Text6:DeepL

    Clarity: 8
    Cohesion and coherence: 8
    Objectivity: 10
    Evidence and support: 8
    Language and tone: 8
    Grammar, punctuation, and spelling: 9
    Citation style and referencing: N/A
    Originality and contribution: 8
    Structure and organization: 9
    Engagement and interest: 8
    Overall rating: 8.4

    最後に Text 1-6に対するChatGPTの総評を載せておきます。

    テキスト1: (GPT-4翻訳)
    この文章は、よく書かれており、明瞭で簡潔で、学術論文に適した調子と首尾一貫した構造を持っています。内容は客観的に提示され、医療分野におけるLLMの潜在的な応用と影響を効果的に伝える言語が使われています。全体として、テキスト1は学術論文の優れた例です。

    テキスト2: (GPT-4翻訳+Edit)
    この文章もまた、よく書かれており、明瞭で簡潔で、学術論文に適した調子と首尾一貫した構造を持っています。内容は客観的に提示され、医療分野におけるLLMの潜在的な応用と影響を効果的に伝える言語が使われています。テキスト2はテキスト1に非常に似ており、学術論文の優れた例です。

    テキスト3:(GPT-3翻訳)
    テキスト3は、医療分野における大規模言語モデルの潜在的な応用について述べた、よく書かれた文章です。主題に対して明確で客観的な見解を提供していますが、明瞭さ、結束性、首尾一貫性、言語および調子の点で、テキスト1および2に比べてやや低いスコアです。全体として、テキスト3は医療分野におけるLLMの主要な点と影響を効果的に伝える堅実な文章です。

    テキスト4: (GPT-4翻訳+Edit)
    この文章は、よく書かれており、明瞭で簡潔で、学術論文に適した調子と首尾一貫した構造を持っています。内容は客観的に提示され、医療分野におけるLLMの潜在的な応用と影響を効果的に伝える言語が使われています。テキスト4はテキスト1および2に非常に似ており、学術論文の優れた例です。

    テキスト5:(Google翻訳)
    テキスト5では、医療分野における大規模言語モデルの潜在的な応用について議論していますが、明瞭さ、結束性、一貫性、文法、句読点、綴りに問題があります。内容は客観的な方法で提示されていますが、これらの問題が全体的な執筆品質を損なっています。いくつかの改訂を加えることで、テキスト5は医療分野でのLLMの主要なポイントと意義をよりよく伝えることができるように改善されるでしょう。

    テキスト6:(DeepL)
    テキスト6は、医療分野における大規模言語モデルの潜在的な応用について議論するうまく書かれた文章です。それは、主題に対する明確で客観的な見解を提供し、学術的な文章に適した一貫した構造と適切なトーンを持っています。しかし、代名詞の使用に関していくつかの小さな不一致があります(例えば、LLMを指すときに「それ」から「それら」に切り替えるなど)。全体として、テキスト6は医療分野でのLLMの主要なポイントと意義を効果的に伝える堅実な文章です。

    ChatGPTに翻訳ではなく、論文の下書きをしてもらう場合はこちらもご検討ください。


    あなたへのおすすめ