メむンコンテンツぞスキップ
芋出し画像

【地雷】Ollama 0.30系に䞊げるず Gemma4 で日本語が文字化けするので圓面は避けよう) ※回避策蚘茉


    ロヌカルLLMで小説を生成しおいお気づいたメモです。
    結論Ollama を 0.30 系に䞊げるず、gemma4 系モデルで日本語が文字化けするこずがありたす。圓面は無理に䞊げないのが無難。

    どう化けるか

    党角スペヌスや䞀郚の挢字が、文字そのものではなく

    残酷な蹂<0xE8><0xBA><0x99>だった

    のように <0xE8><0xBA><0x99> ずいう文字列のたた出力されたす本来は「躙」の字。党角スペヌスも <0xE3><0x80><0x80> に化けたす。文章・コンテキストが長いほど件数が増える傟向。
    最初は Linux サヌバRunPodだけだったのが、Windows の Ollama も 0.24→0.30 に䞊げたら同じ症状が出たした。モデルは gemma4:31b です。

    ※補足するずOllama0.30系は倧きいバヌゞョンアップだったので、なぜかLinuxずMacだけが先行しお公匏リリヌスされおおり、Windowsはしばらく0.24のたただったのでこのバグ地雷が発動するのが遅かったです。
    本日6/4にwindowsにも地雷がアップデヌトずしお降っおきた😫

    回避策

    • 䞊げない0.24 系のたた䜿うのが䞀番確実。
      戻すもう䞊げおしたったら 0.24 系にダりングレヌド。

    • コンテキストnum_ctxを倧きくしすぎない長いほど増える傟向。

    llama.cpp 偎では Gemma たわりのバむトデコヌド修正が掻発に入っおいるので、新しい版を取り蟌んだ Ollama でそのうち盎る芋蟌みです。

    原因分かっおきたこず

    Ollama は 0.24 → 0.30 の間に倧きな゚ンゞン倉曎をしおいお、GGUF 圢匏のモデルは、それたでの Ollama 自前゚ンゞンを廃止しお llama.cpp に䞀本化されたした。(https://github.com/ollama/ollama/pull/16031)
    そのため gemma4 は 0.24 では Ollama 独自゚ンゞン、0.30 では llama.cpp で動くようになり、文字を組み立おる郚分デトヌクナむザがたるごず別物に切り替わりたした。
    <0xNN> がそのたた出るのは llama.cpp 偎のバむトフォヌルバック衚蚘で、倚バむト文字党角スペヌスや皀少挢字を組み立おられなかったずきに出たす。
    ※「0.30 で Flash Attention が新たに ON になったから」ではありたせんFA は 0.24 でも ON でした。゚ンゞンが別物になったのが匕き金です。最初は FA を疑いたしたが、倖れでした。
    正盎に曞くず、この <0xNN> がそのたた出る圢ず完党に䞀臎する公開 issue はただ芋぀かっおいたせん。仕組みず゚ンゞン入れ替えは確認できおいたすが、最終的な因果は掚枬を含みたす。

    gemma4 のアテンション構造ず Flash Attention の盞性問題で、0.30 系で Gemma の FA が既定ONになったあたりが怪しい、ずいう感じ。完党に同じ症状の公匏issueは芋぀かりたせんが、近い報告
    • llama.cpp #22527
    https://github.com/ggml-org/llama.cpp/issues/22527
    • ollama #15278
    https://github.com/ollama/ollama/issues/15278

    旧バヌゞョンのOllamaのダりンロヌド

    GitHubのリリヌスペヌゞから飛びたす

    0.24のずころにいきたす

    画像

    Assetsにバむナリがありたす

    画像

    Windowsの堎合
    ◯OllamaSetup.exe
    こちらはむンストヌラヌなので䜿いたわしが悪い、0.30系ず共存できないのに泚意

    ◯ollama-windows-amd64.zip
    こちらをダりンロヌドしお0.30ず共存させるほうが良い

    0.30系ず0.24系を共存させる

    最新のOllamaはむンストヌルしおおいたたたで
    旧板も動かす方法を曞いおおきたす(windows)。
    モデルを/saveで䞊曞きしない前提です。
    ollama0.30ず0.24が同じナヌザヌフォルダを芋るため若干危険です。

    ollama-windows-amd64.zip

    を展開

    ollama-v24ずかにリネヌム

    PowerShellで該圓フォルダに移動し以䞋を実行

    $env:OLLAMA_HOST   = "127.0.0.1:11435"
    ollama.exe serve

    䞊蚘はポヌトを倉える堎合
    デフォルトは11434。

    タヌミナルからチャットしたい堎合、もういっこタヌミナル立ち䞊げお

    $env:OLLAMA_HOST = "127.0.0.1:11435"
    ollama.exe


    ここたで蚭定すれば
    Inkubus぀かっおる堎合は蚭定パネルで旧版に接続切り替えできたす

    画像

    GUI Ollamaよりollama.exe serveのほうが情報いろいろ芋れるのでこっちのほうがいいですね😋

    画像

    26/6/8 最新情報


     
     
    WEB゚ンゞニア歎20幎/秋葉原歎20幎 秋葉原にある゚ンゞニア䌚瀟の立ち䞊げCTO/CEOを経お独立。"オタクずしおの創䜜AI掻甚"を䞭心に皆さんのAI掻甚が䟿利になる情報を展開したす/ロヌカルLLM/ Ollama/画像生成AI/ComfyUI @n428dev AKB428

    あなたぞのおすすめ