
【PC創作系日記】Strataで出力した小説を下書きにするのは難しい……?
こちらの更に続報です。Strataで使っているQwen3.8-Flash-Nextは、量子化モデルであっても、これまで触ったところ、明らかにこれまで使ってきた26Bクラスの量子化モデルよりも賢く、かなり劣化版のChatGPT程度の能力はありそう、と感じています。
しかし……私の環境では、まったく安定しません。最大の問題は、Hermes Agentで使っていると「止まる」ということですね。同じ用語を繰り返す暴走をしたり、循環が検出されたり、いきなり応答を打ち切ったり、場合によっては落ちます。返答が変わるという高速化応答(オプション)をオフにしても変わらないです。で、モデルの量子化度合いを可能な限り変えたり、Coderバージョンを使ったり、Swift版を使ってみたり、コンテキストレングスの長さや色々なオプションをいじったりしているのですが、結局のところ――なるべく大きなモデルを使った方が不安定になりにくいと悟りました。結局、サブマシンでもIQ3_XXSをLow RAMモードで使っています(使えました)。コンテキストウィンドウは、64Kを8ビットで対応しています。ちょっと遅くなりましたが、LM Studioで1tok/sのスピードに慣れているのでまあ、そんなものかと思います(笑)。
そういった訳で、安定していないので、
……現在のところ、これでやったようなゲームの生成には成功しておりません。Qwen 3.8 27B UD(Q4_K_S)は、私の環境では、結構安定していましたね……。というか、Bionicは、色々、初心者向けに上手く作っている感じで、GUIのCodexと比べてあまり違和感ありません。
Hermes Agentも、ローカルモデルを入れれば、上手くいくのかな? 自動でRagやまとめを作ってくれるというのがウリらしいんで、使ってみたんですが、案外手動の操作が必要で、Codexとかとは毛色が違う感じですね。
This conversation is too long
The conversation no longer fits the model. Compress it or start a new chat, then send again.
こんなのが、よく出て選択求められるのが面倒です。まだ使い始めたばかりなんで、色々試してみようとは思っているんですが、試行錯誤中です(苦笑)。
で、Strataで出力した肝心の1万字クラスの小説ですが……よく読んだらまったくロジカルに意味不明のワードサラダが出てきました。ほぼ一年前に、星新一賞へ出した作品で、GPT-OSS-20Bでヒーヒーいいながら直したものよりは、多少マシというレベルでした――これは修正不能ということで、そのHermes AgentでStarata自身に直してもらっているところです。しかし、途中でまたフリーズしています(苦笑)。
そのファイルをChatGPTさんになんとか辻褄を合わせてもらおうとしたところ、ChatGPTさんも一回止まりました(苦笑)。しかし、「続けてください」で、なんとか変換できました。そちらは、なかなかよくまとまっている感じで、さすチャッピー……。
しかし、今回は、そのChatGPT版を元にしたバージョンではなく、意地でもそのStarata版を下書きにして、私が修正したバージョンの小説をアップしようとたくらんでおります。無理だったら、別の26BクラスのローカルLLMのモデルで修正させた後、できる……かな?
まあ、どうして、そうまでしてStrataを小説で使いたいかというと、やはり、その賢さの片鱗をなんとか活かしたいということでして、
……こちらで紹介した本で葦沢先生が書かれていた「まず30点でいいから下書きを作ってみる」を、手持ちのモデルでサクサク試行錯誤したいからなんですよね。ChatGPTさんのように洗練された文章は出てこないと思いますが、それは下書き(の下書き)なので(ワードサラダでさえなければ)許容範囲です。
それと、実は、Starataで使っているQwen3.8-Flash-Next(のIQ3_S)は、倫理面の制約が緩そうなんですよね。「これは~規定で出力できません」というのが↑のQwen 3.8 27B(Q4)よりも少ない印象です。別に何かLoRAとかを適用している訳ではないと思うんですが……普通にシブサワ系のかなり際どい内容でも、かなりシビアなハードボイルドの(残酷)アクションでも「小説」と断ればイケそうな感じです。まあ、それは普通の大手の課金AIでは不可能なことだと思いますんで、手元に持っておく価値はありそうです。
そうなると、もうちょっと量子化の程度が低いのが使えるようにしたいところですが……IQ_4Sを実行するには、メインRAMが最低でも80GBくらい必要なようで、(DIMM6本挿せるマザーならサブPCのRAMを引っこ抜いて使うんですが)4本なんで、2本分をリプレースすると、32GB×2は現在、約8万円――Ouch、昨年買っておけばよかったですね……。
うーん、こうなったら、禁断のCMP170HXに手を出すか、Radeon Instinct? どれも予算が……。
ということで、なかなか悩み中な感じです。とりあえず、これ以上、PCパーツの値段が上がらないよう祈りたいですが、現状、まだバブルの真っ最中という感じなんで難しそうですね(苦笑)。
それでは、また!