メインコンテンツへスキップ
見出し画像

【創作系日記】Strata含めてローカルllmの小説能力を試してみる

    序文ぽいもの:

     私がメインマシンのLM Studio上で、ローカルLLMで一番使っているのは、Gemma4 26B Instruct QAT (Q4_0)というモデルです。これは、私の環境ではスピード(トークン/s)がよく出ており、ウェブ上の調査を含めて、大体、どんなことでもこなせますんで、スピード/能力(バランス)の点で、使い勝手がとても良いんですが――課金版のChatGPTとかに比べると、「ちょっと足りないかな~」という印象があります。
     最近、フォロワー様の記事を見ていて、sai様の:

     ……こちらで、量子化モデルだとニュアンスが落ちる、というお話を拝見して、確かにそうかも――と思いましたんで、ちょっと、私の趣味の小説分野での差が出るか見てみようと思ったんです。
     しかし、私のGeForce 5060Ti 16GBを含む2枚挿しだと、VRAM関係で非量子化モデルはかなり重い――というか、そもそも載るのか分からなかったんで、Gemini先生に尋ねてみたところ、Gemma4の12Bモデルが限界ではないか? というので、QAT(Q4_0)量子化と、どれくらい違うか調べることにしました。
     まず、霊感刑事のシリーズにしようか考えていたものについて、一個、謎村プロットを作って:

    『最長の懲役』あらすじ
     謎村

     霊感がある刑事、神崎は、ある男の家を訪ねる。その男は三十年前に少女を殺害した疑いがありながら、証拠不十分で不起訴となった人物だった。刑事が部屋に入ると、男は発狂しながら「助けてくれ! 毎日、あの女の霊が現れて俺を殺すんだ!」と叫ぶ。その時間は、午後十一時三十分だった。次の瞬間、男の胸に不可視の刃が突き刺さり、苦悶の末に血を吐いて死亡する。
     ……と思いきや、部屋の時計の針が巻き戻り、五分前の状態に戻る。目で見たことが信じられない神崎は、一旦、出直すことにする。
     警察署に戻った神崎の前に女の霊が現れた。どうも憑かれていたようだった。
     霊は、「私は、死んだら一日一回、時間をちょっとだけ巻き戻すことができるようになったの」と告げる。
     少女の霊は三十年間、毎日この「五分間の惨殺ループ」を犯人に科し続けていた。
     神崎は、自分に霊感があったからこそ、この「地獄の終身刑」を目撃してしまったことに気づいた。
     次の日も、その男の家を訪ねたが、今度は、何故か全身が蒼くなって男は息絶え、また時間が戻る。
     神崎が警察で少女のファイルを調べると、ちょうど少女の死亡時刻は、男が死に戻る時間だった。
     次の日に、また神崎が男の部屋を訪ねると、男は、自ら刃物を持っていた。男は、「刑事さんに見て貰って、ついに決心がつきました」と、自ら首を刺した。
     血が噴き出して、男は息絶えた。
     ところが、やはり時間が巻き戻り、少女の霊がニヤリと笑い「いつだって戻してやるよ」と言う。
     男は放心した状態となる。
     神崎は、納得して「刑務所の終身刑なんて、この罰に比べたら優しすぎるな……」と呟いて、家を後にする。
     実は、神崎は、この家に来る前に、外部から見えるビデオカメラを設置していた。
     時計を確認すると、時間は、まったく戻っておらず、狂った男が部屋の中で蠢いているだけで、別に何も事件は起こっていなかった。
     神崎は、「なるほど、霊の世界か、あいつの妄想の中に取り込まれていたのか……」と呟く。
     おそらく、あの男は、毎日、タイムループという体で、何度も巻き戻りが発生したと思い込み、毎回異なる激痛と恐怖の中で殺され直しているのだろうと神崎は結論づけた。
     警察に戻り、神崎は、捜査資料を破り捨てた。

    謎村プロットです!

     ……こちらを元に色々なLLMにショートショートを作成してもらいました。
     プロンプトは、一行「この小説のあらすじを元にしたショートショートを作成してください。」だけです。
     小説なので、感性の問題が大きいのと、実は、短いもの(ショートショート)だと、そんなに差は出ないかな~とも思ったんですが――長いのを作成するには、コンテキスト長とかの問題があって、ローカルLLMだと厳しい(最後がボロボロになる)ので、まずはどんなものかと見ていただければとおもいます。
    ※私は、いつも、「AI版」でも出力されたものを成形&修正してからこちらに掲載しているんですが、あえて今回は、出力をそのまま載せます:


    量子化版:Gemma4 12B

     gemma-4-12b-qat Q4_0版(35.96tok/s)

    『永遠の五分間』

     湿った土の匂いが漂う古いアパートの一室。刑事・神崎は、その部屋のドアを開けた瞬間に、肺を刺すような絶望の臭いを感じた。
     部屋の主は、かつて少女を殺害し、証拠不十分のまま「無罪」として社会へ放たれた男だった。

    「助けてくれ……毎日、あの子が……あの子が俺を殺すんだ!」

     男の叫びは、ひき割れたような音を立てて部屋に響いた。午後十一時三十分。男の胸元に、透明な刃が突き刺さる。肉を裂き、血を噴き出させる。男は苦悶の表情を浮かべ、その場に崩れ落ちた。
     だが、次の瞬間――。
     カチッ、という時計の音と共に、世界が逆回転を始めた。

     壁の時計の針が、狂ったように戻っていく。十一時三十分から、五分前へ。
     神崎は目を見開いた。目の前の光景が、まるで巻き戻された映像のように再構成される。
     部屋の隅に、少女の霊が現れた。彼女は冷たい笑みを浮かべて告げる。

    「私は、死んだら一日一回、時間をちょっとだけ巻き戻すことができるようになったの」

     彼女の言葉は、神崎の魂を震わせた。この男は、三十年間、毎日この「五分間の惨殺」を繰り返してきたのだ。
     神崎は、自分が霊感を持つ者であったからこそ、この「地獄の終身刑」の目撃者となってしまったことを悟った。

     翌日も、神崎は訪れた。
     今度は男の肌が青白く変色し、息絶えた。そしてまた、時間は戻る。
     その翌日、男は自ら刃物を取り、震える手で首を突き刺した。
     血が噴き出す。そして少女の霊がニヤリと笑う。

    「いつだって戻してやるよ」

     男は虚ろな目で、ただそこにいた。
     神崎は、言葉を失った。この男にとっての時間は、この五分間を永遠に反芻する地獄なのだろうか。

     しかし、翌日、神崎は警察署のデスクで一冊の資料を前に、微かな違和感を覚えた。
     彼は、自宅の近くに設置した隠しカメラの映像を再生した。

     画面の中には、男が部屋の床で痙攣し、身をよじって動いている姿があった。
     しかし――。
     壁の時計は、狂ったように戻ることもなく、規則正しく進んでいた。

     神崎は震える手で、自分の顔を覆った。
     時間は巻き戻っていない。
     男はただ、狂気の果てに、自分の脳内で「巻き戻る」という幻覚を見続けているだけなのだ。

     男は毎日、自分が殺され、時間が戻るという絶望的なループの中に閉じ込められ、その度に異なる激痛と恐怖を味わっている。
     外界の時間は一秒ずつ進んでいるのに、男の内面では、数千、数万回と繰り返される「地獄の五分間」が現在進行形で続いている。

     神崎は、捜査資料を机の端へ突き飛ばした。
     「刑務所の終身刑なんて……この男の地獄に比べたら、あまりにも慈悲深いものだ」

     外では、穏やかな夜の風が吹いていた。
     しかし、あの部屋のなかだけは、今この瞬間も、終わらない「五分間」が、永遠に刻まれている。


    (※note)12Bモデルの量子化版(Q4_0)だとこんな感じです。同じGemma4 E4Bモデルでも普通に小説は書けることは確認しているので、まあまあ、こんなものかな、と思います。なんか、後述する26Bよりスピードが出ないのが謎なんですが、微妙な環境の差のせい?


    非量子化版:Gemma4 12B

    gemma-4-12b-it BF16 (ggml-org非量子化版) 10.51tok/s

    『地獄の時計』

     刑事・神崎には、他人の目には映らない「境界」が見える。
     彼が訪れたのは、三十年前の未解決事件――少女殺害容疑で不起訴となった男の家だった。

    「助けてくれ! 毎日、あの女が俺を殺すんだ!」

     部屋に入った瞬間、男は狂ったように叫び声を上げた。時刻は午後十一時三十分。
     次の瞬間、神崎の視界に異変が走った。不可視の刃が男の胸を貫き、彼は絶望的な表情で血を吐いて崩れ落ちた。

     ――そして、世界が「跳ねた」。

     視界が一瞬歪み、時計の針が逆回転する。気づけば、神崎は五分前の、男が叫び始める直前の光景の中に立っていた。
     神崎は震える手で自分の顔を抑えた。霊感を持つ彼にしか見えない「地獄」の断片。

     背後に冷たい気配を感じて振り返ると、そこには少女の霊がいた。
    「私は死んだら、一日一回だけ時間を巻き戻せるようになったの」
     少女は無機質な声で告げた。
    「三十年間、毎日この『五分間の惨殺』を彼に与え続けているわ」

     神崎は戦慄した。これは刑務所の壁よりも強固な、魂を削り続ける終身刑だ。
     翌日も、翌々日も、神崎はその光景を目撃した。男が青白く変色して息絶え、時間が戻る。あるいは、男が自ら首を突いた瞬間、少女の霊がニヤリと笑って時間を巻き戻す。
     男は虚空を見つめ、ただ壊れ果てた人形のように放置される。

    「刑務所の終身刑なんて、この罰に比べたら優しすぎるな……」
     神崎はそう呟き、逃げるように家を後にした。

     しかし、警察署に戻った神崎の指先は、震えながらもあるデバイスを操作していた。
     彼はこの家に来る前、外部から監視できる超小型ビデオカメラを設置していたのだ。

     モニターに映し出された映像には、彼が見た「惨劇」は一切映っていなかった。
     そこにあったのは、狂った男が一人で悶え、見えない刃に怯え、自ら倒れ込み、そして虚空を見つめて硬直するだけの、あまりにも静かな、しかし凄惨な映像だった。

     時計の針は一度も戻っていない。
     時間は正しく流れていた。

     神崎はモニターを凝視したまま、乾いた笑いを漏らした。
     男は毎日、タイムループという妄想の中で何度も殺され、何度も死に戻り、そのたびに異なる激痛と恐怖を味わっている。
     霊の仕業ではない。男の脳が作り出した「永遠の五分間」という地獄。

     神崎は捜査資料を手に取り、それを無造作に破り捨てた。
     この男には、もはや法で裁くことなどできない。彼はすでに、自分だけの地獄の中で、最長の懲役を終え続けているのだから。


    (note) ……確かに、量子化版が取りこぼしている所を、上手く入れてまとめているな、という印象があります。同じ12Bの比較的小型モデルでも、丁寧に考えさせたい用途には良いかもしれません。


    量子化版:Gemma4 26B

    (gemma-4-26b-a4b-qat Q4_0) 76.33tok/s

    『最長の懲役』

     深夜、湿った空気が部屋に淀んでいた。
     刑事・神崎は、古びたアパートの狭い一室に立っていた。目の前では、三十年前の未解決事件の容疑者である男が、狂ったように叫んでいる。

    「助けてくれ! 毎日、毎日、あいつが……!」

     男の視線の先には、誰もいないはずの虚空がある。だが、神崎の目には見えていた。男の背後に立ち、氷のような微笑を浮かべる少女の姿が。

     午後十一時三十分。
     突如、男の喉元に不可視の刃が突き刺さる。男は血を吐き、のたうち回り、絶命した。神崎が駆け寄ろうとしたその瞬間――。

     ――チク、タク、チク、タク。

     時計の針が、逆方向に高速で回転した。
     景色が巻き戻る。男の傷口が塞がり、溢れた血が喉の奥へと吸い込まれていく。気づけば、五分前の、男が叫び始める直前の静寂に戻っていた。

     神崎は背筋に走る戦慄を抑えながら、一度部屋を後にした。
     警察署の薄暗い廊下で、背後に冷たい気配を感じて振り返ると、そこにはあの少女が立っていた。

    「私は、死んだら時間を巻き戻せるようになったの」

     少女の声は、鈴の音のように澄んでいて、それゆえに恐ろしかった。

    「三十年間、この五分間を繰り返しているわ。彼が死ぬたびに、私は時間を戻す。そうすれば、彼は永遠に、死の恐怖を味わい続けられるもの」

     神崎は悟った。これは、死者による、生者への「刑務所」なのだ。
     翌日、男は自ら喉を掻き切り、死を望んだ。しかし、少女はニヤリと笑い、「いつだって戻してやるわ」と告げて、また時間を巻き戻した。
     放心状態となった男は、もはや肉体という器の中に閉じ込められた、生ける屍のようだった。

     神崎は、帰り際に設置しておいたビデオカメラの映像を確認した。
     液晶画面に映るのは、ただの、狂った男の姿だった。

     映像の中では、時間は一秒も戻っていない。
     男は、誰もいない部屋で、虚空を掴もうと手掻き、突然、自分の喉を掻きむしり、血を吐いて悶え苦しんでいる。ただそれだけだ。外部からは、ただの精神を病んだ男の、奇怪な発作にしか見えない。

     男は、自分の内側にある「地獄のタイムループ」という精神の檻に、閉じ込められているのだ。物理的な死すら、彼を解放してはくれない。

    「……終身刑なんて、これに比べれば慈悲だな」

     神崎は、独りごちた。
     そして、デスクの上にあった、その男に関する捜査資料を、迷いなくシュレッダーへと投げ入れた。

     この「判決」を覆す権利は、神の領域にしか、ないのだから。


    (note)こちら、12Bの倍以上、26BモデルのGoogle様による量子化版です。ファイルの大きさは15GBくらいしかありません。しかし、元のモデルにある『賢さ』の部分は残っているような気がします。まあ、微妙に端折っているところはあって、そこが「ニュアンス」切り捨ての箇所なのかなぁと、ちょっと思います。そこは、人間が補う必要があるんでしょうね。


    本家:課金版Gemini様

    (Gemini 課金版 Pro拡張、強化版思考モード)

    『最長の懲役』
    原案:謎村ノン

    ひんやりとした夜風が吹き込む古びたアパートの前で、刑事の神崎は足を止めた。彼には「視える」特異体質——霊感がある。部屋の主は、三十年前に一人の少女を殺害したと疑われながら、証拠不十分で不起訴となった男だ。
    ドアを開けると、饐えた臭いとともに男の絶叫が鼓膜を打った。
    「助けてくれ! 毎日、あの女の霊が現れて俺を殺すんだ!」
    時刻は午後十一時三十分。次の瞬間、男の胸に不可視の刃が深々と突き刺さった。男は大量の血を吐き、苦悶の表情を浮かべて絶命する。
    だが、神崎が目を疑う暇もなく、壁の時計の針がギュルリと逆回転し、時間は五分前の状態に戻った。ただごとではないと悟った神崎は、一旦その場から出直すことにした。

    警察署に戻った神崎の前に、少女の霊が姿を現した。どうやら現場から憑かれてしまっていたらしい。彼女は神崎を見つめ、無機質な声で告げた。
    「私は、死んだら一日一回、時間をちょっとだけ巻き戻すことができるようになったの」
    少女の霊は三十年間、毎日この「五分間の惨殺ループ」を犯人に科し続けていたのだ。神崎は、自分に霊感があったからこそ、この「地獄の終身刑」を目撃してしまったことに気づいた。

    翌日、再び男の家を訪ねたが、今度は見えない力で全身が蒼くなって男は息絶え、また時間が戻った。神崎が警察で少女のファイルを調べると、少女の死亡時刻は、ちょうど男が死に戻る時間と重なっていた。
    さらに次の日。神崎が男の部屋を訪ねると、男は自ら刃物を持っていた。
    「刑事さんに見て貰って、ついに決心がつきました」
    虚ろな目でそう言い残し、男は自ら首を刺した。血が噴き出して息絶える男。
    ところが、やはり無情にも時間は巻き戻り、少女の霊がニヤリと笑って「いつだって戻してやるよ」と言い放つ。蘇った男は、完全に放心した状態となった。
    「刑務所の終身刑なんて、この罰に比べたら優しすぎるな……」
    神崎は静かにそう呟いて、家を後にした。

    だが、事の真相はさらに深い闇の中にあった。実は、神崎はこの家に来る前に、外部から見えるビデオカメラを密かに設置していたのだ。
    車に戻り、録画された映像と時計を確認すると、時間はまったく戻っておらず、狂った男が部屋の中で蠢いているだけで、別に何も事件は起こっていなかった。
    「なるほど、霊の世界か、あいつの妄想の中に取り込まれていたのか……」
    おそらく、あの男は毎日、タイムループという体で何度も巻き戻りが発生したと思い込み、毎回異なる激痛と恐怖の中で殺され直しているのだろうと神崎は結論づけた。肉体を生かしたまま、精神だけを永遠の拷問にかけているのだ。
    警察に戻った神崎は、引き出しから男の捜査資料を取り出し、ゆっくりと破り捨てた。人間の法による裁きなど、もはや彼には不要だった。


    (note)流石に巨大モデルを動かしているだけあって、粗筋の端折り(取りこぼし)は殆どない気がします。ただ、小説としてみると、ローカルのGemma4では、ちゃんと「」と段落の一ます空けをしてくれているのに、課金版では、改行も少なくてちょっと見づらくしていますね。わざと、なんでしょうか?と、ちょっと思ってしまいます(笑)。

     ……ということで、Google様の本家モデルをみてみて、V100複数枚とかで26Bクラスの非量子化版を動かせれば、確かに、日本語的には、もっと幸せになれるかもしれない……(近いレベルまでいけそう?)とちょっと感じました。


    日本の星:量子化版の和製llm-jp-33B

    (llm-jp-4.1 33B Q4_K_M) 15.86tok/s

    五分間の地獄

    雨の匂いがまだ残る夜、刑事・神崎は薄暗い階段を上がり、古ぼけた木造の家の扉をノックした。相手は三十年前、未解決の少女殺害容疑で不起訴になった男――山本だった。

    「助けてくれ!」と、山本は突然叫び、壁に貼られた時計の針が止まった瞬間、胸元に見えない刃が走った。血が噴き出し、彼は倒れた。だが、時計の針は逆回転し、五秒前へと戻っていた。

    神崎は眉をひそめ、外へと退いた。警察署に戻ると、そこには白いドレスをまとった少女の幽霊が漂っていた。「私は死んだら、一日一回、時間を少しだけ巻き戻すことができる」——彼女はそう告げた。

    翌日から、神崎は同じ家へ再び足を踏み入れた。山本は青白い顔で息絶えており、再び時計が巻き戻った。捜査資料を見ると、少女が死亡した時刻と、男が死んだ時間がぴったり重なっていた。

    三度目の訪問。山本は机の上に刃物を置き、静かに言った。「刑事さんに見てもらって、やっと決心がつきました。」彼は自らの喉を切り、血が床に広がった。その瞬間、再び時間が巻き戻り、少女の幽霊がニヤリ笑った。「いつでも戻してやるよ」。

    神崎は背筋に走る寒気を感じながら、家の奥でビデオカメラが録画していることに気付いた。映像は、時間が戻ることなく、ただ乱暴に揺れる影だけが映っていた。外の世界は変わらず、唯一変化したのは、山本が自らの妄想の中で永遠に苦しみ続ける姿だった。

    「地獄の終身刑――本当の罰は、時間の鎖に縛られたままだ」と神崎は独り言をつぶやき、資料を燃やした。炎の揺らめきは、過去と未来の境界を曖昧にし、やがて煙と共に消えた。

    夜が明け、街はいつものざわめきを取り戻す。だが、神崎の眼差しだけが、まだあの五分間のループを映し出していた。


    (note)ということで、和製でもっと大きな33Bクラスを量子化したものだとどうかな~と思って、これも試してみました。
     このLLM-jp-4.1は、とにかく『素直』という印象です。昔のgpt-oss-20bに近い感じですね。ほとんど、粗筋を取りこぼしていなくて、要約させたり表を作らせたりするのは優秀なんだろうな~という資質が垣間見えます。
     ただ、素直すぎて、my用途のような、小説の下書きを書かせるには、そんなに向いていないかな~という印象があります。
    ※非量子化版だと、そこがグっと賢くなって、違うのかもしれません。


    比較用:超量子化版のQwen、Bonsai 27B

    (prism-ml/bonsai-27b) 40.45 tok/s

    『最長の懲役』ショートショート


    刑事・神崎。霊感がある。

    「三十年前、少女を殺したと疑われる男」の家に訪問する。

    午後 eleven 三十分。

    「助けてくれ!
    彼女が毎日、私の首を刺している!」

    不可視の刃が胸を貫く。

    血が流れる。死。

    時計の針が巻き戻る。五分前へ。

    神崎は、目を開ける。
    「…もう一回」

    警察署に戻す。
    女性の霊が現れる。

    「私は、死んだら、一日一回だけ時間を巻くことができるようになった。」

    三十分間の悪循環。

    三十五年、このループを課していた。

    神崎は、霊感があるからこそ、地獄の終身刑を目撃した。

    次の日も訪問する。
    全身が蒼くなる男。
    息絶え、時間が戻る。

    ファイルを確認。
    死亡時刻=回復時刻。一致する。

    次の訪問。
    男性は刃物を持っている。
    「刑事さんを見て、ついに決心が立った。」

    自ら首を刺す。
    血を吐き、死。

    時間Again。

    「いつだって戻してやるよ」
    娘の霊がニヤリと笑う。

    男は放心する。
    「刑務所の終身刑……この罰に比べたら優しすぎるな。」

    神崎は後から回る。

    実は、外部カメラを設けいていた。

    時計を確認。
    時間は全く戻っていない。

    狂った男が部屋の中で蠢いているだけ。
    事件は起こっていない。

    「なるほど。
    霊の世界か、あいつの妄想の中に取り込まれていたのだ。」

    三十五年、毎日に激痛と恐怖の中で殺されるという体感。
    その思い込みによって生じた、自己によるループ。

    捜査資料を破り捨てる。


    (note)比較用に、27Bクラスのモデルを究極の1ビット量子化したBonsai 27Bの出力がどうなるか挙げてみました。
     うん、意味は分かりますよね。ループもしてないし、そぎ落とし方が1ビットという感じがします。ある意味、凄い、と思います。
     ただ、my用途には全然使えません(苦笑)。
    ※3値のタイプternaryだと、もうちょい賢いのかもしれませんが、LM Studioでは走らないので試しておりません。


    Strataで量子化版:強力な125B Qwen-flash-nextを無理矢理動かす

    (qwen3.8-flash-next iq3_xxs)44.64tok/s

    『最長の懲役』

     神崎刑事には、他人には見えないものが見えた。
     その能力を、彼はいつも迷惑だと思っていた。

     ある晩、彼は三十年前に少女を殺した疑いのある男の部屋を訪ねた。証拠不十分で不起訴になった男だ。
     部屋に入ると、男は椅子から転げ落ち、見えない何かに胸を刺されたように叫んだ。

    「助けてくれ! あの女の霊が、毎日俺を殺すんだ!」

     午後十一時三十分。
     男の胸から血が噴き出し、彼は苦悶のうちに息絶えた。
     ——次の瞬間、壁の時計が逆回転した。
     男は息を吹き返し、部屋は五分前へ戻っていた。

     神崎は一度、外へ出た。
     警察署へ戻ると、廊下に少女の霊が立っていた。

    「私はね、死んでから一日に一度だけ、時間をちょっとだけ戻せるの」

     少女は三十年間、毎晩同じ五分間を男に繰り返させていた。
     神崎は悟った。これは刑務所の終身刑より重い、地獄の終身刑だ。

     翌晩、男は全身を青く染めて死に、また五分が戻る。
     その翌晩、男は自ら短刀を握っていた。

    「刑事さんに見届けられて、ついに決心がつきました」

     男は自分の首を刺した。
     血が散り、男は倒れ、少女の霊は笑った。

    「いつだって戻してやるよ」

     神崎は黙って部屋を出た。
     外には、彼がこっそり仕掛けた小型カメラがあった。
     映像には、時計が巻き戻る瞬間も、少女の姿も映っていなかった。
     あるのは、毎晩十一時三十分になると発狂し、胸を押さえ、何もない空間へ刃を突き立てられたように悶える男の姿だけだった。

    「なるほど……霊の世界か、それともあいつの妄想か」

     神崎は捜査資料を破り捨てた。
     三十年分の罪は、三十年分の五分間で、すでに裁かれていた。


    (note)とうことで、使ってみましたStrata:

    (npaka様、どうもありがとうございました)
     ……Qwenさんに比べて、Gemmaさんの方が日本語能力的には高そうなんですが、元モデルの賢さでゴリゴリ押している印象があります。課金版のGemini先生と、大差ない印象を受けますね。
     ただ、Strataは、私の環境だと、Ryzen 5700G、64GB(DDR4)、GeForce 5060Ti16GBで、ギリギリ使えるという感じでしょうか。メインメモリを60GBくらい使い切っていて、他は殆ど何もできません(苦笑)。一旦、インストールしたら、起動もbatファイルで簡単で凄い(割と起動も速い)んで、良いんですが。

     このStrataは、プログラム能力とかは非常に強いみたいなんで、コレをメインで使うときは、メインマシンをコレ専用で動かして、別の部屋(ノマド)でノートPCでエージェントのLLMとして使おうか、なんて思いつつ……使い所が悩ましいです。

     それと、このギリギリ感のせいか、my環境では、ちょっと安定していない感じです。小説の長文の校正を頼んだら40tok/s出ていると状態的には出ているのに止まりました……。現在、鬼のようにアップデート中なんで、もう少し、安定するの待ちたいと思います。
     あ、ここの考察だけで、一日分の日記になったかな(笑)。また、日記のネタにさせていただきます。


    参考用:Chat GPTの出力

    (参考:Chat GPT課金版 思考量:高)

    最長の懲役

     午後十一時二十五分。

     神崎がインターホンを押すと、扉はすぐに開いた。

    「刑事さん……」

     痩せた男が立っていた。

     頬は落ちくぼみ、髪は伸び放題だった。まだ六十を少し過ぎた程度のはずなのに、八十歳にも見える。

    「電話をいただいた神崎です」

    「早く……早く入ってくれ」

     男は神崎の腕を掴み、強引に部屋へ引き入れた。

     室内は異様だった。

     窓には板が打ちつけられ、鏡はすべて布で覆われている。壁には時計が十個以上掛けられていた。

     どれも、午後十一時二十六分を指していた。

    「時計が好きなんですか?」

    「違う!」

     男が叫んだ。

    「確認するためだ。今が何時なのか。戻ったのか、戻っていないのか……」

     神崎は黙って男を見た。

     三十年前、この男――大久保修一は、当時十二歳だった少女の殺害容疑で逮捕された。

     だが、決定的な証拠は出なかった。

     本人も否認を続け、不起訴となった。

     事件は未解決のまま時効を迎えている。

    「それで、幽霊が出ると?」

    「ああ」

     大久保は震えながら壁の時計を見た。

     十一時二十八分。

    「毎晩だ」

    「何時に?」

    「十一時半」

     神崎は腕時計を確認した。

    「あと二分ですね」

    「刑事さん」

     大久保が縋るように言った。

    「俺を逮捕してくれ」

    「何の罪で?」

    「何でもいい。窃盗でも暴行でも。刑務所に入れてくれ。ここから出してくれ」

    「ここを出ればいいだけでしょう」

    「出たさ!」

     男は突然、自分の頭を掻きむしった。

    「北海道にも行った。沖縄にも行った。病院にも入った。寺にも泊まった。外国にも逃げた!」

     そして、震える指で時計を差した。

    「でも、十一時半になると、必ずここに戻る」

     十一時二十九分。

     神崎には昔から、普通の人間には見えないものが見えた。

     だから、この仕事には向いていた。

     死体のそばに立つ者。

     自分が死んだと理解できずに現場を歩き回る者。

     犯人の背中を指差し続ける者。

     しかし、いまのところ、この部屋には何もいなかった。

    「刑事さん」

     大久保が呟いた。

    「来る」

     秒針が動く。

     五十七。

     五十八。

     五十九。

     十一時三十分。

     少女がいた。

     部屋の中央に、突然。

     白いワンピース。

     十二歳ほどの少女。

     濡れたような黒髪の隙間から、片方の眼だけが覗いている。

     神崎は息を呑んだ。

     少女が右手を上げた。

     何も持っていない。

     しかし、大久保の胸が陥没した。

    「ぎゃああああっ!」

     見えない刃が背中まで貫いたように、男の身体が跳ねた。

     血を吐く。

     床に倒れる。

    「やめろ! やめてくれ!」

     少女は無表情だった。

     もう一度、手を振った。

     今度は大久保の腹が裂けた。

     悲鳴。

     血。

     痙攣。

     神崎は拳銃に手を伸ばしたが、途中で止めた。

     幽霊に撃ってどうする。

     大久保が動かなくなった。

     十一時三十四分五十九秒。

     カチッ。

     時計の針が逆回転した。

     十一時三十四分。

     三十三分。

     三十二分。

     三十一分。

     十一時二十五分。

    「刑事さん……」

     神崎は飛び上がりそうになった。

     目の前には、先ほどまで死んでいた大久保が立っている。

    「早く……早く入ってくれ」

     神崎は玄関に立っていた。

     最初にこの部屋へ入った瞬間に戻っていた。

         *

     翌朝、神崎が署で古い事件記録を読んでいると、背後から声がした。

    「見た?」

     振り返る。

     少女が立っていた。

    「君か」

    「うん」

    「何をしている?」

    「罰を与えてるの」

    「三十年間?」

     少女は頷いた。

    「死んだらね、不思議なことができるようになったの」

    「時間を戻すことか?」

    「ちょっとだけ」

     少女は指を五本立てた。

    「五分」

    「一日に一回?」

    「うん」

    「だから、毎日十一時半に殺す。そして五分だけ戻す」

    「そう」

    「三十年間ずっと?」

    「そう」

     神崎は計算した。

     一万回を超える死。

     もっとも、五分で一度だから、一晩に一度だけだ。

     それでも十分だった。

    「君を殺したのは、やっぱり大久保なのか?」

     少女は答えなかった。

     ただ笑った。

         *

     翌晩。

     十一時三十分になると、大久保の顔が突然青紫色になった。

    「息が……!」

     喉を掻きむしり、床を転げ回る。

     窒息だった。

     五分後。

     死亡。

     そしてまた戻った。

         *

     三日目。

     大久保は神崎を見て、妙に穏やかな顔をしていた。

    「刑事さん」

    「なんです?」

    「決めました」

     男の手には包丁があった。

    「何をする気です」

    「こいつに殺される前に、自分で死にます」

    「やめろ!」

    「もう疲れたんですよ」

     大久保は笑った。

    「三十年です。一万回以上ですよ。刺された。焼かれた。溺れた。首を絞められた。身体の中から虫に食われたこともある」

     少女が現れた。

     十一時三十分。

     大久保は少女を睨んだ。

    「今日は、お前には殺させない」

     包丁を自分の首に突き立てた。

     血が噴き出した。

     大久保は倒れた。

     少女はそれを見下ろした。

     そして初めて、声を出して笑った。

    「馬鹿だなあ」

     十一時三十四分五十九秒。

    「いつだって戻してやるよ」

     カチッ。

     時計が逆回転した。

     大久保が生き返る。

     手から包丁が消える。

     傷が消える。

     午後十一時二十五分。

     男は立ち尽くしていた。

     もう叫びもしなかった。

     神崎は帽子を被った。

    「刑務所の終身刑なんて……」

     玄関へ向かいながら呟いた。

    「これに比べれば、ずいぶん優しいな」

     少女が笑った。

         *

     神崎はアパートを出ると、向かいの建物へ入った。

     三階の空き部屋。

     窓際に、小型ビデオカメラを置いてある。

     大久保の部屋が外から見えるよう、昨日設置しておいたものだった。

     神崎は録画を再生した。

     午後十一時二十五分。

     大久保が一人で部屋にいる。

     十一時三十分。

     大久保は突然、胸を押さえて転げ回った。

     しかし血など出ていない。

     誰もいない空間に向かって、

    「やめてくれ!」

     と叫んでいる。

     十一時三十五分。

     何も起こらない。

     時計の針も戻らない。

     十一時四十分。

     大久保はまだ床を転げ回っている。

     神崎は腕時計を見た。

     午前零時十二分。

    「なるほど」

     神崎は呟いた。

    「時間なんか、最初から戻っていなかったのか」

     では、自分が見たものは何だったのか。

     霊の世界に引き込まれたのか。

     それとも、大久保の妄想を霊感で共有したのか。

     分からない。

     ただ一つだけ、確かなことがあった。

     大久保にとっては、本当に時間が戻っている。

     死ぬ。

     戻る。

     また死ぬ。

     だが現実には、彼は死んでいない。

     つまり――。

    「死ねないのか」

     それこそが、この刑罰の本質なのだ。

         *

     翌朝。

     神崎は署に戻った。

     三十年前の少女殺害事件のファイルを机に置く。

     しばらく眺めてから、シュレッダーへ入れた。

     紙が細長く切り刻まれていく。

     同僚が驚いた。

    「おい神崎、それ未解決事件の資料じゃないのか?」

    「ああ」

    「いいのか?」

     神崎は窓の外を見た。

     朝日が昇っていた。

    「もう判決は出てる」

    「は?」

    「しかも、刑期は終わらない」

     その夜。

     午後十一時二十九分。

     大久保は部屋の隅で震えていた。

    「今日は何だ……」

     誰もいない部屋に向かって呟く。

    「今日は、どうやって俺を殺す……?」

     十一時三十分。

     少女が現れた。

     大久保は泣いた。

    「頼む」

     少女は首を傾げた。

    「殺してくれ」

    「うん」

    「違う」

     男は床に額を擦りつけた。

    「戻さないでくれ」

     少女はしばらく黙っていた。

     やがて、とても嬉しそうに笑った。

    「それは駄目」

     時計の秒針が動く。

     五十九。

     ゼロ。

     大久保の悲鳴が上がった。

     しかし、隣の部屋の住人には聞こえなかった。

     現実の時計は、ただ静かに、

     十一時三十一分へ進んでいった。

    ※元のあらすじよりも、**「殺されること」ではなく「本当に死ぬことさえ許されないことが最長の懲役」**というオチを前面に出しました。また最後を「現実の時計だけは普通に進んでいる」で閉じることで、タイムループものから心理・心霊ホラーへ反転させています。


    (note)
     ということで、トリは、ChatGPTさんです。
     まあ、小説能力は非常に高いですよね。もう8ヶ月前ですが、ちゃんと小説の趣旨を理解して、それを発展させる能力まであります。
     ただ、このような出力、そのままだと、まったく使えません(笑)。体言止めとか、どーんとかの擬音が多すぎで……私的には、最近、あくまでもプロットからの気づきとか、「こう書ける」というのを知るための「下書きの下書き」として使っております。
     でも、その用途だと最強!だと思いますね。このnoteで色々書いてきた分析とかアイデア精査とか、その他の用途でもスーパーAIぶりが凄すぎな感じで――うーん、課金が止められない……(苦笑)。
     そんな訳で、それでは、また!


    オマケ(追記):プロットの「仕込み」について

     ……↑のプロットには、実は、一個、仕込みがありまして、その点をGemini先生に尋ねてみました:

    この小説の設定では、犯人が時効を迎えた後ですが、現在の刑事訴訟法では重大事件の時効が撤廃されていますが、通常どうなるのでしょう?

    プロンプトです!

    回答:

    現在の日本の刑事訴訟法において、殺人事件(最高刑が死刑にあたる罪)の公訴時効は2010年に撤廃されているため、過去に証拠不十分で不起訴となった容疑者は、法的に以下のような立場に置かれます。

    • 法的にはいつでも起訴・処罰が可能: 「不起訴処分」は裁判所による確定判決(無罪判決)ではないため、「一度裁かれた事件は二度裁かれない」という一事不再理の原則は適用されません。時効も存在しないため、理論上は本人が生きている限り、いつでも再捜査や起訴を受ける可能性があります。

    • 決定的な新証拠が必須: 一度「証拠不十分」で釈放・不起訴となった人物を、同じ事件で再逮捕・起訴することは実務上非常にハードルが高くなります。当時の判断を完全に覆すような決定的な新証拠(隠されていた凶器の発見、最新技術によるDNA鑑定の一致など)や、自発的な自白が出ない限り、警察は強制的な捜査を行うことができません。

    • 捜査資料の継続保管: 時効が成立しておらず法的に事件が終わっていないため、未解決事件として捜査資料は警察署内に保管され続けます。作中で神崎刑事が当時の少女のファイルをすぐに調べることができたのも、このためと解釈できます。

    つまり、現実の法律上においてこの男は「時効で完全に逃げ切った(免訴された)」わけではなく、「警察に決定的な証拠を掴まれない限りは逮捕されない」という宙吊りの状態にあります。

    人間の法律では証拠がないため手出しができないからこそ、被害者の霊が男の精神をタイムループの妄想に閉じ込め、永遠の私刑を執行し続けているという本作の構造は、法的にも理にかなったホラーサスペンスの舞台設定と言えます。

    犯人が2010年以前に時効になっている場合も同じでしょうか?

    プロンプトです!

    回答:

    いいえ、2010年の法改正より前にすでに時効が成立していた場合は、状況が全く異なります。

    2010年(平成22年)4月27日に施行された刑事訴訟法の改正による「殺人罪などの公訴時効撤廃」は、「法律が施行された時点で、まだ時効を迎えていない事件」にのみ適用されました。憲法で定められた事後法の禁止(遡及処罰の禁止)の原則により、すでに時効が完成してしまった過去の事件に対して、後から作られた法律で罪に問うことはできないためです。

    そのため、もし犯人が2010年以前に時効を迎えていた場合、以下のような扱いになります。

    • 法的には完全に「逃げ切った」状態: 決定的な証拠(凶器やDNAなど)が新たに見つかっても、あるいは本人が警察に出頭して「自分が殺しました」と自白したとしても、警察は絶対に逮捕や起訴をすることができません。

    • 捜査の完全終了: 時効成立をもって法的に事件は終結しているため、警察が捜査活動を行う権限も消失しています。

    物語(ショートショート)における効果的な解釈

    もし本作の犯人が「2010年以前に時効が成立しており、人間の法律では絶対に裁けない状態」だった場合、物語のホラーサスペンスとしての絶望感やカタルシスはさらに深まります。

    神崎刑事は「こいつが犯人だと分かっていても、日本の法律では指一本触れられない」という強烈なジレンマを抱えて男の家を訪れたことになります。その無力感があるからこそ、少女の霊が警察や法律の代わりに科している「永遠の惨殺ループ」という超法規的な私刑を見た際、「刑務所の終身刑なんて、この罰に比べたら優しすぎるな」という呟きが、より重く、痛烈な皮肉として響く構造になります。

    その場合、捜査資料を破棄するということは、現在の警察庁の運用として、あり得るでしょうか?

    プロンプトです!

    回答:

    結論から申し上げますと、現在の警察庁の運用や日本の法律において、一介の刑事が個人の判断で捜査資料を破り捨てる(破棄する)ことは現実には絶対にあり得ません。

    もし現実の警察官がこれを行えば、重大な犯罪行為および懲戒処分の対象となります。具体的な理由は以下の通りです。

    • 公用文書毀棄罪(刑法第258条)への抵触:

      1. 警察の捜査資料は、個人のメモではなく「公文書」に該当します。これを故意に破棄・隠匿した場合、公用文書毀棄罪に問われ、3ヶ月以上7年以下の懲役に処される可能性があります。

    • 公文書管理法に基づく厳格な保存期間:

      1. 時効が成立して法的に終わった事件であっても、資料が即座にゴミ箱行きになるわけではありません。殺人などの重大事件の記録は歴史的・犯罪学的な価値もあるため、所定の長期間(場合によっては半永久的)厳重に保管され、最終的には国立公文書館などに移管される規定になっています。

    • 組織的な一元管理:

      1. 捜査資料は警察署内の証拠品や記録を管理する部署で一元的にデータベース化・保管されています。担当刑事が自分のデスクの引き出しに原本をずっと隠し持ち、気分で破り捨てるような杜撰な管理は、現在のシステムでは不可能です。(仮に手元にあるとしても、それは単なるコピーに過ぎません)

    小説の演出(フィクション)としての解釈

    現実の警察の運用としては「完全にアウト」な行為ですが、フィクションにおける物語の結末としては、非常に強力で効果的な演出になります。

    神崎刑事が捜査資料を破り捨てる行為は、単なる物理的な証拠隠滅ではなく、以下のメタファーとして機能します。

    1. 「人間の法」の放棄: 「時効という人間の作ったルールでは裁けなかったが、それより遥かに恐ろしい超常的な罰が下されている。もはや警察も法律も、この男には一切関係ない」という完全な匙投げと諦観。

    1. 事件の真の「終結」: 警察としての捜査はこれにて完全に終わりにする、という神崎自身の心の中での区切り。

    リアルな警察小説(警察小説としてのリアリティを極限まで追求する作品)であれば、「神崎は静かにファイルを閉じ、二度と開かれることのない書庫の奥深くへとそれを戻した」といった表現の方が適切かもしれません。

    しかし、本作のようなホラーや奇妙な味のショートショートであれば、リアリティよりも読者への視覚的・心理的なインパクトを優先し、「捜査資料を破り捨てる」というドラマチックな行動で幕を閉じる方が、カタルシスを強く残せるはずです。


    (note)……まあ、普通、捜査資料を一介の刑事が捨てるとかあり得ないよね?と思いますんで、実際に自分で書いたら「キャビネットの奥に戻した」とか「自分の作りかけのファイルを破棄した」とかにしようと思っていたんですが、Qwen-flash-nextを始めとして見事に引っかかっているのか、演出として受け入れたんでしょうか?

     ということで、ミステリーを書く場合には、AI出力をそのまま使うのは、色々、危険だということがよく分かる感じです。私は、弁護士ではないんですが、法律系の人間なんで、そこら辺はかなり気になります。PNが「謎村」ですが、あまりミステリー系に進出していない理由がそれです。調べるのが大変なので(笑)。

     まあ、結論からすると、LLMは、その性質上、文脈に沿って聞かないと、しっかりと答えてはくれないよね、ということですね!
     ようするに、プロット段階で気を付けるべきというのが重要ですね(苦笑)。


    オマケ(追記):量子化版 Gemma4 26B QATの温度(Temperature)を1.4に上げた場合

    ショートショート:終身刑の五分間


     時計の針が、重苦しい音を立てて進む。午前十一時二十五分。
     薄暗い室内で、男は震えていた。その恐怖は、もはや単なる怯えではなく、逃れられない運命を待つ者の、魂を削るような絶望に近い。

     刑事、神崎は、その男の背後に張り付くような「冷気」を感じ取っていた。神崎には、常人には見えないものが見える。男が三十年前に犯した、あの凄惨な事件の残り香が、部屋中に澱のように溜まっていた。

    「助けてくれ……! 毎日、毎日、あいつが……!」

     男の絶叫が響いた瞬間、時間は、その「終わり」を迎えた。
     午後十一時三十分。目に見えない刃が、男の胸を貫く。鮮血が飛び散り、男が断末魔の声を上げる。神崎がその光景を網膜に焼き付けようとした、その時だった。

     ――チッ、チッ、チッ。

     時計の針が、逆方向に激しく回転を始める。
     景色が、音も、男の苦悶も、すべてが巻き戻っていく。気がつけば、五分前の、静寂が支配する部屋に戻っていた。

    「……何てことを」

     神崎が困惑して立ち尽くしていると、部屋の隅から、青白い光が立ち上がった。
     そこにいたのは、三十年前に命を奪われたはずの、少女の霊だった。その瞳は、慈しみとは程遠い、凍てつくような無感情を湛えている。

    「死んだら、時間をちょっとだけ巻き戻すことができるようになったの」

     少女の声は、耳元で直接響くように、脳髄を揺らした。

    「この五分間を、永遠に繰り返してあげる」

     それは、肉体的な死さえも、ただの「リセットボタン」に過ぎないという宣言だった。男がどれほど命乞いをしようと、あるいは自ら命を絶とうと、死の瞬間に少女が笑えば、世界は再び「死の直前」へと引き戻される。

     次の日、神崎は男の家を再び訪れた。
     男はすでに、正気ではなかった。自ら喉を掻き切り、血を流して死んでいた。だが、再び時間が巻き戻る。少女は、満足そうに、どこまでも残酷に、その唇の端を吊り上げた。

     神崎は、部屋を去る際に、一台のビデオカメラを設置した。

     警察署の暗い自室。神崎は、その映像を再生した。
     画面の中の時間は、止まることなく、淡々と、残酷なほど正確に、未来へと進んでいる。

     そこには、巻き戻る世界など、どこにもなかった。
     ただ、狂気に取り憑かれた男が、誰もいない空間に向かって、何度も、何度も、目に見えない刃に刺されるような動作を繰り返し、血を吐きながら、床を這いずり回っているだけの、凄惨な「独白」が記録されていた。

    「なるほどな……」

     神崎は、震える手で捜査資料を掴んだ。
     男が体験しているのは、死のループではない。死の瞬間に、その意識だけが「五分前の地獄」という、精神の檻の中に永遠に閉じ込められているのだ。

     男は、肉体は生きたまま、魂だけが、終わりのない処刑台の上を、永遠に駆け抜けている。

     神崎は、目の前の資料に火をつけた。
     それは、この世には存在しないはずの、しかし確かに存在する「最も長い刑期」を、誰にも知られぬよう葬り去る儀式だった。


    (note)……sai様(読んで頂きありがとうございました)のコメントで、単語のランダム性を高めるパラメーター「温度」を高めに(1.4)変更したらどうなるか、一つだけ試してみました。少し描写が増えていて、より文学的になって良いかもしれません。まあ、デフォルトで、特にこれまで問題を感じていなかったんですが、幻想ホラー系とかだと、ちょっと上げても問題なさそうです。ただ、元の「神崎は、帰り際に設置しておいたビデオカメラの映像を確認した。」が「神崎は、部屋を去る際に、一台のビデオカメラを設置した。」で、いつ設置したのかの時系列が、微妙に変になっています。いや、元からそうだったんでしょうか? これは偶然なのか、傾向的にもそうなるのか分かりませんが、修正する際には、ちょっと手間が増えそうな気がします。


    オマケ(追記):Ternary Bonsai2の場合

    (Ternary-Bonsai-2 27 BPQ2_0) 44.40 tok/s

    『最長の懲役』

    刑事の神崎には、誰にも見えないものが見える、という霊感があった。

    ある夜、神崎は、ある男の家を訪れた。
    三十年前、少女を殺したと疑われながら、証拠不十分で起訴された男だった。

    「助けてくれ!」
    部屋の男は発狂していた。
    「毎日、あの女の霊が現れて、俺を殺すんだ!」
    その時刻、午後十一時三十分。

    次の瞬間、男の胸に、見えない刃が刺さる。
    男は血を吐き、息絶えた。

    ……と、思った。
    壁の時計の針が、巻き戻った。
    五分前の状態に戻った。

    神崎は、息をのんだ。
    目で見たことが、信じられなかった。


    警察署に戻ると、女の霊が現れた。少女だった。

    「私は、死んだら、一日一回、時間を少しだけ巻き戻せるようになったの」
    その声は、三十年来、何度も繰り返されていたかのような、静かな声だった。
    「毎日、この五分の惨殺ループを、彼に科してきた」

    神崎は、悟った。
    自分の霊感のせいだった。
    この、地獄の終身刑を、自分の目で、見てしまったのだ。


    翌日、再びその家を訪れた。
    今度は、男が全身蒼白で、息絶えている。
    また、時間が戻る。

    少女のファイルを調べた。
    死亡時刻。
    男が「死ぬ」時刻に、重なる。


    三度目、男は刃物を持っていた。

    「刑事さんに見てもらって。
    ついに、決めた」

    男は、自ら首を刺した。
    血が噴き、息絶えた。

    ……時間、戻る。
    少女が、ニヤリと笑う。
    「いつだって、戻してやるよ」

    男は、放心した。

    神崎は呟いた。
    「刑務所の終身刑、なんて、この罰に比べたら優しすぎるな」
    家を後にした。


    出て、外に設置したカメラを確認した。
    時計は、一切、戻っていない。
    部屋の中で、ただ、狂った男が蠢いている。
    何も、起きてはいない。

    「……霊の世界か。
    それとも、彼の妄想に、取り込まれたのか」

    神崎は、捜査資料を破り捨てた。


    (note)いつの間にか、Bonsai2が出ているのに気づいたので、試して見ました。今回は、Ternary(3値)バージョンです:

     こちら、参考にさせていただきました>ありがとうございました、アイドリ|AI-Driven Lab様

     ぶっちゃけ、普通にWindows用のビルド済みのllamaのexeが置いてあるんで、それとモデルをダウンロードして実行すれば良かっただけでした。別にLM Studioにこだわる必要なかったかも(汗)。LLM-jpと同じで普通に、llamaサーバー版で、MCP追加できましたし。
     で、その結果ですが、まあ、1ビット版のBonsaiより大分マシで、ベースがQwen3.8になった分、賢くなっている……と思いますが、やっぱりそぎ落とし過ぎ――な感じがします。

     確かにメモリ要求性とかは軽い……んですが、Strataで同じくらいのスピードが出てしまうのを見ると、これは、myノートとかで試すべきモデルかな~と(1ビット版は、思ったより結構重かったです)、ちょっと思いました。


    オマケ(追記):総括ぽいもの

     結論として、今回、量子化版を色々試すと、まあ、小説のようなものを書かせると、確かに情報がそぎ落とされるんで、謎村プロットのような詳細プロットを作っても、ニュアンス的なモノが切られます。そうかといって、FP16のような切り詰めていないモデルは、私のような凄くない環境では、VRAMの関係で小規模なものしか動かせません。

     まあ、Strataのような力業を使うというという手もありますが、これは現在、安定してなくて、長い小説を書かせようとすると、かなりの確率で破綻するようです。
     そこで、ローカルLLMでは、創造性がまあまああって割と使いやすいGemma4シリーズの26Bクラスのものをボチボチ使うのが、現在の謎村的にお勧めです!
     お金があれば、課金版Gemini先生かな? でも、私が使っているAI Plusでは、もうちょいしたら上位モデルが使えなくなるっぽいので、かなり残念かもしれません。

     しかし、結局、そうやってLLMから出されたものは、白地のキャンパスの下絵のようなもので、そこにどうやって色づけしていくかが人間として重要かもしれませんね。

     または、ChatGPTさんのように妙に盛りすぎて「ボクの小説じゃない」になったら、結局、ひーひー言いながら自分用のものをイチから書いていく……という感じになるかと思います(←現状コレ)。
     今回は、まとめて試しましたが、ローカルLLMは日進月歩なんで、また頃合いが良くなったら色々試そうと思っています!
     それでは、また!


     
     
    知財専門家です。 興味あるもの:PC自作、ソフトウェア関係、SF AIを使って小説を、なろうでも書いてます。同時掲載あり https://mypage.syosetu.com/290752/

    あなたへのおすすめ