【ＰＣ系創作日記】Strata続報

　……こちらの日記で、１２５ＢクラスのＱｗｅｎ３．８－Ｆｌａｓｈ－Ｎｅｘｔ（の量子化版）を無理矢理動かす「Ｓｔｒａｔａ」を導入してみたことを記載したのですが、この時は、ＧｅＦｏｒｃｅ　ＲＴＸ　５０６０Ｔｉ　１６ＧＢを挿しているｍｙメインＰＣ（Ｒｙｚｅｎ　５７００Ｇ、ＤＤＲ４　６４ＧＢ）に導入したものです。

　しかし、Ｔｅｓｌａ　Ｖ１００（１６ＧＢ）を移したサブＰＣの方には、最初に入れたとき、残念ながら、ＳｔｒａｔａはＣＵＤＡ１３以上で、Ｖ１００は対応していないと撥ねられ、２枚挿ししているＲＴＸ３０５０（８ＧＢ）だけで動かそうとして、止まっていたんです。せっかくサブＰＣは、Ｖ１００を入れてローカルＬＬＭ専用マシンにしようとたくらんでしたんですが（１、２）、どうしよっかな～と少し悩んでおりました。

　と、こ、ろ、が、今日、アップデートしたら、ちゃんとＶ１００でも有志のビルドが同封されていて、走ったのです！　まさに、最近のＡＩは、日進月歩ですね……凄いです。

　最初に起動したときに、他ＰＣからはアクセスできず、ファイアーウォールのせいか？と思ってボチポチ設定したところ、それでもアクセスでいずに？と思ったんですが、単純に起動時に１２７．０．０．１になっていただけでした。やっぱり、ちゃんとREADME.ja.mdは読むべきですね。そういう訳で、Ｗｉｎｄｏｗｓでは、

.\START-HERE.bat --gpus 0,1 --cuda 12 --host 0.0.0.0 --api-key <何か>

　……のような感じで、普通に起動できました！

This PC　（サブマシンです）
GPU　NVIDIA GeForce RTX 3050 + Tesla V100-SXM2-16GB, 24 GB
CPU　AMD Ryzen 5 4500 6-Core Processor, 12 threads
RAM　48 GB

　……ということで、早速、色々、試してみております。
　まず、モデルなんですが、Ｓｔｒａｔａのセットアップ時に、一番軽い量子化版の「Ｑ２＿０」を薦められた訳ですが、これが日本語能力がまったくダメで、「日本語で」とお願いしても応答が中国語になるという感じでした……。
　メインＰＣでは、「ＩＱ３＿ＸＸＳ」を入れていたんですが、これは、今日アップデートしたら、かなり安定してきていて、長文の日本語もマアマア、崩れないで出力できました！　日本語能力そのものは、おそらくＧｅｍｍａ４　２６Ｂ　ＱＡＴの方が上なんですが、読解力というか、プロットの意図を読み取るチカラは、多分、元のモデルの賢さが残っていて良い感じですね。ちょ～～っと劣化したＣｈａｔＧＰＴさんというレベルだと思います。

　ということで、サブマシンもモデルを「ＩＱ２＿ＸＳ」に一ランク上げました。これは、日本語も、まあまあ大丈夫です。サブマシンのメモリ容量は、↑のように１６ＧＢ×２＋８ＧＢ×２の４８ＧＢでして（ＤＩＭＭを４枚挿せるマザーでよかった……）、６４ＧＢあればＩＱ３＿ＸＳも載るようなんで、かなり悩むところです。メモリ高騰の今、とりあえずこのままで使おうと思っております（ＤＤＲ４だし）。まあ、必要あれば、メインＰＣでＳｔｒａｔａを動かせばいいですからね。

　で、このサブマシンのＬＬＭで駆動するため、今、Ｈｅｒｍｅｓ　Ａｇｅｎｔを設定したところ、コンテキストウィンドウが最低６５Ｋと言われて（初期設定は３２Ｋだったので）、また設定をしなおし……ようやく、なんとか動くようになったところです。
　まあ、サブＰＣは他の部屋に置いたのでうるさくはないんですが、常時使うと電気代が気になるので（苦笑）、日中に使いたいと思います。今宵は、こんな感じでした。
　……ちなみに、今日の扉絵は、Ｈｅｒｍｅｓ　Ａｇｅｎｔで、

　……で描いてもらおうと思ったんですが、やはりＣｏｍｆｙＵＩを操るのに難儀しておりまして、すぐは無理そうでした。。
　ということで、ＱｗｅｎーＩｍａｇｅ　Ｅｄｉｔ　２５１１で、「イングリッシュガーデンに佇んでいる金髪の美人」と指示したら「この人は誰？」と出た画像第二弾です（苦笑）。なんかＶＯＧＵＥとかの表紙にいそうな方ですね。。
　それでは、また！