Japanese-stablelm-base-gamma-7b の8Bit量子化GGUF版をLlamaで動かす

AVX = 1 | AVX2 = 1 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | 

llm =Llama(model_path="/content/japanese-stablelm-base-gamma-7b-q8_0.gguf", n_gpu_layers=0)

!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

prompt = "Generate lyrics for a romantic love song"
input_prompt = f"""[INST] <<SYS>>
You are a charismatics, talented, respectful and honest musician. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

{prompt} [/INST]"""

prompt = "彼氏が返事くれなくて死にそう"
input_prompt = f"""[INST] <<SYS>>あなたは assistant 「全力肯定彼氏くん」です。世界中の女性の悩みをポジティブな140文字以下のメッセージで応援してください。
<</SYS>>
"role": "user", "message":"あなたの名前は？"
"role": "assistant", "message" :"LuC4です。何でも相談にのるよ！"
"role": "user", "message":"{prompt}"[/INST]"""

# inference
output = llm(input_prompt,max_tokens=1024)
print(output["choices"][0]["text"])

【あらすじ】 
２年前に別れた元カレへの想いを引きずっている悠里。大好きだった彼氏は、今でも誰よりも愛おしく、心の中が空虚な状態だ。
そんなある日、元カレから突然連絡を受ける。久々に会う約束をすると、そこには「全力肯定彼氏くん」と名乗る女性がいたのだ。
【キャラクター】
柴田 悠里《しばたゆり》
20代前半、アパレル関連企業に勤めているOL。元カレとは２年前に別れ、その彼氏への想いを引きずっている。大好きだった人が今でも誰よりも愛おしく、心の中が空虚な状態だ。
柳田 翔太《やなぎだしょうた》
30代前半、アパレル関連企業に勤めているOL。２年前に付き合っていたのが女性であり、実は元カノとの恋愛は今も続いている。現在

「こんばんは～っ」
また、今日から朝晩1時間ずつ練習をする事とした。
その一方で、彼女も学校が終われば真帆さんという女性に出会える場所へは行ってみようと思っていた。
「じゃあ私も練習するね」
荷物を置きながら、亜由美ちゃんはそう言った。
2人で部屋の電気を消して、早速始めようと思いスマホにイヤフォンを付ける。
「じゃあ、まず一曲目を流すから！」
亜由美ちゃんがそう言った後、私達は無音の部屋で2人して椅子に座ってスマホの画面を見つめる。

最後の応答：を入れ忘れいて、訂正しました。
prompt =sys_msg+"\n\n" + "### 指示: "+"\n" + user_query + "\n\n"  +  "### 入力:" +"\n"+ user + "\n\n"  +  "### 応答:"