Difyで使う Stability AI API - 10分でつくる「漫画ジェネレーターSAI」

「Dify」（ディファイ）は生成AIをマッシュアップするオープンソースの開発プラットフォームです。ユーザーはノーコードでさまざまなAIアプリケーションを作れます。 たとえば、チャットボット・AIアシスタントや要約・分析ツール、画像生成アプリ、計算ツールなどをつくることができます。

今回の記事ではこの「Dify」を使って、漫画を簡単に生成するためのツールを開発してみます。特に、漫画のための画像をの作り方ではなく、「ストーリーや絵コンテを考えるツール」の開発を「できるだけ短い時間」でやってみます。

作り方

1.Difyでアカウントを作成し「最初から作成」→「エージェント」

ここまでできたらいったん次の「ツール」の設定をして戻ってきます。

2.「Google Search」と「StableDiffusion」の認証

次にツールの認証設定をします。
中央上部の「ツール」を押してみてください。
https://cloud.dify.ai/tools

認証済みだとこの状態になります。

認証が終わっていない場合はSerpApiのAPIキーを取得しましょう。

SERPとは、「Search Engine Result Page」の頭文字をとった用語で、検索エンジンでリサーチしたとき画面に表示される検索結果ページのことです。Googleの検索結果についてはSERP Incが便利なAPIを無料で提供しているのでこちらを利用します。
https://serpapi.com/users/sign_in

利用規約に同意し、ユーザーアカウントを作成するだけでAPIキーを発行できます。
https://serpapi.com/manage-api-key
クレジットカードの登録等は必要ありません。

次に Stability AI のAPIキーを取得します。
こちらも「著者 Dify」とあり、Difyが開発したものでStability AIの公式ツールというわけではないようですが、非常に高品質で高画質なAPIをユーザー設定のAPIキーで利用できます。

こちらからAPIキーを取得しましょう。無料で登録でき、初回のクレジットが使えるはずです。

https://platform.stability.ai/account/keys

Stability AIが提供する「DreamStudio」と共通ですので、すでにクレジットを持っている人もいるかも知れません（ここで確認できます）。絵コンテを作っていくうえでは10ドルぐらい課金しておくと良いと思います。$10で1,000クレジット使えます。

この状態になっていれば利用できます。

3.エージェントに「手順」を教える

中央上部の「スタジオ」から先ほどタイトルを設定した「エージェント」の設定に戻ってきましょう。
https://cloud.dify.ai/apps
「手順」を書く前に下の「ツール」を設定していきます。

まずは「Google Search」を「+ADD」します。

続いて「StableDiffusion」を「+ADD」します

4.基本の「手順」を設定して動作確認

まずは以下をそのまま打ち込んでみてください

この「手順」はだいたいでいいです！
※AICU media 編集部では、この他にキャラクターの設定や画風の設定、起承転結のそれぞれのコマの役割などを追加しています。

5.「動作確認」
ここまで「手順」を設定したら右下の「ユーザー入力フィールド」に適当な話題を振ってみます。

ユーザ入力：「スイカはどこいった」

ここで数字入力で 1～7 を入力してもいいですし、人間のアイディアを加えても上手く動作します。
試しに「「スイカ割り」とSuicaをかけて『みつからない』漫画」をユーザ入力に入れてみて、画像が生成されれば成功です！

なお「Panel」とは英語で「漫画のコマ」のことです。
「続けて」もしくは「GO」と入力すると続きを生成していきます。

動作確認なので中身のできはともかく、どんどん進んでいきましょう！

最後にストーリーの内容を確認してみます。

ユーザー「どういう話だったか台詞を教えて」

「わあ！全然面白くないぞ！」
と思ったアナタ、ここからの先はアナタの工夫に任されています！
具体的な方法を簡単にお伝えします。

6.エージェントの詳細を変更

この状態では「gpt-3.5-turbo」で動いています。彼は倫理観と速度は確かなものですが、冗談をつくるのは苦手なLLMかもしれません。

最新の「gpt-4o-mini」を選んでみてください。応答のキレがぜんぜん違います。
その他「手順」については、前述の通り、起承転結の作りやキャラクターの設定、画風の設定などを加えていくことをおすすめします。

7.ツールの設定を変更

ツールの「StableDiffusion」の[i]ボタンから設定を変更することができます。まずは「Model」からAPIモデルを選択しましょう。

ここでは「Core」、「Stable Diffusion 3」、「Stable Diffusion 3 Turbo」が選択できます。どのAPIもおすすめですが、クレジットの消費や速度で考えると、悩んだら絵コンテツールの場合は「Stable Diffusion 3 Turbo」が高速でよいかなと思います。

シードは「0」のままだとランダムなので、ある程度画風を固定したいなら、お好きな数字で固定してみるといいでしょう（これは好みがあるので探っていただいたほうがよいですね）。
Aspect Ratioはつくる漫画に合わせて縦長/横長を選んでいきましょう。
ネガティブプロンプトにはNSFWを加えておくといいかもしれません。

最後に右下の「保存」を押すのを忘れずに！

8.「公開」

最後に右上の「公開」→「保存/更新」をして「アプリを実行」してみましょう。

これで、Difyユーザーに限らず単体のアプリとして起動するURLが発行されます。

スマホでも快適動作するレスポンシブ対応です。

電車の中で、フッと思いついたネタを壁打ちしてもらえるのに便利ですね！

注意：一般公開する場合は不特定多数の方に利用される可能性があります。
Difyダッシュボード内で全ての利用状況は把握できますが、APIキーの管理などに不安がある方は、仲間内だけでの公開がよいかもしれません。

AICU media 編集部での使い方

以上が「10分でつくった漫画ジェネレーターSAI」です。
4コマ漫画や起承転結スタイルだけでなく、工夫次第でもっと長いストーリー漫画にも活用できます。

より実用的な Difyによる漫画ジェネレーターの使い方も紹介しておきます。

基本は「フランスでオリンピックが始まるんだって」、「米国株安かと思ったら今度は円高かよ」といった「雑な1行」から、最新の話題を踏まえた漫画原作と絵コンテ制作を手伝ってもらえるツールを使っています。

上記のサンプルと異なる点は、

・キャラクターの設定：名前や性格、ロールや口癖、そしてStability AIのAPIで描画できるプロンプトを具体的に記述していきます。
・画風の設定：プロンプトで設定する画風について
・起承転結の役割：単に「起承転結」といっても、それぞれのコマで行うべき行動、描写、表現、見せ方は作家や対象の読者によって異なります。

このあたりをしっかりと記述しています。

ツールの設定をプロンプト側で上書きしていくこともできますが、プロンプトが長くなっていくと制御性が落ちていくので、決まったことはツールの設定に入れていきましょう。

もっと細かいことをやりたい場合は、Dify作成のツールではなく、自分でリクエストするツールを作ったほうがいいかもしれません。

「これが勝ち筋」というところまでできたらまた紹介するかもしれませんが、今回はギャラリーと、実際に遊べるURLを期間限定で公開します。

ギャラリー

画風を探求していくとこれぐらいの絵も一発で生成できるようになります。
このツールの中で探求させる方向性もありですね！

Core や Stable Diffusion 3 の画風の違いはこちらの記事をご参照ください！

コンテストに応募してみよう

現在、AICUでは
「AICU Summer Art Contest 2024」
と題した、画像生成コンテストが行われています！

募集部門は全部で3つ

応募方法

応募締め切り

上にある通り、応募締め切りは2024年7月28日23:59(日本時間/予定)まで！

ぜひチャレンジしてみてくださいね！

今回の記事を参考に応募できるジャンル

Stable Diffusion APIを用いているので、まずは3つ目の「#StableDiffusionAPI 部門」に応募できそうですね。

今回のブログのようにメイキングで技術紹介をしたり、ストーリーマンガ形式にしていただいてX(Twitter)上で作品として紹介して頂く方法も可能です。

応募した方は、X上のポストだけでなくエントリーフォームの提出もお忘れなく！

漫画の作画については…？

書籍「画像生成AI Stable Diffusionスタートガイド」をおすすめします！

過去の関連記事やイベントについてはこちら

漫画を発表する場所がほしい…

「生成AIを使った漫画」だと思われると攻撃されるのでは…とご心配の方もいらっしゃるかもしれません。「何を使った」を表明することは必須ではないと思います。上記のAICUのアートコンテスト他には、AIを使った漫画に特化したAI漫画投稿プラットフォーム「IDEYO!!」もあります。

ちょうど7月31日までのお題「部活」も開催中とのこと

AICU編集部からもエントリーしてみようかな？？

いますぐ遊べるURL

最後に、Stability AI と AICU のご厚意で、いますぐ遊べるURLも紹介しておきます！
（管理上、期間限定になるかもしれません）

❏「10分で作った漫画ジェネレーターSAI」
https://j.aicu.ai/MGS10