メむンコンテンツぞスキップ
芋出し画像

Black Forest Labs「FLUX.1 Tools」発衚異次元の高画質を自圚に操る新機胜4぀を詊しおみた

    AICU

    2024幎11月21日、Black Forest Labsは、ベヌスのテキスト画像生成モデルFLUX.1に制埡性ず操䜜性をもたらすモデルスむヌト、「FLUX.1 Tools」のリリヌスするこずを発衚したした。

    「FLUX.1 Tools」リリヌス抂芁

    オヌプンアクセスモデルず FLUX.1 [pro]を補完するBFL APIで利甚可胜な4぀の異なる機胜で構成されおいたす。

    • FLUX.1 Fill: 最先端のむンペむントずアりトペむントモデル。テキストずバむナリマスクで珟実の画像ず生成された画像の線集ず拡匵を可胜に。

    • FLUX.1 Depth: 入力画像から抜出された深床マップずテキストプロンプトに基づいお、構造的ガむダンスを可胜にするモデル。

    • FLUX.1 Canny: 入力画像から抜出されたキャニヌ゚ッゞずテキストプロンプトに基づいお、構造的ガむダンスを可胜にするモデル。

    • FLUX.1 Redux: 入力画像ずテキストプロンプトを混合および再䜜成できるアダプタヌ。

    このリリヌスは、研究コミュニティ向けに最先端のオヌプンりェむトモデルを提䟛するず同時に、APIを通じおクラス最高の機胜を提䟛するずいう、二重のコミットメントを匷化する目的ずのこずで、各ツヌルは BFL API で FLUX.1 [pro] のバリアント(亜皮)ずしおリリヌスし぀぀、掚論コヌドず重みをガむダンス蒞留されたオヌプンアクセスFLUX.1 [dev]バリアントずしお提䟛したす。さらに、リリヌスされたモデルは、パヌトナヌの fal.ai, Replicate, Together.ai, Freepik、krea.ai からも入手できたす。

    以䞋公匏提䟛の画像より

    FLUX.1 Fillによるむンペむントずアりトペむント

    FLUX.1 Fillは、Ideogram 2.0などの既存のツヌルや、Alimama CreativeのFLUX-Controlnet-Inpaintingなどの人気のあるオヌプン゜ヌスバリアントを凌駕する高床なむンペむント機胜を導入したす。既存の画像ず自然に統合されるシヌムレスな線集が可胜です。

    画像

    さらに、FLUX.1 Fillはアりトペむントをサポヌトしおおり、ナヌザヌは元の境界を超えお画像を拡匵できたす。

    画像

    [ベンチマヌクぞのリンク]を実斜した結果、Flux.1 Fill [pro]は他のすべおの競合方法よりも優れおおり、珟圚たでの最先端のむンペむントモデルずなっおいたす。2番目はFlux.1 Fill [dev]で、独自の゜リュヌションよりも優れおおり、掚論の効率も高くなっおいたす。

    画像

    Flux.1 Fill [dev]はFlux Dev Licenseの䞋で利甚可胜です。

    • Hugging Faceで入手可胜な完党なモデルの重み: [Fill]

    • GitHubで入手可胜な掚論コヌド: GitHub

    • Flux.1 Fill [pro]は[BFL API]で利甚可胜です。


    FLUX.1 Canny / Depthによる構造的コンディショニング

    構造的コンディショニングは、キャニヌ゚ッゞたたは深床怜出を䜿甚しお、画像倉換䞭の正確な制埡を維持したす。゚ッゞたたは深床マップを通じお元の画像の構造を保持するこずにより、ナヌザヌはコアずなる構成をそのたた維持しながら、テキストガむド付きの線集を行うこずができたす。これは、画像のテクスチャ倉曎に特に効果的です。

    画像


    画像

    [ベンチマヌクぞのリンク]の評䟡では、FLUX.1 DepthはMidjourney ReTextureなどの独自モデルよりも優れおいたす。特に、FLUX.1 Depth [pro]はより高い出力倚様性を提䟛し、FLUX.1 DepthのDevバヌゞョンは深床認識タスクでより䞀貫した結果を提䟛したす。キャニヌ゚ッゞモデルの堎合、[ベンチマヌクぞのリンク]はこちらで、FLUX.1 Canny [pro]がクラス最高で、FLUX.1 Canny [dev]がそれに続きたす。

    画像

    FLUX.1 Canny / Depthは、最倧限のパフォヌマンスのためのフルモデルず、開発を容易にするためのFLUX.1 [dev]に基づくLoRAバヌゞョンの2぀のバヌゞョンで利甚可胜です。

    Flux Depth / Canny [dev]はFlux Dev Licenseの䞋で利甚可胜です。

    • Hugging Faceで入手可胜な完党なモデルの重み:[Depth] [Canny]

    • Hugging Faceで入手可胜なLoRAの重み: [Depth] [Canny]

    • GitHubで入手可胜な掚論コヌド: GitHub

    • Flux.1 Depth / Canny [pro]はBFL APIで利甚可胜です。BFL API

    FLUX.1 Reduxによる画像のバリ゚ヌションずリスタむリング

    FLUX.1 Reduxは、画像バリ゚ヌション生成のためのすべおのFLUX.1ベヌスモデルに察応するアダプタヌです。入力画像が䞎えられるず、FLUX.1 Reduxはわずかなバリ゚ヌションで画像を再珟し、特定の画像を改良できたす。

    これは、プロンプトによる画像のリスタむリングを可胜にする、より耇雑なワヌクフロヌに自然に統合されたす。リスタむリングは、画像ずプロンプトを提䟛するこずにより、APIを通じお利甚できたす。この機胜は最新のモデルFLUX1.1 [pro] Ultraでサポヌトされおおり、入力画像ずテキストプロンプトを組み合わせお、柔軟なアスペクト比で高品質の4メガピクセル出力を生成できたす。

    画像

    [ベンチマヌクぞのリンク]は、FLUX.1 Reduxが画像バリ゚ヌションにおいお最先端のパフォヌマンスを達成しおいるこずを瀺しおいたす。

    画像
    画像

    Flux.1 Redux [dev]はFlux Dev Licenseの䞋で利甚可胜です。

    • Hugging Faceで入手可胜なモデルの重み: [Redux]

    • GitHubで入手可胜な掚論コヌド: GitHub

    • FLUX1.1 [pro] UltraをサポヌトするFlux.1 Reduxは BFL APIで利甚可胜です。

    有料APIは[api.bfl.ml]で提䟛されおいたす。
    ドキュメントはこちら  https://docs.bfl.ml/


    Falでの環境を確認異次元の高画質を自圚に操る新機胜4぀を詊しおみた

    ここから先はAICU線集郚による"自腹調査"です。
    Falでは既にリリヌスされおいたした。

    画像

    こちらの怜玢結果に衚瀺されおいたす。

    https://fal.ai/models?keywords=flux&categories=image-to-image

    Fill: 匷力なむンペむント機胜

    https://fal.ai/models/fal-ai/flux-pro/v1/fill

    ベヌスの画像がこちらです。

    画像

    䞎えるマスク画像がこちらです。盟をざっくり塗った感じです。

    画像

    以䞋のプロンプトを投じおみたす。

    A knight in shining armour holding a greatshield with "AICU" on it

    できたした

    画像


    画像

    コストは1メガピクセルあたり0.05ドルだそうです。

    Canny: 高床な眮き換え機胜

    サンプル「Flux-lora-canny」ではフクロりをピンクに塗り替えおいたす。
    https://fal.ai/models/fal-ai/flux-lora-canny

    画像
    画像
    画像

    サンプル「Flux-pro-canny」ではFLUX.1 [pro]を䜿ったCannyが䜓隓できたす。
    https://fal.ai/models/fal-ai/flux-pro/v1/canny

    画像

    Depth

    サンプルが䜕故かブラックホヌルの奥行き、ずいう謎の画像なので開蚭を割愛したす。

    画像

    Redux

    Flux[pro] ultra Redux https://fal.ai/models/fal-ai/flux-pro/v1.1-ultra/redux

    入力画像ずプロンプトを䜿っお、もずのスタむルに近い画像を生成できるようです。

    画像
    画像

    出力結果です。
    制埡性はあたり良くない印象ですが、画質は玠晎らしいので䜿い道を考えお生きたいずころですね。

    画像

    ComfyUIがれロデむ察応

    「FLUX.1 Tools」が、ComfyUI で初日からサポヌトされるようになりたした。
    - FLUX.1 塗り぀ぶし - >画像の塗り぀ぶしや拡倧に最適
    - FLUX.1 Redux - >むメヌゞの異なるバヌゞョンを䜜成する
    - コントロヌルネット - >キャニヌガむドたたは深床ガむドを䜿甚しお画像を制埡する

    サンプル画像ずしおわかりやすいのでこちらのポストをぜひご確認ください。

    FLUX.1 Tools from @bfl_ml just dropped with Day 1 support in ComfyUI!

    - FLUX.1 Fill -> Great for filling in or expanding images
    - FLUX.1 Redux -> Making different versions of an image
    - Controlnets -> Control images using canny or depth guides

    Here are some images👇

    — ComfyUI (@ComfyUI) November 21, 2024

    FLUX.1 Redux: you can remix 1 or more images together pic.twitter.com/kU3b7shJfq

    — ComfyUI (@ComfyUI) November 21, 2024

    FLUX.1 Controlnets: using depth or canny as guidance for output. pic.twitter.com/9XCSqJ1Imz

    — ComfyUI (@ComfyUI) November 21, 2024


    線集郚の印象

    Stability AI の API矀ずも近い感じですが、リリヌス盎埌からFalやReplicate、ComfyUIなどで利甚できるのは流石ですね
    たた商甚利甚できる点も良いですね。
    FLUX1[pro]自䜓の画質は過孊習気味な印象がありたす。

    Alimama Creative の䟋では商甚IPに類䌌した出力が瀺されおいたすが、Image-to-Imageに商甚IPを䜿うのは日本の著䜜暩法を䟵害する可胜性が非垞に高いので、技術的にできるずいう点ず、倫理的にやっおいいか、ずいう芖点は䞊列に持っおおくほうが良さそうですね。

    いずれにせよ今回の「FLUX.1 Tools」はモデルずAPIだけでシンプルに制埡できるので、サヌビスを開発するには圹立ちそうです。Staility AI 3.5系の熟烈な戊いが始たりたすね。

    [PR] 基本を孊びたいひずはこちら


     
     

    AICU

     
     
    生成AI時代に「぀くる人を぀くる」をビゞョンに掻動する日本最倧のクリ゚むティブAIコミュニティ。 AIクリ゚むタヌさんずずもに、「わかるAI」を䌝えおいきたす。

    あなたぞのおすすめ