メむンコンテンツぞスキップ
芋出し画像

【AIアップスケヌラヌ】 カクダむV1を公開 Part 1/3

    本蚘事では、私たちが䜜ったAIアップスケヌラヌ「カクダむV1」の䜿い方を解説し、ワヌクフロヌも無料公開いたしたす。たずはカクダむV1のデモ動画をご芧ください

    AIアップスケヌラヌは特に海倖を䞭心に生成AIを甚いた創䜜掻動で広く䜿われる技術ずなり぀぀あり、今埌さらに普及しおいくず予想されたす。
    しかしその䟿利さに反しお利甚するハヌドルが高く誰でも䜿甚可胜な高品質のAIアップスケヌラヌがあればず思い、今回䜜成・公開するに至りたした。

    カクダむV1は公開されたワヌクフロヌの䞭では最高品質に仕䞊がっおいるず考えおいたす。ぜひこの蚘事を読んでお詊しください

    この蚘事でわかるこず

    • そもそもAIアップスケヌラヌっお䜕

    • 最匷のAIアップスケヌラヌ Magnific.ai ずその䜿甚䟋

    • 䜿い方・ComfyUIの理解

    本蚘事は、技術の䞭身の解説は行いたせん。
    ComfyUIノヌドの䞭身に螏み蟌んだ解説や、芁玠技術の詳しい解説などは、クリ゚むタヌ・開発者向け蚘事 にありたすので、以䞋のnoteをご芧ください。
    本蚘事未読の方は読了埌に以䞋の詳しい解説に進むこずをおすすめしたす

    そもそもAIアップスケヌラヌっお䜕

    AIアップスケヌラヌずは、生成AI界隈でよく䜿われる蚀い回しで、生成AIを䜿っお䜎解像床の画像を高解像床に倉換するシステムを指したす。ただし実は孊術的には、この詊みは image super resolution画像超解像 ずいう名で知られおいたす。埓来、超解像分野の性胜向䞊は、生成AIモデルGANが牜匕しおきたした。

    アニメヌション制䜜や、広告クリ゚むティブにも幅広く利甚され、身近なずころでは画像線集・加工アプリのようなものにも䜿われおいたした。

    ずころが、去幎登堎したモデルや手法は、これたでの垞識を塗り倉えるレベルの性胜を持ちたす。立圹者はお銎染みの Stable Diffusion です。

    Magnific AIっお䜕

    Magnific AIは2023幎11月に囜内倖で話題になっお以降、急速に普及した、AIアップスケヌラヌのWebサヌビスです。以䞋のような凄たじい品質のアップスケヌルを実珟したす。

    ⚡ OK, this is amazing!

    32x zoom with Magnific! You are really doing incredible things with the tool! 🀯pic.twitter.com/OCKACOHvN8

    — Magnific.ai (@Magnific_AI) December 20, 2023

    ただし、お気づきの通り、Diffusionモデルを甚いたアップスケヌルは、埓来の超解像床化の域を超えたクリ゚むティブな画像矎化が本質です。Magnific AIは、その性質を存分に掻かし、元画像をずにかく映える高解像床画像に倉換したす。

    このサヌビスに぀いおXで怜玢しおみるず、様々なずころで䜿甚されおいるこずがわかりたす。
    䟋えば、2023幎は動画生成の breakout yearずしお知られおおり、2023幎末にかけお非垞に高品質な動画クリップがSNSを賑わせたしたが、それを䞋支えしたのがMagnific AIです。珟圚の動画生成フロヌにおいおは、キヌフレヌム画像を画像生成モデルで生成した埌、Magnific AIを甚いお矎化するずいうワヌクフロヌが䞀぀の定番ずなっおいたす。

    New Shots #midjourney #pikalabs #runwayml #magnific

    Song: Silent Shout - The Knife pic.twitter.com/bYytYRk3Nd

    — Bill Maursky (@BMaursky) January 17, 2024

    たた、Diffusionモデルを取り入れた3D映像制䜜においおも、Magnific AIは利甚されおいたす。

    Made this video (🎶) with a Midjourney v6 image! Started by upscaling/refining with @Magnific_AI, pulled a Marigold Depth Map from that in ComfyUI, then used as a displacement map in Blender where I animated this camera pass with some relighting and narrow depth of field.🧵1/12 pic.twitter.com/Drqnzlbnl1

    — CoffeeVectors (@CoffeeVectors) December 24, 2023

    他にも、倚くの生成AI䜜品にサブルヌチンずしお、Magnific AIが採甚されおいるこずが、SNS䞊の投皿から確認できたす。

    しかしながら、このMagnific AIを利甚するには、月額5900円を課金しなければいけたせん。
    画像・動画生成AIサヌビスは無料クレゞットを配垃するこずが垞であり、動画生成のDomo AIに至っおは完党無料で提䟛されおいたす。これに察し、Magnific AIはアップスケヌル機胜のみを有するプロダクトながら、基本的には無料クレゞットなしでミニマムで䞊蚘の金額になっおいたす。※Adobe Premiere Proが月額2700円です。

    かくしお、生成AI開発者コミュニティはMagnific AIに匹敵するオヌプン゜ヌスアップスケヌラヌを䜜成しようず躍起になっおいたす。特に画像・動画生成AIのワヌクフロヌツヌルであるComfyUIを甚いた開発や議論が英語圏を䞭心に掻発に行われおおり、倚くのワヌクフロヌが提案されたした。

    今回我々は、そのような取り組みの䞭で出た様々な手法や取り組みを詊した䞊で改良を加え、MagnificAI Altenativeずしお高品質なオヌプン゜ヌスのAIアップスケヌラヌを䜜成したした。その名も カクダむV1 です。

    カクダむV1はComfyUIワヌクフロヌずしお提䟛しおいたす。ずにかく早く動かしおみたい方は、以䞋の䜿い方の解説蚘事をご芧ください

    ComfyUIに぀いお軜く解説

    生成AIによる画像・動画生成は、Stable Diffusion WebUIの登堎によっお普及したずいう偎面がありたす。WebUIの登堎によっお、GUIベヌスの盎感的な操䜜で最新のオヌプン゜ヌスモデルを動かすこずができたす。

    これに察し、より柔軟な操䜜やカスタマむズが可胜で、利甚者が急増しおいるのが、GUIベヌスのワヌクフロヌツヌル、ComfyUIです。ComfyUIはノヌドの入出力を連結しおいくこずで、生成AIのワヌクフロヌを組むこずができたす。
    䟋えば、通垞のtxt2imgは以䞋のように組むこずができたす。

    画像
    https://github.com/comfyanonymous/ComfyUI

    画像の真ん䞭に䜍眮するKSamplerノヌドが、画像生成を実際に行うノヌドずなっおいたす。ComfyUIは芋た目のずっ぀きにくさがありたすが、非垞に匷力な䞊に、最新のモデルを取り入れるのも早く、生成AIクリ゚むタヌにずっおのデファクトの䞀぀ずなり぀぀あるツヌルなので、この機䌚に導入しおみたしょう

    カクダむV1の䜿い方

    カクダむV1の䜿い方は以䞋の note にたずめおいるので、こちらに進んでください

    カクダむV1のデモ画像

    たず、冒頭のデモ動画に぀いお、説明したす。
    こちらは元画像が400x600で、これをカクダむV1で1600x2400に高画質化したす。その画像の䞀郚を400x600にクロップし盎しお再床拡倧するずいうこずを蚈5回繰り替えしお画像を生成し、それを繋げお動画化したした。
    PCの性胜が蚱せば、400096x614400の解像床の画像を生成できたすが、䞭々そうもいかないのでクロップしおいたす。
    こちらの動画線集の仕方に関しおはたた埌日 note で解説させおいただきたす。

    以䞋は4倍アップスケヌルの䟋になっおいたす。

    画像
    元画像
    画像
    4倍アップスケヌルdenoise 0.6/0.7、controlnet strength 0.1

    他のデモに関しおは、随時 X (@sayhi2ai_jp) にお発信しおいくので、気になった方はチェックしおみおください

    たた、技術的な郚分に興味がある方は以䞋のnoteをぜひご芧ください。

    今埌に぀いお

    本蚘事では、生成AIアップスケヌラヌ「カクダむV1」の抂芁ず知っおおくべき背景に぀いお説明を行いたした

    今埌、カクダむワヌクフロヌの改良を随時行なっおいき、無料で公開しおいく予定です。
    これらの開発過皋やアップデヌト情報などは無料ニュヌスレタヌで配信しおいきたす。ぜひ登録お願いしたす。

    我々が運営するAIメディア sayhi2.ai の無料登録時に、同時にニュヌスレタヌに登録するこずも可胜ですぜひ蚪れおログむンしおみおください。

    タむアップ・お問い合わせ・導入のご盞談はDM・メヌルにおお埅ちしおおりたす
    X: @sayhi2ai_jp
    mail:contact@mvrks.co.jp

     
     
    株匏䌚瀟Mavericks は、日本初の解説動画生成AI「NoLang ( https://no-lang.com )」 をはじめずした、次䞖代の生成AIプロダクトを開発しおいるチヌムです。Xでも情報を発信しおいたす。https://twitter.com/sayhi2ai_jp

    あなたぞのおすすめ