How to build whl of flash-attention for Windows (※Uploaded whl for Python 3.13-3.14)

GJL

2025年5月1日 16:19

2026年10月30日、pytorch2.15.0+cu134、及び私が独自に改良したv2.9.2.post2前提の記述に更新し、Python3.14用whlも公開しました。

序

従前、いくつかの記事でリンクを貼ってきましたが、基本的に私が使用するflash-attentionのWindows用whlは以下から入手してきた訳ですが、

前述したように、2026年10月30日時点で最新のPytorch 2.15.0+cu134用のwhlは公開されていません。

ただ、x上で自力でWindows用whlを作成した…という方がいて、上のサイトをよく見ると、ビルド用のバッチファイルが公開されているのですね。

そこで、私も自力でBuildしてみようと思い立った…訳ですが、簡単かと思いきや何気に色々難しく、ここはManus先生の力を借りる事にしました。

OpenAIとGoogle GeminiのDeep ResearchとCursor先生では、ここまでのタスク遂行は無理でした。

Deep Researchはプロンプト次第で正しい手順迄提示してくれたかもしれませんが、やはりこのレベルのタスク遂行になると、Manusのミッション遂行能力は頭一つ抜けています。

遺憾ながら、聊かコストがお高いのですがね。

ちなみに、最初はもうManusにwhlを作ってもらおうと思ったのですが、ManusはLinuxベースの動作しか出来ないようで、WindowsベースのPythonコード実行は出来ないようです。

逆に言えば、Linuxベースで各種AIを動作させているユーザーにとっては超強力なツールとなりうる理屈ですが、遺憾ながら私はWindowsユーザーですから、是非もありません。

ともあれ、ManusはWindowsベースでの手順書は作成してくれました。

これは本来、Google GeminiやOpenAIのDeep Researchでも出来る筈なのですが、残念ながらGoogleとOpenAIが作成した解説書では成功しませんでした。比較すると、いくつか重要な記述が抜けているのですよ。

その観点からも、Manusは優れていましたね。

Flash Attention-2 v2.9.2.post2 Windows Wheel ビルド手順書 (venv 使用)

このドキュメントは、Windowsマシン上で flash-attention Pythonパッケージ（バージョン v2.9.2.post2）をホイールファイル（.whl）としてビルドするためのステップバイステップの手順を提供します。このビルドは、Python 3.14 および CUDA 13.4 サポート付きの PyTorch 2.15.0+cu134 を対象としています。

免責事項: Windows上での flash-attention のビルドは複雑であり、特定のバージョンの開発ツールに依存します。これらの手順は、公式リポジトリおよびコミュニティリソースからの情報に基づいています。成功は、お使いの特定のシステム構成によって異なる場合があります。

1. 前提条件

お使いのWindowsシステムに以下のソフトウェアが正しくインストールされ、設定されていることを確認してください。

Windows OS: Windows 10 または 11 (64ビット)。
NVIDIA GPU: FlashAttention-2と互換性のあるNVIDIA GPU（Ampere、Ada、またはHopperアーキテクチャ、例: RTX 30xx、RTX 40xx、A100、H100）が必要です。
NVIDIA CUDA Toolkit: Pytorch 2.15.0+cu134に合わせてCUDA13.4.xをインストールしてください。NVIDIA CUDA Toolkit Archive からダウンロードできます。インストール後、CUDAのインストールパスがシステムのPATH環境変数に追加されていることを確認してください。
Microsoft Visual Studio: Visual Studio 2022 が推奨されます。「C++によるデスクトップ開発」 ワークロードをインストールし、最新のMSVC v143（またはv142）ビルドツールとWindows SDKを含めてください。Visual Studio website からCommunityエディションをダウンロードできます。
Git for Windows: ソースコードリポジトリのクローンに必要です。git-scm.com からダウンロードしてください。
Python: Python 3.14 (64ビット) をインストールしてください。python.org からダウンロードできます。インストール中にPythonとpipがシステムのPATHに追加されていることを確認してください。

2. How to build

x64 Native Tools Command Prompt for VS2022を管理者権限で起動し、ルートを作業フォルダに移動した後、まず仮想環境を構築します。以下は、Python3.14.xの場合です。

REM Python 3.14で新しい仮想環境を作成
C:\Users\ユーザー名\AppData\Local\Programs\Python\Python314\python.exe -m venv venv

アクティベートを行います。

REM 新しい仮想環境をアクティベート
venv\Scripts\activate

Pytorchをインストールします。当然、Pytorchのバージョン次第で、以下構文は変わります。現状最新のPytorch2.9.2.post2+cu134に合わせた構文です。

REM PyTorchとCUDA 13.4対応版をインストール
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu134

必要なライブラリーをインストールします。この時、pip自体の更新も必要な場合がありますので、画面の指示に従ってください。

pip install ninja packaging

Python仮想環境とWindowsグローバル環境にインストールされたPytorchのバージョンが、一致しているか確認します。

python -c "import torch; print(f'PyTorch version: {torch.__version__}') ; print(f'CUDA available: {torch.cuda.is_available()}'); print(f'CUDA version: {torch.version.cuda}')"

Git Bash またはコマンドプロンプトを開き、実行します:

git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
git submodule update --init --recursive

ビルドスクリプトのダウンロード: WindowsWhlBuilder_cuda.bat スクリプトをダウンロードします。このスクリプトは、Windowsビルドに焦点を当てたコミュニティリポジトリで提供されています:
- アクセス先: https://huggingface.co/lldacing/flash-attention-windows-wheel/tree/main
- WindowsWhlBuilder_cuda.bat ファイルを見つけます。
- それをクリックし、「Download」ボタンをクリックします。
- この .bat ファイルを、先ほどクローンした flash-attention ディレクトリ直下に保存します。
- 並列処理数の調整 (任意): コンパイル中にメモリの問題が発生した場合や、CPU使用率を制限したい場合は、テキストエディタで WindowsWhlBuilder_cuda.bat を編集できます。set MAX_JOBS=... という行を見つけ（デフォルトで高い数値になっているか、存在しない場合があります）、より低い値に変更します。例: set MAX_JOBS=4。

バッチスクリプトを実行します:

WindowsWhlBuilder_cuda.bat

3. 出力

ビルドが成功した場合、コンパイルされたwhlファイルは、flash-attentionフォルダ内に新しく作成された dist サブディレクトリに配置されます。

4. インストール

ホイールがビルドされたら、pipを使用してインストールできます（仮想環境がまだアクティブであることを確認してください）:

pip install "whlファイルのパス"

5. トラブルシューティング

ビルドエラー: ほとんどのエラーは、CUDA Toolkit、Visual Studio C++ツール、またはPyTorchのバージョンやパスが正しくないことに関連しています。すべての前提条件とPATH設定を再確認してください。
メモリ不足: メモリ制限によりビルドが失敗した場合は、.bat スクリプトで MAX_JOBS を設定して並列ジョブの数を減らしてください。
nvcc が見つからない: CUDA Toolkitの bin ディレクトリがシステムのPATHに正しく追加されていることを確認してください。
Visual Studio エラー: 「C++によるデスクトップ開発」ワークロードが完全にインストールされていることを確認してください。
GitHub Issues の確認: flash-attention GitHub Issues で同様の問題を検索してください。

ビルドの成功をお祈りしています

Result

んで、Maxjobs=1では８時間以上かかりますが、完成しました。Python3.13から3.14用のWindows版です。以下からダウンロードしてください。