GitHub Copilotの「画面操作」とは？APIのない古い業務ソフトもAIが操作する時代、会社で使う前に決めること【2026年10月版】
「この業務ソフトは古くて、AIとつなげられないんです」
AIの導入相談で、よく聞く言葉です。社内の基幹システムや、20年前から使っている受発注ソフト。外からデータを出し入れする仕組みがないため、結局は人が画面を見て、手で転記しています。
この「つなげられない」という壁を、別の方向から越えようとする機能が出てきました。
2026年10月1日、GitHubは、GitHub Copilotがパソコンのアプリを人と同じように操作する機能を、公開プレビュー（正式版の前の試験提供）として出しました。画面を読み、ボタンを押し、文字を入力します。
先に結論を書きます。
この機能は、つなぐ仕組みのない古いソフトでも、AIに操作を任せられる可能性を開きます。ただし、画面に映るものはすべてAIに見え、間違ったボタンを押すこともあります。 会社で使うなら、「どのアプリを任せるか」「誰が承認するか」「止める設定をどうするか」を先に決める必要があります。
この記事では、機能の中身、向く仕事と向かない仕事、情シス（社内のIT管理部門）が先に決めておくことを整理します。
この記事の要点
✅ GitHub Copilotが、MacとWindowsのアプリを画面から操作できるようになりました（10月1日から公開プレビュー、初期状態はオフ）
✅ APIのない古い業務ソフトの操作も任せられる一方、画面に映る情報はAIに見え、誤操作も起こり得ます
✅ 会社では「任せるアプリ」「常に許可を使うか」「管理者が一括で止めるか」を先に決めてから試すのが安全です
GitHub Copilotの「画面操作」とは？
GitHub Copilotの画面操作（英語ではcomputer use）は、AIがパソコン上のアプリを人と同じように操作する機能です。画面の内容を読み取り、ボタンのクリック、文字の入力、スクロール、アプリをまたいだ移動を行います。2026年10月1日に公開プレビューとして始まり、MacとWindowsのCopilot CLIとCopilotアプリで使えます。
GitHub Copilotは、もともとプログラムを書く人のためのAIです。そこに今回、プログラムの外にある、ふつうのアプリを操作する力が加わりました。
使える場所は2つです。
Copilot CLI：黒い画面（ターミナル）で、文字を打ってAIに指示する道具
GitHub Copilotアプリ：Mac・Windows・Linuxで動くデスクトップアプリ（画面操作はMacとWindowsのみ）
AIが画面を読む方法は2つあります。1つ目は、OSに備わった「アクセシビリティ」の仕組みで、ボタンや入力欄の名前を文字として読む方法です。2つ目は、画面のスクリーンショットを撮って、見た目から判断する方法です。AIは、指示の内容に合わせてこの2つを使い分けます。
何ができるようになったのか
GitHubが例に挙げているのは、次のような仕事です。
古い業務ソフトに表示された情報を読んで、要約する
プレゼン資料を更新する
データを入力する
あるアプリの情報を、別のアプリへ移す
発表の動画では、ブラウザ（Safari）で経費精算を進める様子が紹介されました。
ポイントは、API（システム同士をつなぐ窓口）やコマンドがないソフトでも、画面さえあれば操作できることです。これまでAIを組み込めなかった古いソフトにも、手が届くようになります。
使い始める方法
画面操作は、初期状態ではオフになっています。使う人が自分でオンにする必要があります。
Copilot CLIでは、次のコマンドでオン・オフを切り替えます。
/computer on/computer show/computer off1行目でオン、2行目で今の状態を確認、3行目でオフです。Copilotアプリでは、設定画面の「Computer Use」から切り替えます。
Macでは、OSの「アクセシビリティ」と「画面収録」の2つの許可が必要です。アプリが手順を案内してくれます。
RPAやAPI連携と、何が違う？
画面操作は、RPA（決まった手順を記録して繰り返すロボット）に近い仕事をしますが、手順を細かく作り込まなくても、言葉の指示で動く点が違います。一方で、毎回同じ結果になる保証はなく、画面の変化にも弱いです。正確さが必要な処理はAPI連携、決まった手順の繰り返しはRPA、手順が少しずつ変わる操作は画面操作、と分けて考えます。
業務の自動化には、すでにいくつかの方法があります。違いを並べると、画面操作の立ち位置がはっきりします。
表のとおり、画面操作はAPIやRPAの代わりではなく、その隙間を埋める道具です。
GitHub自身も、決まった形の結果がほしいときは、API、MCP（AIと外部のツールをつなぐ共通の仕組み）、コマンドを優先するよう勧めています。画面操作は、ほかに方法がない仕事のための選択肢と考えてください。
AI・RPA・人の役割分担については、AI・RPA・人間はどう役割分担すべきかで詳しく整理しています。
どんな仕事に向いて、どんな仕事に向かない？
向いているのは、件数はそれほど多くないものの、毎回少しずつ手順が違い、間違えても人が確認して直せる仕事です。古いソフトからの情報の書き出しや、資料の更新などです。向かないのは、お金や個人情報を動かす仕事、取り消しのできない操作、毎回まったく同じ結果が必要な大量処理です。
GitHubのドキュメントには、画面操作が苦手な場面がはっきり書かれています。
ソフトのバージョン、OS、ウィンドウの状態によって画面の見た目が変わると、うまく動かないことがある
違うボタンを押したり、違う欄に文字を入れたりすることがある
特殊な部品や、動きのある複雑な画面では失敗しやすい
画面の表示の速さやウィンドウの状態で、結果が毎回変わることがある
これをふまえると、仕事の向き・不向きは次のように分けられます。
向く：古い業務ソフトの画面から情報を読み取って要約する、決まった資料の文言を更新する、件数の少ないデータを別のアプリに写す
慎重に：社内システムへのデータ入力（最後に人が確認する前提で）
向かない：送金・支払い・契約の確定、顧客への送信、データの削除、毎日数千件を処理する定型業務
1,000件を超える商談データを分析した傾向では、7.2%の商談で「kintoneなど既存システムとの連携」が話題に上がっていました。二重入力をなくしたいという悩みです。画面操作は、この悩みの新しい選択肢になり得ますが、最初は「読む」「要約する」仕事から始め、「書き込む」仕事は人の確認を挟むのが安全です。
会社で使うとき、何がリスクになる？
大きなリスクは3つです。画面に映っている情報がすべてAIに見えること、指示があいまいだったり画面に想定外の内容が出たりすると意図しない操作をすること、そして「常に許可」にしたアプリは以後の承認なしで操作されることです。GitHub自身が、個人・金融・企業のシステムに影響が及ぶ可能性を警告しています。
GitHubのドキュメントは、リスクについてかなり率直に書いています。要点を3つに分けて見ていきます。
1つ目：画面に映るものは、すべてAIに見える
画面操作では、開いているアプリのウィンドウの中身が、AIが判断するための材料になります。
顧客名簿、給与の画面、社内の機密資料。画面に映っていれば、AIにも見えます。 GitHubも、表示されている内容をAIと共有してよいアプリでだけ使うよう勧めています。
2つ目：あいまいな指示や想定外の画面で、意図しない操作をする
「この情報を入力しておいて」という指示でも、どの欄に、どの形式で入れるかがあいまいだと、AIは自分で判断して進めます。
GitHubは、あいまいな指示や画面上の想定外の内容によって、端末やデータ、つながっているアカウントに影響する操作が起こり得ると警告しています。その中には、個人・金融・企業のシステムへのアクセスも含まれるとしています。
AIエージェントが想定外の動きをした実際の事例は、AIエージェントの事故が相次ぐで紹介しています。
3つ目：「常に許可」にしたアプリは、承認なしで動く
AIがアプリを操作しようとすると、承認を求める画面が出ます。選べるのは次の3つです。
そのセッション（今回の作業）だけ許可する
常に許可する（次回以降も確認しない）
許可しない
便利なのは「常に許可」ですが、一度選ぶと、そのアプリへの以後の操作は承認なしで進みます。 しかもこの設定は、同じパソコンのCopilot CLIとCopilotアプリの両方に効きます。
あとから設定画面で「常に許可」を外すことはできますが、外しても、今動いているセッションの許可までは取り消されません。GitHubは、機密データのあるアプリや影響の大きい操作をするアプリでは、「常に許可」を使わないよう勧めています。
AIの画面操作について不安がある方や、どの業務から試すべきか迷っている方は、AIworkerのサービス資料も参考にしてください。業務の棚卸しから研修、運用の定着までの支援内容をまとめています。
▶️ AIworkerのサービス資料をダウンロードする
情シスは、何を先に決めておけばいい？
先に決めたいのは、使ってよい人と端末、任せてよいアプリ、「常に許可」を認めるかどうか、そして会社として一括で止めるかどうかです。GitHub Enterprise Cloudを使う会社では、管理者が企業管理設定で画面操作を一括で無効にでき、利用者の設定より優先されます。
この機能は開発者向けの道具ですが、情シスとして見逃せない点があります。
GitHub Copilotアプリは、2026年7月から無料プランを含むすべてのCopilotプランで使えるようになっています。 個人のGitHubアカウントでも入れられるため、開発者以外の社員が、会社のパソコンに入れて業務ソフトを操作させる可能性もゼロではありません。
管理者ができる設定
会社としての管理の手段は、次のとおりです。
企業管理設定は、管理用のリポジトリ（設定を置く保管場所）から配る方法、MDM（会社の端末をまとめて管理する仕組み）で配る方法、端末にファイルを置く方法があります。管理用のリポジトリから配った場合、利用者の画面には約1時間で反映されると案内されています。
管理者向けの細かい設定は、GitHubの公式ドキュメント「Enterprise-managed settings」を確認してください。ここから先は、試すときの手順の話に戻ります。
試す前の確認リスト
□ 画面操作を試してよい人（部署・役割）を決めた
□ 試すパソコンを決め、機密データの入ったアプリは開かない運用にした
□ 任せてよいアプリと、任せないアプリ（会計・人事・顧客管理など）を一覧にした
□ 「常に許可」を使うかどうかを決めた（迷うなら使わない）
□ 書き込みや送信の前に、人が確認する手順を決めた
□ 止め方（Stopボタン、またはEscキー）を利用者に伝えた
□ 会社として一括で無効にするか、一部だけ許可するかを決めた
□ 個人のGitHubアカウントでのCopilotアプリの利用について、社内ルールを確認した
商談分析では、25.1%の商談で「セキュリティへの不安」が課題に挙がっていました。画面操作は、その不安が最も具体的になる機能の1つです。禁止するか全面的に許すかの二択ではなく、試す範囲を狭く決めて始めるのが、現場の不安を減らす近道です。
ほかのAIの画面操作とは、どう違う？
AIがパソコンや画面を操作する機能は、ClaudeのComputer UseやMicrosoft 365 CopilotのResearcher with Computer Useなど、ほかのサービスにもあります。GitHub Copilotの特徴は、開発者が普段使うCLIとデスクトップアプリから、手元のMacやWindowsのアプリを直接操作する点です。どれを選ぶかより、任せる仕事と管理の方法を先に決めることが大切です。
似た機能は、ほかのサービスにもあります。
ClaudeのComputer Use：Claude Codeなどから、パソコンの操作をClaudeに任せる機能。詳しくはClaude Computer Useとは？で解説しています
Microsoft 365 CopilotのResearcher with Computer Use：調べものの途中で、AIがブラウザなどを操作する機能。詳しくはResearcher with Computer Useとは？をご覧ください
さらに、ChatGPTのdotsやCopilotのAutopilotのように、24時間動き続けるエージェントも出てきました。これらの比較は24時間動くAIエージェント比較で整理しています。
どのサービスにも共通するのは、AIが操作できる範囲が広がるほど、「何を任せないか」を決める重要性が上がるということです。
よくある質問（FAQ）
Q. プログラマーでなくても使えますか？
使うこと自体はできますが、今のところは開発者向けの道具です。Copilot CLIは文字で指示する黒い画面、Copilotアプリも開発の作業を中心に作られています。開発者以外の社員が業務で使う場合は、情シスと相談し、試す範囲を決めてからにしてください。
Q. 無料プランでも画面操作は使えますか？
Copilotアプリ自体は、無料プランを含むすべてのCopilotプランで使えます。ただし、画面操作は公開プレビューで、GitHubのドキュメントでは「自分のアカウントで有効になっている必要がある」とされています。設定画面に「Computer Use」が表示されない場合は、アカウントとOSが対象かを確認してください。
Q. Linuxでは使えますか？
Copilotアプリ自体はLinuxでも動きますが、画面操作の対象はMacとWindowsです（2026年10月7日時点）。
Q. AIが操作している途中で止められますか？
止められます。Stopボタンを押すか、Escキーを押すと、実行中の操作を中断できます。画面操作そのものを止めたい場合は、設定画面でオフにするか、CLIで「/computer off」を実行します。
Q. RPAはもういらなくなりますか？
すぐにはなくなりません。画面操作は、毎回同じ結果になる保証がなく、画面の変化にも弱いためです。手順が固まった大量の定型処理はRPAやAPI連携、手順が都度変わる少量の操作は画面操作、と使い分けるのが現実的です。
Q. 会社で一括して禁止できますか？
GitHub Enterprise Cloudの企業管理設定で、画面操作を一括で無効にできます。この設定は、利用者の端末側の設定では上書きできません。BusinessとEnterpriseでは、Copilot CLIのポリシーをオフにするとCopilotアプリ自体が使えなくなりますが、開発の仕事全体に影響する点に注意してください。
「つなげられないソフト」を、AIでどう扱うか｜AIworkerの支援
APIのない古いソフトをAIで扱えるようになっても、すぐにすべてを任せられるわけではありません。どの操作を任せ、どこで人が確認し、何を任せないのか。その線引きができて初めて、画面操作は現場で役に立つ道具になります。
AIworkerは、業務の棚卸しから、AIに任せる範囲の設計、研修、現場での定着、業務に合わせたAIの構築までを支援しています。ツールを配って終わりにせず、現場に入って一緒に回し、6か月後に「任せ方の判断基準」が社内に残っている状態を目指しています。
AIネイティブX研修｜任せてよい仕事を見極める力をつける
受講者の実際の業務を題材に、どの操作をAIに任せ、どこで人が確認するかを手を動かして決めていきます。AIエージェントや画面操作の基本、誤操作や情報の見え方のリスク、承認の考え方もあわせて扱います。研修後には、部署ごとの「任せる・確認する・任せない」の一覧が残ります。
AIネイティブX伴走｜画面操作やエージェントの運用ルールを現場で整える
現場に入り、どのアプリでAIの操作を許し、どの仕事は人が行うかを、実際の業務を見ながら一緒に決めます。情シスと現場の間に立ち、試す範囲の設計から、承認の手順、新しい機能が出たときの評価の流れまで整えます。
業務AIプロ｜古いシステムを含めた業務の自動化を設計する
APIで連携できる部分、RPAで回す部分、AIの画面操作や人の判断が必要な部分を切り分け、業務全体で無理のない自動化を組み立てます。まず1つの業務で効果を確かめ、うまくいった形を横へ広げます。
「古い業務ソフトの転記をAIで減らしたい」「AIの画面操作を社内で試す範囲を決めたい」といった相談から受け付けています。今の業務と目的をうかがったうえで、研修・伴走・開発のどこから始めるかを一緒に整理します。
▶️ サービス資料のダウンロード（資料請求）
▶️ 無料カウンセリング・AI活用診断のご予約
著者情報
株式会社AIworker
企業の生成AI導入・人材育成・業務改善を支援しています。1,000件を超える企業商談から得た課題を基に、生成AI研修、業務AI・AIエージェント開発、現場に入る伴走支援を提供。「研修して終わり」ではなく、AIが実際の業務で使われ続ける状態づくりを重視しています。
株式会社AIworker：https://ai-worker.net/
この記事が参考になりましたら、今後の記事づくりの励みになるので、スキをお願いします。
参考資料
GitHub Copilot can now interact with desktop apps with computer use｜GitHub Changelog｜2026年10月1日公開
About computer use｜GitHub Docs｜2026年10月7日確認
Interacting with desktop applications｜GitHub Docs｜2026年10月7日確認
GitHub Copilot app available to all｜GitHub Changelog｜2026年7月7日公開
Enterprise-managed settings｜GitHub Docs｜2026年10月7日確認
Configuring enterprise-managed settings｜GitHub Docs｜2026年10月7日確認
#GitHubCopilot #Copilot #GitHub #ComputerUse #画面操作 #CopilotCLI #GitHubCopilotアプリ #AIエージェント #エージェント #業務自動化 #RPA #API連携 #レガシーシステム #基幹システム #業務ソフト #転記作業 #二重入力 #データ入力 #自動化 #情シス #IT管理 #AIガバナンス #セキュリティ #情報漏洩対策 #シャドーAI #社内ルール #生成AI #AIニュース #新機能 #AI活用 #AI導入 #業務効率化 #DX推進 #AI定着 #AI研修 #生成AI研修 #法人研修 #AIツール #株式会社AIworker #AIworker
