Now Assist Skill Kitでカスタムスキルを作る手順：インシデントから返信文の下書きを生成する

問い合わせ者へ返す文面の下書きを、Now Assistに作らせたい。標準のNow Assistに無い機能を足す一番手軽な方法が、Now Assist Skill Kitです。プロンプトと入力を決めて画面上でテストするところまでは、コードを書かずに進められます。日本語のインシデントから返信文の下書きを作るスキルを実際に作り、公開しないままテストして、出力がどこまで使えるかを確かめました。

この記事で扱うこと

• スキルを作るのは、標準スキルと標準設定で足りないと分かってから

• 作成は「一般情報」「プロンプトの作り方」「スキル入力」「サマリー」の4画面で終わる

• 入力名・スキル名・入力の説明欄は英数字しか通らず、プロンプトの変数は大文字小文字が合わないと空欄になる

• テスト実行はアシストを消費する。今回は1回につき1アシストで、9回で9アシストだった

• 返信文は読めば使える水準だったが、事実と違う一文と社内用語が混ざり、人の確認は外せない

3件のデモレコードで合計9回動かした小規模な確認です。製品の品質評価ではなく、手順と見落としやすい点を洗い出すことを目的にしています。公開・有効化・展開は実行していません。標準スキルを複製する場合の様子は、後半の1節にまとめました。

作る前に、標準のスキルと設定を確認する

作る前に、本当に作る必要があるのかを決めます。Skill Kitの一覧には、カスタムスキルとは別に「ServiceNow のスキル」のタブがあり、今回の環境では93件が並んでいました。その中に、メール応答の文面を生成するスキル（Email resp…）がアクティブな状態で入っています。返信文の下書きという用途は、まずこの標準スキルで足りるかを見る価値があります。今回はこのスキルを動かしておらず、足りるかどうかは確かめていません。

標準のスキルで足りない例は、文面のルールを自社向けに固定したいとき、使う項目を絞りたいとき、出力の節を変えたいときです。そのときに限って、標準を複製して直すか、新しく作るかを選びます。標準スキルのプロンプトだけを調整したい場合は、後半の複製の節を先に読んでください。

作成に必要なロールは sn_skill_builder.admin です。公式ドキュメントの「Create a skill」に、この前提が書かれています（Create a skill）。有効化はAI Admin Hubで admin が行う別の作業で、この記事では扱いません。

対象にした3つのインシデント

返信文の良し悪しを見るには、元のインシデントに何が書いてあったかを先に知る必要があります。使ったのは、検証用に作った日本語のデモレコードです。

INC0019384（A）：経費精算システムで申請を送信すると「E-5031 送信処理に失敗しました」と出る障害です。経理部の5名が同じ症状を確認していますが、営業部では送信できています。優先度は2・高で、月末の締めが近い時期です。作業メモは6件あります。注目してほしい記述が3つあります。1つ目は「9月20日のメンテナンスで承認ルートを変更した可能性がある」という仮説で、変更記録は未特定、つまり未確認の内容です。2つ目は、キャッシュ削除とシークレットウィンドウでの送信を依頼したが効果がなかったという記述です。3つ目に、人事システムとの連携の見直しを問題管理に起票する予定とあり、まだ起票していません。コメントは2件で、依頼者向けに「下書き保存した申請は消えない」「下書きから再送信を試してほしい」と書かれています。

INC0019391（D）：在宅勤務のVPNが約30分で切れる障害です。無線LANアダプタの省電力設定をオフにして、2時間の接続維持を確認済みです。全社への周知はナレッジ記事で行う予定になっています。

INC0019394（E）：社内ポータルのお知らせ欄が表示されない、という件名と説明だけの記録です。作業メモもコメントもありません。

3件とも依頼者は検証用ユーザーで、メールは設定していません。Aは「仮説・無効だった手順・予定の対応」が揃っていて、返信文に書いてはいけないことが多いレコードです。Eは材料が薄い場合の振る舞いを見るために選びました。

この記事で進める範囲

スキルの作成からテストと評価までを4つのSTEPで進めます。公開・有効化・展開は、今回は実行していません。

起点はSTEP1、緑は今回実行した段階、灰色は今回実行していない段階

図の内容を文字でも書き出します。

• STEP1：スキルの器を作る。一般情報の画面で名前・プロバイダー・ロール制限を決める

• STEP2：プロンプトの作り方と入力を決める。「最初から記述」を選び、String型の入力を1つ追加する

• STEP3：プロンプトを書き、変数を入れる。エディターの「プロンプトの編集」タブで、変数はメニューから挿入する

• STEP4：テスト入力を渡し、接地プロンプトで確かめる。3件のレコードで9回、1回につき1アシスト

• 評価：返信文を元の記録と照らし合わせ、プロンプトv1とv2で直った誤りと直らない誤りを分ける

• 未実行：公開・有効化・展開。プロンプトの確定、公開、AI Admin Hubでの有効化、展開先の選択

STEP1：【開発者】スキルの器を作る

開始条件は、sn_skill_builder.admin を持つユーザーで、All > AI Skill Kit > Home（Now Assist スキルキット）を開けることです。メニューや「スキルを作成」ボタンが出ない場合は、ロールの不足が原因の候補です。そこで作業を止めて、管理者へ依頼してください。初回は「スキルのセキュリティコントロールを追加」というお知らせと、ツアーのダイアログが出ます。どちらも「了解」「ツアーをスキップ」で閉じられます。

右上の「スキルを作成」を押し、作成ガイドの1画面目に入力します。

• スキル名：英数字とスペースだけ。日本語を入れると「有効な名前を入力してください。」と出て先へ進めない。記事検証用の接頭辞に日本語を使えなかったので、Kiji Kensho Reply Draft にした

• 説明：日本語が通る。公開しない検証用だと分かる一文を書いた

• デフォルトのプロバイダー：Now LLM サービス（Now LLM Generic）を選んだ。ログ上のモデルは apriel-nowllm

• ロール制限：必須。スキルが実行中に継承するロールを選ぶ欄で、itil を入れた

期待する結果は、ガイドが次の「プロンプトの作成を開始」へ進むことです。このとき裏側でスキルとアクセス制御（ACL）が1件作られます。ユーザーアクセスの既定は「任意の認証ユーザー」で、ACL にはロール snc_internal と「ユーザーが認証された」が入りました。公開しなくても作成の時点でACLが増えるため、後始末の対象に入れておきます。

中止する条件は、名前が通らないときと、ロール制限が空のままのときです。名前は英数字に直し、ロールは1つ以上選びます。

STEP2：【開発者】プロンプトの作り方を選び、入力を決める

2画面目では、プロンプトを「最初から記述」「ライブラリから選択」「AIで生成されたプロンプトを使用する」の3通りから選びます。既定はライブラリです。

今回は「最初から記述」を選びました。ところが、作成後のエディターには、サンプルのプロンプト Incident Summarization が入っていました。「実行前にRecord型の入力でIncidentテーブルを選んでください」という注記つきの、250語以内の要約用プロンプトです。「最初から記述」でも白紙にはならないため、エディターが開いたらこのサンプルを自分の文面で置き換えます。

3画面目の「スキル入力を追加」では、プロンプトに渡すデータの入れ物を決めます。データタイプはRecord・String・Numeric・Boolean・Simple Array・JSON Object・JSON Arrayの7種類です。

インシデントを入力にするなら、Record型でincidentテーブルを選ぶのが本来の形です。ところがこの環境では、テーブル名の候補欄に「incident」と入れても、先頭20件ほどしか出ず、incidentテーブル自体を選べませんでした（日本語の「インシデント」は0件です）。そのためString型の入力 incidentText を1つだけ作り、件名・説明・作業メモ・コメントをまとめた文字列を渡す設計にしました。

入力まわりを含め、日本語を入れられる欄と英数字だけの欄を先に整理します。

緑は日本語が使える欄、赤は英数字だけが通る欄、橙は大文字小文字に注意が要る変数

図の内容を文字でも書き出します。

• スキル名：英数字とスペースだけ。日本語は進めない

• 入力名：英数字だけ。incidentText は通り、incident_text はアンダースコアが原因で通らない

• 入力の説明欄：日本語だと「サマリーへ進む」が無効のまま。英語で書く

• 一般情報の説明：日本語が通る

• プロンプトの変数：手で {{incidentText}} と打つと置換されない。メニューから入れると {{incidenttext}} になる

入力名を後から同じ名前で打ち直すと、「入力名は既に存在します」と出ます。入力は自動保存されるため、直すときは新しく追加せず、左の入力一覧から既存の入力を開いて編集します。

「サマリーへ進む」から「セットアップを完了」を押すと、スキルが下書き（ドラフト）で作られ、エディターが開きます。

STEP3：【開発者】プロンプトを書き、変数を正しく入れる

エディターは4つのタブで構成されています。1「プロンプトの編集」、2「ツールを追加」、3「最適化と評価」、4「展開とスキルの設定」です。今回使うのは1だけです。

プロンプトは次の骨子にしました。全文は有料部に載せています。

• 役割：社内ITサービスデスクの担当者

• 入力：【記録】の下に {{incidenttext}} を置く

• ルール：宛名は部署と氏名、構成は「状況のお知らせ」「実施した対応」「お願いしたいこと」、未確認の仮説は書かない、復旧日時は約束しない、社内の調査の詳細は書かない、300字から400字、本文だけを出力する

この作業でいちばん見落としやすいのは、変数の書き方です。プロンプトの変数は、手で {{incidentText}} と打つと、置換されません。スキル入力の名前を大文字で作っても、変数側は小文字の {{incidenttext}} として扱われるためです。「入力とツール」ボタンのメニューから「スキル入力」の incidentText を選ぶと、{{incidenttext}} が自動で入ります。必ずこのメニューから入れます。

起点はスキル入力の名前、緑は記録が渡った経路、赤は記録が渡らなかった経路

図の内容を文字でも書き出します。

• スキル入力の名前は incidentText で登録できるが、変数側は小文字の incidenttext として扱われる

• 手で {{incidentText}} と打つと、接地プロンプトの【記録】が空欄のまま実行され、記録に無い架空の返信文が出る。1アシストを消費したうえで結果は捨てる

• メニューから入れると {{incidenttext}} が自動で入り、【記録】に件名・説明・作業メモ・コメントが渡る。ここから内容の評価に進める

手で打った場合に何が起きたかは、次の画像のとおりです。接地プロンプト（実際にLLMへ渡した文面）の【記録】が空欄のまま実行されました。

この回の返信文は、記録に無い架空の内容でした。「株式会社人事部 山田様のノートパソコンの電源が入らない」という件です。入力トークンは1019、応答トークンは480、所要は18.1秒でした。記録が空でも実行は止まらず、LLMが作り話を返しました。この回は入力値の確定が足りなかった可能性もあります。次の2回目で、手で打った変数名が合わないことを接地プロンプトで確かめました。

中止する条件は、接地プロンプトの【記録】に中身が入っていないときです。その結果は捨てます。変数を入れ直し、入力欄の値も確定し直します。

STEP4：【開発者】テスト入力を渡し、接地プロンプトで確かめる

テストは、プロンプトの下にある「テストを実行」から始めます。ダイアログにはスキル入力ごとに1行の入力欄があり、改行は入れられません。複数行のインシデントは「／」でつないで1行にしました。ダイアログの初期状態は、「セキュリティコントロール適用後のテストプロンプト」にチェックが入った形です。

1. 有料部のテスト入力（A）を incidentText の欄へ貼る

2. 欄の外を押すか Tab で値を確定する。貼り付けただけでは値が確定しない回があった

3. ダイアログ内の「テストを実行」を押し、実行後に接地プロンプトで中身を確認する

期待する結果は、「応答」タブに返信文、「接地プロンプト」タブに【記録】が埋まった文面が出ることです。接地プロンプトの末尾には、英語の指示が自動で付きます。「Generate the response in language Japanese.」で始まり、日本語だけで答えるよう求める文です。日本語のプロンプトでも、この英文が追加されて送られます。

変数を入れ直した後の接地プロンプトです。【記録】にAのレコードの本文が入っています。

テスト実行ごとの記録とアシストの消費

テスト実行のたびに、sys_generative_ai_log にプロンプト・応答・モデル・トークン数・所要時間が1件ずつ残ります。同時に sys_gen_ai_usage_log へ、実行種別「テスト」、アシスト数1の行が増えました。今回の9回では、9件・9アシストです。

表の内容を文字でも書き出します。

• 1〜2回目：変数が空の状態（大文字小文字の不一致）、プロンプトv1、各1アシスト

• 3〜5回目：A（経費精算）・D（VPN 切断）・D（Dは同じ入力で2回）、プロンプトv1、各1アシスト

• 6回目：E（記録が薄い）、プロンプトv1、1アシスト

• 7〜9回目：A（経費精算）・E（ポータル表示）・D（VPN 切断）、プロンプトv2、各1アシスト

公式ドキュメント「Test a prompt」にも同じ内容があります。テストは基本のプロンプト呼び出しで1アシスト以上を消費し、評価メトリクスがあれば追加で消費するとの説明です（Test a prompt）。公式は「1アシスト以上」としているため、自社の構成では1回の消費が増える場合もあるでしょう。評価メトリクスを付けた場合は、その実行分も加算されます。プロンプトの調整は「直して試す」の繰り返しになるので、調整の前に、使うテスト入力を決めておきます。

返信文を元のインシデントと照らして評価する

A（経費精算の障害）に対するv1の返信文は396字で、構成は指定どおりでした。9月20日のメンテナンスの仮説は、書かれていません。ルールを守れた点です。一方で、記録と食い違う点も残りました。

• 効果がなかったシークレットウィンドウでの再送信を、依頼者に再びお願いしていた

• 「問題管理に起票した改善案を進める予定」と、起票済みに読める文だった。記録では、起票はこれから

• 「承認者マスタ」という社内の名称を書いていた。ルールで禁じた内容

• 宛名が「経理部 花子様」で、姓の「検証」が落ちていた

プロンプトv2では、「氏名を省略しない」「記録にない対応を補わない」「効果がなかった手順は再依頼しない」「予定は予定として書く」「記録が空のときは出力しない」などのルールを足しました。同じAでの結果は次の表のとおりです。

表の内容を文字でも書き出します。

• 宛名：v1は「経理部 花子様」（姓が落ちた）、v2も同じで直らなかった

• 未確認の仮説：どちらも書かなかった

• 効果がなかった手順：v1は再び依頼した、v2は再依頼が消えた

• 起票予定の対応：v1は起票済みに読める文、v2は「起票を予定」と予定の表現になった

• 社内の名称（承認者マスタ）：どちらも書いた。v2でも直らなかった

E（件名と説明だけの記録）は、v1が「速やかに確認を開始いたしました」と、記録にない対応を補いました。v2ではこの補いは消えましたが、「調査を進めております」「状況の確認が完了しておりません」という、記録にない調査状況の表現は残りました。「実施した対応：該当なし」という節も残り、ルール4（実施した対応が無いときは節を省く）には従っていません。ルール4の「調査中であることだけを伝える」は、記録にない調査状況を書く余地を残すため、ルール3（記録にない対応を補わない）と食い違います。

D（VPN 切断）は、v2が社内向けの周知予定を依頼者宛のお願いとして書きました。両版とも宛名の姓が落ち、v2の返信文にはVPNクライアントのログの内容も入っています。ルール8（社内の調査の詳細を書かない）の違反です。v1の応答原文は保存しておらず、v1との差は比べていません。

ルールを足すと直る誤りと、足しても直らない誤りが混ざっていました。直らなかった宛名と社内の名称は、プロンプトの指示で抑える対象ではなく、人が見て消す対象として運用に入れます。

人の手間の目安として、今回は次のように分類しました。修正なしは、そのまま送れる状態です。軽微は、語句の削除と追記だけで足りる状態を指します。大幅は、事実関係の訂正が要る状態です。Aのv2は「軽微」で、宛名の姓を足し、社内の名称（承認者マスタ、2か所）を消す作業でした。ただし、軽微と判断するには、元のレコードの作業メモ6件を読み直す必要があります。確認にかかった時間は測っていません。レビューは、返信文だけを眺めるのでは足りず、元の記録と並べて照合する作業になります。

実機で気づいたこと

変数の大文字小文字で、エラーなしに空欄になる

手で打った {{incidentText}} は、小文字化された入力名と一致せず、プロンプトの【記録】が空のまま実行が成功しました。入力が空でも実行は止まらず、LLMが架空の内容を返します。エラーが出ないので、応答だけを見ていると気づけません。変数はメニューから挿入し、テストのたびに接地プロンプトを開いて中身を確認します。

標準のスキルは入力11個・プロンプト447件で、作りが大きい

後述のとおり、標準のIncident summarizationは入力が11個、プロンプトが447件ありました。自作のスキルは入力1つ・プロンプト1つで済みます。小さく作れる反面、標準が持っている活動履歴の整形や、SLAの情報の組み込みは自分で作ることになります。

日本語を入れられない欄が思ったより多い

スキル名、入力名、入力の説明欄の3か所が英数字のみです。説明文や運用上の表示名を日本語で書きたい場合は、一般情報の説明欄が使えます。

標準スキルを複製して調整する場合

標準のIncident summarizationのプロンプトだけを直したい場合は、スキルを複製する方法があります。公式ドキュメントの「Clone a skill」では、複製するとドラフトの状態で作られ、プロンプト・入力・出力が引き継がれると説明されています（Clone a skill）。以下は、このデモ環境で確かめた範囲の観察です。他の環境にそのまま当てはまるとは限りません。

標準スキルのページには「スキルをクローン」ボタンがあります。ダイアログの既定名は「Incident summarization のクローン」ですが、日本語が入るため「有効な名前を入力してください」と出て進めず、英数字の名前に直す必要がありました。プロバイダーは元のスキルと同じAzure OpenAI（Chat Completions）が既定でした。

複製した直後のスキルは、次の状態でした。

• 入力は11個、プロンプトは447件あり、構成がそのまま引き継がれていた。動くかどうかは、後述のとおり確かめられていない。プロンプトはテーブル別・状態別・プロバイダー別に分かれ、進行中のインシデント向けは「Incident summarization (WIP) - Azure OpenAI」で、使用条件は table=incident、state=wip

• 公式の説明では複製はドラフトで作られるはずだが、この環境では状態が「公開済み」で作成された。有効化はしていないが、公開済みの複製がAI Admin Hubに現れうる状態

• 標準のプロンプトは読み取り専用で、「プロンプトのクローンを作成して編集」でコピーを作ってから直す。コピーの名前も英数字のみで、既定名は括弧が原因で通らない

コピーしたプロンプトの末尾に、「Unconfirmed Items」と「Next Actions」の2節を追加して保存しました（294語から352語）。ここまでは進みましたが、動かして前後を比べる段階で止まりました。

テスト実行のダイアログで、Incident入力にINC0019384を選択し（選択済みの値は内部に入っていました）、ほかの9つの入力にも手で値を入れました。それでも「テストを実行」は無効のままで、テストは1回も実行できていません。原因は特定できず、この環境では、標準スキルの複製はテストまで進められませんでした。そのため、前後の比較も行えていません。

後始末では、スキルの削除ができませんでした。REST・画面の一覧のどちらも、削除権限の制約で拒否または無効でした。代わりに、Skill Kitの一覧にある「スキルをアーカイブ」で状態を「アーカイブ」にしています。作成時に自動で増えたACLも残ります。

公開する前に確認したいこと（未実行）

今回は公開・有効化・展開をしていません。公式ドキュメントに沿うと、候補は次の順です。

• プロンプトを確定（鍵アイコン）し、スキルを公開する。公開で状態が「ドラフト」から「公開済み」に変わり、AI Admin Hubに表示される（Finalize and publish a skill）

• AI Admin Hub の画面で、admin が有効化する。入力値・アクセス・レビューの3ステップのウィザード（Activate a skill）

• 展開の場所は「展開とスキルの設定」タブで選ぶ。Now Assistパネル、UIアクション、フローアクション、コンテキストメニュー、仮想アシスタント、UIビルダーの6つが並び、今回は全部未チェックのまま

これらは試していないため、動作や影響は確かめていません。展開する前に決めておくのは、誰のロールで動くか（ロール制限）と、誰が呼び出せるか（ACL）です。テストと同じく、1回の実行ごとにアシストを消費する点も織り込みます。

保守に増えるもの

OOTBの標準スキルだけなら、更新に追随するのは製品側です。自作のスキルを足すと、自社の保守対象が増えます。プロンプトの版管理・ルールの見直し・アップグレード後の挙動確認・アシストの消費確認・ロールとACLの棚卸しです。標準のプロンプトを複製した場合は、標準側の改善が複製には自動で入らない可能性があります。ただし今回は、複製の更新時の挙動を確かめていません。

検証範囲

• 3件のデモレコード（A：経費精算、D：VPN 切断、E：ポータル表示）と、合計9回のテスト実行。一人が確認した。製品全体の品質評価ではない

• 公開・有効化・展開・評価メトリクス・ツール（スクリプト、リトリーバー）の追加は実行していない

• 標準スキルの複製では、テストを実行できていない

• 作成した2つのスキルは「アーカイブ」（自作のスキルは「ドラフトアーカイブ」）にした。削除は権限の制約でできず、自動で作られたACLも残っている

• 標準の「メール応答を生成するスキル」は、動かしていない

ここまでが無料で読める範囲です。スキルの作り方を4つのSTEPで通し、テスト実行の記録と返信文の評価、標準スキルを複製する場合の注意までをまとめています。

この先に入っているもの

有料部には、今回の評価に使ったものをそのまま入れました。コピーして自分の環境で使えます。内容は3点に、公式ドキュメントのURLと用語を付けています。

• プロンプトv2の全文（ルール11項目）と、v1との差分の意図

• テスト入力の一式（A・D・E、1行に直した文字列）と、確認したい期待結果

• 返信文を人が確認するときのチェックリスト（9項目）

分量は約0.4万字で、プロンプトが約600字、テスト入力が3件、チェックリストが9項目です。

💰 ここから先は有料エリア