かばん屋の申込書に、Claude が画面を操作して1日で QR を入れた

楽天＆実店舗で15年　Claude Code自動化日誌 #5

先に結論から書きます。プログラムからは直せない書類のソフトを、AI（Claude）が自分で画面を見てマウスを動かし、ひな形3つを約17分で直しました。その日のうちに、本番の紙に入れ替えています。

楽天市場と実店舗で15年。プログラミング経験ゼロの、地方の小さなかばん屋の社長です。AI（Claude Code）で、社内の仕事を自動化しています。

前回は、スマホのカメラで読んだバーコードが化けて、別のお客様の伝票が出そうになった話を書きました。
その最後に、「バーコードをQRコードに変えることにした」と書きました。

前回の話はこちら

実は、あの記事を書いていたその日に、裏でAIが、QRコードを会社の書類に入れていました。
今回は、その話です。

書類の作り方は、AIには触れなかった

うちでは、注文ごとに1枚、作業の指示を書いた紙（申込書）を印刷しています。
この紙は、BarTender（バーテンダー）という、ラベルや書類を作る専用のソフトで作っています。

BarTenderは、1枚ずつ中身の違う紙をまとめて刷るのが得意なソフトです（難しく言うと「可変印刷」）。
注文のデータを読み込ませると、お客様のお名前や注文番号、バーコードが、注文ごとに入れ替わった紙が、どんどん刷られていきます。
工場や物流の現場では、ラベルを刷るソフトとしてよく使われています。

QRコードを足すには、このBarTenderで、紙のひな形を直す必要がありました。

最初、AIはこう言いました。
「BarTenderには、プログラムから操作する仕組みがあるので、それで足してみます」

ところが、調べてみると、その仕組みは印刷するためだけのものでした。
ひな形にQRコードを「足す」ことは、できない。
人がソフトの画面を開いて、マウスで操作するしかない、という結論でした。

ところが、その日に限って、BarTenderを使いこなせるスタッフはお休み。
私は、BarTenderの画面を開いたことすら、ほとんどありません。

じゃあ、AIにやってもらえないか。
ダメもとで、やってみることにしました。

「画面、操作していいですか？」

そこで使ったのが、AIが画面を見ながら、マウスとキーボードを動かす機能です（難しく言うと「コンピューターユース」）。

AIから「画面、操作していいですか？」と聞かれて、私はパニックです😭
よく分からないまま、軽い気持ちで「いいよ」と打ったら、
マジで、やり出しました（笑）

でも、始まってからは早かった。

• AIが、ソフトの画面を見ながら、QRコードを置く場所を決める

• 読み間違いに強い設定（少し汚れても読める強さ）を選ぶ

• 中に入れる番号を、今のバーコードと同じにそろえる

• ひな形3つ分を、約17分で仕上げる（後でClaudeに聞いた😁）

私はその間、横で前回のnoteを書いていました。

紙の上の「小さな文字」を、1画素ずつ直していた

途中で、1つ困ったことがありました。

QRコードを置きたい右上の角に、紙の写真の一部として、小さな文字が入っていたんです。
そのまま置くと、文字とQRコードが重なってしまう。

普通なら、写真を作り直すところです。
でも、写真を開いて保存し直すと、写真全体の色が少しずつ変わってしまう。

そこでAIは、文字のところだけを、ほんの小さなかたまりごと作り直し、ほかは1画素も変えずに、文字を小さくして横に詰めました。

正直、何をやっているのか、私にはよく分かりませんでした（笑）
でも、刷り上がった紙を見たら、ちゃんとQRコードが収まっていました。

その日のうちに、本番の紙に

ひな形ができたら、試しに5枚刷って、私が確かめました。

• スマホのカメラで、QRコードがちゃんと読めるか

• 今までのバーコードも、専用のリーダーで読めるか

• 倉庫で使っているほかの読み取りにも、影響がないか

• 文字や写真に重なっていないか

全部OK。
その日の夕方には、本番の紙を、QRコード入りに入れ替えました（入れ替える前の紙は、ちゃんと控えを取ってあります）。

仕事の画面のほうも、別のパソコンのAIが直してくれていて、カメラで読むときはQRコードを先に読むようになりました。

前回の記事の最後に「試してみたら、うまくいきました」と書いたのは、この日のことです。

で、カメラの読み間違いは減ったのか

ここからが、正直なところです。

QRコードに入れ替えてから5日。
毎朝AIが出してくれる「読み取りの点検」の数字を見てみると、

• 入れ替える前の日：カメラで崩れた割合 約16%

• 入れ替えたあと（月曜）：約15%

• 入れ替えたあと（火曜）：約16%

ほとんど変わっていません。

理由は、たぶんこうです（AIの見立てで、まだ確かめている途中です）。
QRコードが入っているのは、入れ替えたあとに刷った紙だけ。
今、工場で作っている注文の多くは、それより前に刷った、バーコードだけの古い紙なんです。
一点ものを作っているので、注文から出荷まで、それなりに日数がかかります。

つまり、まだ「QRの紙」が現場にほとんど回ってきていない。
本当の結果が出るのは、古い紙が入れ替わる、これからです。

結果が出るまで、見張り続ける

うちの会社では、毎朝AIが、前の日の読み取りを全部数えて、崩れた割合を出しています。
前回書いた「外に出ていくものは、入力をそのまま必ず記録する」のおかげで、こういう数字が毎日取れるようになりました。

QRの紙が現場に回ってきたら、この数字がどう変わるか。
カメラの崩れが、リーダー並みにほぼゼロになったら、スマホのカメラに戻れる。

そのときは、また書きます。

記事を書いている横で、AIが仕事をしている

今回いちばん驚いたのは、QRコードそのものより、自分がnoteを書いている横で、AIがマウスを動かして、会社の書類を直していたことです。

しかも、終わったあとには、何をどう直したか、どこで困ったか、何分かかったかまで、全部まとめて報告してくれる。

1話目で「プログラミングを習ったことがない社長が、システムを作り始めた」と書きました。
今では、画面の操作まで、AIに頼めるようになりました。

「画面、操作していいですか？」
ちゃんと聞いてから動いて、終わったら全部報告してくれる。

君は、AI？　秘書？　事務員？
……いや、それ以上やん！

…その秘書の前で、パニックになっていたのは私なんですけどね（笑）

次回予告

次回は、県から届いた「デジタル化」のアンケートの話です。
全部で34問。従業員数、設立年、デジタルへの投資額……。
それを、AIが会社のデータから調べて、全部入力して、送信までしてくれました。

ちなみに、「AIを導入していますか？」という質問には、
AIが自分で「導入済み（効果あり）」と答えていました（笑）

次回も、社内システムが実際に動いている様子を、少しずつアップしていきますね。

連載はこちらにまとめています

👉 続きはこちら

小さなかばん屋社長のClaude Code社内システム構築日誌