【図解】Power AppsとAI Builderを連携させて賢いアプリを作る方法|初心者でもできるステップ解説
【図解】Power AppsとAI Builderを連携させて賢いアプリを作る方法|初心者でもできるステップ解説
Microsoft Power Platformの中でも、Power Apps と AI Builder を組み合わせることで、コーディングの知識がほとんどなくても「賢いアプリ」を簡単に作成できます。本記事では、「Power AppsとAI Builderを連携させて業務を自動化・効率化したい」という方に向けて、基本の考え方から具体的な使い方、よくある活用シナリオまで分かりやすく解説します。
特に、業務担当者(シチズンデベロッパー)や、Power Platformをこれから導入検討している情報システム部門の方に役立つ内容になっています。
1. Power AppsとAI Builderを連携するメリット
まずは、なぜ「Power Apps × AI Builder」の組み合わせが注目されているのか、そのメリットから整理します。
1-1. ノーコードでAI機能をアプリに組み込める
AI Builderは、Microsoftが提供するノーコード/ローコードのAI機能です。一般的にAIを使ったアプリ開発には、機械学習の知識やPythonなどのプログラミングが必要でしたが、AI Builderを使えば次のような処理をGUIで簡単に組み込めます。
- 画像認識(商品や設備の判定、傷・不良品の検出など)
- フォーム処理(請求書、領収書、見積書などの自動読み取り)
- カテゴリ分類(問い合わせ内容を自動で分類する など)
- 感情分析(アンケートの自由記述やレビューの評価)
- 予測(売上予測、離脱予測など)
これらのAI機能を、Power Appsのキャンバスアプリやモデル駆動型アプリに組み込むことで、現場で本当に使える賢い業務アプリを作ることができます。
1-2. Excel感覚で業務アプリ+AIを設計できる
Power Apps自体が、Excelの関数に近い感覚でロジックを組み立てられるのが特徴です。AI Builderも同様に、学習済みモデルや自分で作ったカスタムモデルを関数として呼び出すイメージで使えます。
- Power Apps:画面、ボタン、入力フォームなどのUIと業務ロジックを定義
- AI Builder:入力データを解析し、結果(スコアやラベル)を返す
両者を組み合わせることで、「入力 → AIで判定 → 結果を画面表示・保存・通知」といった一連の流れをノーコードで構築できます。
1-3. Microsoft 365・Dynamics 365との親和性が高い
Power AppsとAI Builderは、どちらもMicrosoft Power Platformの一部です。そのため、以下のようなサービスとの連携がスムーズです。
- SharePoint(申請・台帳アプリ)
- Excel / OneDrive(小規模データの管理)
- Dataverse(共通データ基盤)
- Dynamics 365(営業、顧客管理、フィールドサービスなど)
- Teams(チャットやタブとしてアプリを展開)
既にMicrosoft 365やDynamics 365を利用している企業であれば、既存データを活用したAIアプリを短期間で立ち上げられるのも大きなメリットです。
2. Power AppsとAI Builderを連携させる全体像
ここでは、Power AppsとAI Builderを連携する全体の流れを、図解イメージを交えながら整理します。
2-1. 全体フローのイメージ
Power AppsとAI Builderの連携は、おおよそ以下のステップで進みます。
- データの準備:SharePointやDataverseなどにデータを用意
- AI Builderモデルの作成:目的に応じてAIモデルを構成・学習
- Power AppsでアプリのUIを作成:フォームやボタンなどを設計
- Power AppsからAI Builderを呼び出す:AIモデルをコントロールに紐付け
- 結果の表示・保存・通知:画面表示やデータ保存、Power Automate連携
図にすると、次のような関係になります。
- ユーザー → Power Apps(画面)→ AI Builder(判定)→ Power Apps(結果表示・保存)
- 必要に応じて → Power Automate(ワークフロー)→ Teams/メール/他システム
2-2. よく使うAI Builderのモデル種類
Power Appsとの連携で特に利用頻度が高いAI Builderのモデルは次の通りです。
- フォーム処理(Form Processing):請求書、注文書、申込書の自動読み取り
- オブジェクト検出(Object Detection):画像内の物体カウント、品番判定など
- カテゴリ分類(Classification):問い合わせ種別の自動判定
- 予測(Prediction):過去データから将来を予測
- テキスト認識・感情分析:アンケートのテキスト分析
この記事では、特にフォーム処理モデルを例にしながらPower Appsとの連携方法を説明していきます。
3. 準備:Power AppsとAI Builderを使うための環境設定
実際に連携させる前に、必要な前提条件と環境を確認します。
3-1. ライセンスと環境
Power Apps・AI Builderを利用するには、以下のようなライセンス・環境が必要です。
- Microsoft 365 や Dynamics 365 に付属の Power Apps 利用権、または Power Apps 単体ライセンス
- AI Builder を利用できる環境(試用版クレジットでも可)
- Dataverse または SharePoint などのデータソース
Microsoft 365 のみの契約でも、環境によってはAI Builderの試用が可能です。最初は試用環境で試してみて、効果が見えた段階で本番利用を検討するとスムーズです。
3-2. データソースの準備
AI Builderを活用するには、学習させるためのデータが重要です。フォーム処理の場合、次のようなデータを用意します。
- 請求書や領収書など、同じフォーマットのPDF・画像ファイル
- それらを保存するSharePointライブラリまたはDataverseテーブル
- 読み取ったデータを書き込むためのリストやテーブル
まずは、Power Appsと接続しやすいSharePointリストやOneDrive上のExcelから始めるのがおすすめです。
4. ステップ別:AI Builderモデルを作成する
ここからは具体的な操作イメージを示しながら、AI Builderモデルの作成手順を見ていきます。例として「請求書の自動読み取り(フォーム処理)」を取り上げます。
4-1. AI Builderの画面にアクセス
- Power Apps または Power Platform 管理センターから AI Builder を開きます。
- 左メニューから 「AI モデル」 または 「探索」 を選択します。
- テンプレート一覧から 「フォーム処理」 を選択します。
画面上には、フォーム処理やオブジェクト検出など、用途別にテンプレートが用意されています。目的に合ったテンプレートを選ぶことで、必要な設定項目があらかじめ用意されています。
4-2. 学習用データをアップロード
次に、AIが学習するためのフォーム(請求書など)を登録します。
- 新しいフォーム処理モデルの作成を開始
- 「ドキュメントのアップロード」から、複数枚のサンプルをアップロード
- 最低枚数(通常5~10枚以上)を満たすように準備
ポイントは、フォーマットのパターンごとに十分な枚数を用意することです。取引先ごとに請求書の様式が異なる場合、それぞれのパターンを学習させることで精度が高まります。
4-3. 抽出したいフィールドを教える
アップロード後、AI Builderの画面上で「どこの情報を抜き出したいか」を教えていきます。
- 表示されている請求書のプレビュー上で、日付・金額・請求先名・請求番号などを範囲選択
- 選択した範囲に対して、「フィールド名」(例:InvoiceDate, TotalAmount, CustomerName 等)を指定
- 複数のサンプルについて、同様にフィールドをマーク
この作業により、AIモデルは「フォームのどの位置に、どんな情報が載っているのか」を学習します。
4-4. モデルのトレーニングと検証
フィールドの定義が完了したら、モデルのトレーニング(学習)を実行します。
- 「トレーニング」ボタンをクリック
- 完了するまで数分〜十数分ほど待機
- トレーニング完了後、テスト用のフォームをアップロードして結果を確認
抽出結果が期待通りになっているか、特に金額や日付などの重要項目について精度をチェックします。誤認識が多い場合は、サンプル数を増やす・フィールドのマーク位置を見直すなどの工夫で改善できます。
5. Power AppsからAI Builderを呼び出す手順
AI Builderモデルが準備できたら、次はいよいよPower Appsとの連携です。ここでは、キャンバスアプリでの具体的な使い方を解説します。
5-1. キャンバスアプリを作成
- Power Apps ポータルから 「キャンバスアプリ」 を新規作成
- レイアウト(タブレット・電話)を選択
- 画面に次のようなコントロールを配置
- ファイルアップロード用の Add picture コントロール
- AI 実行ボタン(「AI解析」などのラベル)
- 結果表示用のラベルやテキスト入力コントロール
5-2. AI Builderコネクタを追加
Power AppsからAI Builderを使うには、AI Builderコネクタをアプリに追加します。
- 左側の 「データ」 パネルを開く
- 「データの追加」から「AI Builder」を検索
- 先ほど作成したフォーム処理モデルを選択して追加
これで、アプリ内から AIモデルを関数のように呼び出せる状態になります。
5-3. ボタンにAI実行ロジックを設定
AIを実行するボタン(「AI解析」ボタン)の OnSelect プロパティに、次のような式を設定します(イメージ)。
Set(
aiResult,
YourFormProcessingModel.Run(AddMediaButton1.Media)
)
YourFormProcessingModel:追加したAI Builderフォーム処理モデルAddMediaButton1:アップロード用コントロールの名前aiResult:結果を格納するコンテキスト変数
実際の式はモデルやバージョンによって異なりますが、「Run関数でAIを呼び出し、その返り値を変数に格納する」というイメージを持っておくと理解しやすくなります。
5-4. 抽出結果を画面に表示
次に、AIが抽出した値をPower Appsの画面に表示します。ラベルやテキスト入力コントロールの Default プロパティに、変数 aiResult のフィールドを指定します。
// 請求日を表示するラベル
Text( aiResult.fields.InvoiceDate, "yyyy-mm-dd" )
// 金額を表示するラベル
Text( aiResult.fields.TotalAmount, "#,##0" )
実際のプロパティ名は、AI Builderのモデル画面で確認できます。どのフィールドがどのラベルに対応しているかを整理しながらマッピングすると、運用開始後のメンテナンスも楽になります。
6. 実務で使えるPower Apps × AI Builderの活用例
ここからは、実際の業務で役立つ具体的な活用例を紹介します。いずれもPower AppsとAI Builderの組み合わせで実現しやすいシナリオです。
6-1. 経費精算・請求書処理の自動化
フォーム処理モデルを使った代表例が、経費精算や請求書処理の自動化です。
- 社員がスマホアプリから領収書を撮影・アップロード
- AI Builderが日付・金額・支払先などを自動抽出
- Power Appsが抽出結果を画面に表示し、社員が最終チェック
- 問題なければ、SharePointリストやDataverseに登録
従来、手作業で入力していた項目をAIが自動入力することで、ミス削減・入力時間の短縮につながります。
6-2. 問い合わせ分類と自動エスカレーション
カテゴリ分類モデルを利用すると、問い合わせ内容を自動でカテゴリ分けできます。
- 問い合わせフォームをPower Appsで作成
- ユーザーが入力した内容をAI Builderに渡す
- AIが「製品Aに関する質問」「請求に関する質問」などに自動分類
- 結果に応じて担当部署へ自動で通知(Power Automate連携)
これにより、問い合わせ対応の初動が速くなり、担当者への振り分け作業も効率化できます。
6-3. 現場点検アプリでの画像認識
オブジェクト検出モデルを使うと、現場の写真から設備や部品の状態を判定するアプリも構築できます。
- 現場担当者がPower Appsからカメラを起動し、設備を撮影
- AI Builderが画像から設備IDや状態を判定
- 判定結果をもとに、点検記録を自動入力
目視確認+手入力だった作業を、撮影+自動判定に変えることで、記録漏れや誤記入を防ぐことができます。
7. 精度を高めるためのポイントと運用のコツ
Power AppsとAI Builderを実務で使う際には、精度と運用体制が重要です。ここでは、よくあるポイントをまとめます。
7-1. 学習データはできるだけ「現場データ」を使う
AI Builderの精度は、どれだけ実際の運用に近いデータで学習させるかで大きく変わります。
- テスト用にきれいなサンプルだけを集めるのではなく、現場で実際に扱っているPDFや画像を使う
- スキャン精度が低いデータや、手書きの混ざったデータも敢えて含める
- 誤認識しやすいパターンをあえて多めに学習させる
こうした工夫により、本番運用での安定した精度が期待できます。
7-2. 人の確認を組み合わせた「セミ自動化」にする
AI Builderは非常に便利ですが、100%の精度を保証するものではありません。そのため、特に金額や契約関連などの重要データについては、人による最終確認フローを組み込むのがおすすめです。
- AIが抽出した値をPower Appsの画面に表示
- ユーザーが目視で確認・必要に応じて修正
- 確定ボタンを押すとデータを登録・承認フローへ連携
このように、「AIの事前入力」+「人の最終確認」という形で導入すると、現場にも受け入れられやすく、安心してAIを活用できます。
7-3. 定期的なモデルの再トレーニング
請求書のフォーマットが変わったり、新しい取引先が増えたりすると、モデルの精度が徐々に低下することがあります。そのため、以下のようなタイミングで再学習(リトレーニング)を行うと良いでしょう。
- 新しいフォーマットの帳票が増えたとき
- 誤認識が増えたと現場からフィードバックがあったとき
- 四半期ごと、半年ごとなど、定期メンテナンスのタイミング
Power Apps側のアプリは大きく変えずに、AI Builder側のモデルだけを改善できるのも、この連携構成の強みです。
8. まとめ:Power Apps × AI Builderで「現場発」の賢いアプリを
Power AppsとAI Builderを連携させることで、専門的なプログラミング知識がなくても、現場のアイデアを形にした賢い業務アプリを作ることができます。
- AI Builderでフォーム処理・画像認識・分類・予測などのモデルを作成
- Power Appsからそのモデルを呼び出し、入力画面と結果表示をノーコードで設計
- SharePointやDataverse、Teams、Power Automateと連携して業務全体を自動化
小さなPoC(試験導入)から始めて、徐々に対象業務を広げていくことで、現場主導でDX(デジタルトランスフォーメーション)を進めることも可能です。
「まずは一つ、AIを使ったアプリを試してみたい」という方は、請求書や領収書の自動読み取りアプリから始めてみるのがおすすめです。少ないステップで効果が見えやすく、現場にも説明しやすいテーマだからです。
Power AppsとAI Builderを組み合わせて、あなたの現場でもぜひ「賢いアプリ」づくりにチャレンジしてみてください。
▼動画で学びたい方はこちら
https://youtu.be/MDKJA5lqELo?si=bX5t8NNeb_ErYWPN