技術情報

AWSの評価見直し事例。AIモデルを比べる前に、正解データを確かめる。

AWSは10月27日、不動産情報サービスProperty Finderの画像評価を見直した事例を公開しました。既存モデルの回答を正解として引き継いだことによる偏りと、専門家が正解を付け直した方法を説明しています。

天秤と二つの部屋の模型を描いた古典絵画風の生成イメージ。同じ基準でAIを評価することの比喩で、AWSの製品画面や実測結果ではありません。
この記事の前提

仕事に使うAIの比較を始める人向けです。AWSの公開事例を読み解く記事で、当方が製品を実行検証した手順ではありません

この記事のポイント

既存モデルの答えを基準にした評価を、専門家による付け直しなどで見直した事例です。原文には比較条件の限界も記載されています。

発表の要点と利用条件

提供元の説明

AWSは10月27日、不動産情報サービスProperty Finderの画像評価を見直した事例を公開しました。既存モデルの答えを正解として引き継いだため、別のモデルの評価に偏りが生じていたと説明しています。

見直しでは、過去のモデル出力を見ずに専門家が正解を付け直しました。複数の部屋が写る画像には複数のラベルを認めるなど、何を正解とするかも整理しています。

原文は、調整に使った画像が最終評価にも含まれる点と、モデルごとに調整へかけた手数が異なる点を明記しています。比較結果を読むときは、この条件も一緒に確認する必要があります。

具体的な活用案:比較前にそろえる材料

筆者の整理

この事例から、モデルを入れ替える前に、比較する仕事の判断基準を言葉にする意味を読み取れます。答えが違うだけで不合格にせず、元資料や決めた基準へ戻って判断する考え方です。

活用の仮説

次の表は筆者の活用案です。入力例と判断理由を一緒に残し、AIの答えを読む前に人が答えを決める形を考えます。当方で効果を確かめた運用手順ではありません。

比較する仕事の例正解の根拠として用意するもの人が確かめる点
商品画像の仕分け分類の定義と境界になる画像例複数の分類が当てはまる場合の扱い
資料からの項目抽出公開資料の該当箇所と採用する値記載がない項目を推測していないか
問い合わせの分類架空の問い合わせと振り分け基準判断に迷うものを人へ戻せるか

筆者の整理

比較表には、AIの答え、採点の根拠、人が直した点を別々に置くと、答えが違う理由をたどりやすくなります。単なる言い換えと、仕事に影響する誤りも分けて見たいところです。

仕事で使う前に確かめたいこと

条件・未確認事項

当方ではAWS上の処理を再現していません。日本語の資料や本人の仕事での精度・費用・使い勝手は未検証です。実際に使う場合は、対象モデルの提供条件・料金・資料の取扱いを別途確認します。

活用の仮説

最初の準備として、公開情報か架空の入力を使い、正解の根拠と判断が分かれる例を書き出すことを提案します。試験用の顧客資料を外部サービスへ渡す判断は、契約や社内の取扱いを確認してから行います。

出典と確認日

原典の公開日は提供元の表記です。製品の導入・効果の実測は行っていません。

記事の一覧へ

まず、60分の無料相談から。

いまの仕事の流れを一緒に見て、AIに任せる所と、自分で確かめる所を分けます。お問い合わせには、2営業日以内に代表がお返事します。