体験したAIの性能によって大きく変わった認識
第一に、大半の人はAIの無料版をたまに使ってみた程度だった
- 生成AIを一度でも使ったことのある回答者は46.8%だった。このうち無料版だけを使ったことのある回答者が38.5%で、有料版を契約中の回答者は8.3%にとどまった。
- 使ったことのある回答者のうち63.6%は、一、二度使ってみた程度（37.3%）か、月2回ほど使う程度（26.3%）だった。
- 職業による差も大きかった。開発者は77.0%が生成AIを使ったことがあったが、販売・サービス職（37.3%）と生産・技能職（36.4%）では3人に1人ほどだった。
第二に、無料AIと有料AIのどちらに触れたかで、人々の考えは大きく変わった 本研究の中心的な発見
- 「AIは自分の業務に役立つ」という項目では、対照群（3.40点）、低性能AI群（3.50点）、高性能AI群（3.55点）の順に同意の度合いが高くなった。
- 一方、その先を問う「AIは人間より正確だ」では、低性能AI群（3.17点）が、AIの回答にまったく触れなかった対照群（3.29点）よりもむしろ低いというパターンがみられた。
- 高性能（有料）AI群は、職歴が長いほどAI時代に自分の賃金が下がると懸念したが、低性能（無料）AI群は対照群（未経験）と同じく、むしろ経験年数が長いほど自分の賃金の下落は小さいとみて安心していた。
生成AIは実際にどれほど使われているのか
性別・年齢・地域を人口構成比に合わせて割り付けた全国の成人1,700人に、まず生成AIの利用経験を尋ねた。
- 生成AIを一度でも使ったことのある回答者は46.8%で、半数以上（53.2%）は一度も使ったことがなかった。有料版を契約中の回答者は8.3%だった。
- 主要モデル（ChatGPT、Claudeなど）のうち一つ以上を使ったことのある回答者では、ほぼ毎日使う人が14.1%、週2回以上使う人が22.3%だった。残る63.6%は、一、二度使ってみたか、月2回ほど使う程度にすぎなかった。
生成AIの利用経験
全回答者1,700人に占める割合（%）
- 職業別では、開発者（77.0%）、大学教員・研究者（65.2%）、芸術・創作職（62.7%）、製造業の技術者・研究者（57.3%）の利用率が高かった。
職業別の生成AI利用率
生成AIを一度でも使ったことのある回答者の割合（%）。棒にマウスを重ねると95%信頼区間を確認できる。
性能の異なるAIに触れた後、考えはどう変わったのか
回答者の大半がAIの無料版をたまに使ってみた程度なら、人々が抱くAIの印象は、どのAIに触れたかによって変わりうる。これを確かめるため、調査に実験を組み込んだ。
- 回答者を無作為に三つの集団に分けた。無作為割り付けのため、三つの集団は年齢、性別、学歴、これまでのAI利用経験が互いに近い（付録参照）。
- 低性能AI群は当時無料で提供されていたモデルの使用例を、高性能AI群は有料で提供されていたモデルの使用例を見た。どちらの集団も、まず例題を自分で解き、その後に同じ問いに対するAIの回答を確かめる形で体験した。
- 対照群は課題もAIの回答も見ずに、そのまま共通の質問に回答した。
対照群579人AIの回答を見ずにそのまま回答
低性能AI群560人課題5問＋無料の低性能AIの回答を確認した後に回答
高性能AI群561人課題5問＋有料の高性能AIの回答を確認した後に回答
回答者が実際に見た課題と二つのAIの回答は付録で確認できる。
三つの集団はすべて同じ共通の質問に回答した。生成AIに関する記述ごとに、同意の度合いを5段階（1点＝まったくそう思わない、5点＝とてもそう思う）で尋ねた。
1「AIは自分の助けになる」という考えは、体験したAIの性能の順に強かった。
- 「生成AIは私の業務効率の向上に役立つ」という項目の平均は、対照群3.40点、低性能AI群3.50点、高性能AI群3.55点だった（高性能AI群と対照群の差 p<.01）。未経験群、無料AI、有料AIの順に同意の度合いが高まる、直感どおりの結果だった。
- 「私は生成AIを使って創造的な作業をうまく行える」という項目も同じ順だった（対照群3.21点、低性能3.31点、高性能3.34点）。
「AIは自分の助けになる」
群別の平均同意度（5段階評価）と95%信頼区間
2「AIは人より優れている」という考えは、低性能（無料）AI群で最も弱かった。
- 人間を補助する能力にとどまらず、「生成AIは人間より正確だ」に同意するかどうかを尋ねたらどうだろうか。今度は低性能AI群の同意の度合いが、高性能AI群（p<.001）はもちろん、AIの使用例にまったく触れなかった対照群（p<.05）よりも低かった。
- 同じような形で尋ねた「生成AIは一般的な事務職より業務をうまくこなせる」も同様だった。低性能（無料）AI群が3.37点と、三つの集団で最も低い同意度を記録した（高性能AI群との比較で p<.01、対照群との比較で p=0.416）。
- AIの回答に触れた経験は「AIは自分の助けになる」という期待を高めたが、そのAIが低性能モデルだった場合、「AIは人より優れている」という評価はむしろ下げた。
「AIは人より優れている」
群別の平均同意度（5段階評価）と95%信頼区間
3職業の経験年数とAIによる経済的脅威との関係は、無料AI群と有料AI群で正反対になった。
- 「生成AIが広がったら、あなたの賃金はどうなると思いますか」と直接尋ねると、回答者は自分の職業について実際より楽観的に答えがちだ。
- そこで12の職業すべての賃金変化を一つの表で予想してもらい、自分の職業については、この質問に答えてから一定の時間がたった後に尋ねた。分析には、その表のうち回答者自身の職業の行の回答だけを使った。
- こうすることで、回答者の職業がAI時代にどれほど安全か（あるいは逆にどれほど脆弱か）を、ほかの職業と同じ物差しの上で、できるだけ客観的に測ることができた。
調査項目：自分の職業をほかの職業に混ぜて尋ねる
「もし生成AIが私たちの社会に広がったら、今後5年以内に下記の各職業の賃金（年収）はどう変化すると予想しますか」（芸術・創作職である回答者の回答例）
| 20%下落 | 10%下落 | 変化なし | 10%上昇 | 20%上昇 | |
|---|---|---|---|---|---|
| 保健医療従事者（医師、薬剤師など） | |||||
| 法律・金融専門職（弁護士、会計士、税理士など） | |||||
| IT・ソフトウェア開発者（プログラマー、データサイエンティストなど） | |||||
| 製造業の技術者・研究者（機械、電気、化学など） | |||||
| 大学教員・研究者（政治学者、心理学者、経済学の研究者など） | |||||
| 経営・管理職（CEO、上級管理職など） | |||||
| 一般事務職（マーケティング、人事、企画など） | |||||
| 公務員・教員 | |||||
| 販売・サービス職（店員、コールセンターの相談員など） | |||||
| 生産・技能職（製造業の生産職、建設労働者、運転手など） | |||||
| 芸術・創作職（作家、音楽家、デザイナーなど）自分の職業 | |||||
| 農林漁業従事者（農家、漁師、林業従事者など） |
- 下のグラフは、こうして算出した自分の職業の予想賃金変化が、現職の経験年数によってどう変わるかを、集団別の回帰直線で示したものだ。
- Y軸（縦軸）の値が大きいほど自分はAI時代に安全だと感じ、逆に値が小さいほど脆弱だと感じていることを意味する。
- 分析の結果、高性能・有料AI群は経験年数が長くなるほど自分の賃金がより大きく下がると懸念したのに対し、低性能の無料AIに触れた経験者は、むしろ経験年数が長くなるほどAIの脅威をあまり感じていなかった。高性能AI群の予想値は経験1年の−4.0%から経験30年の−6.5%へと下がり、経験1年あたりの傾きは対照群より0.20ポイント（p<.01）、低性能AI群より0.19ポイント（p<.05）低かった。
- 特に無料AIの経験者は、AIの使用例にまったく触れなかった対照群と統計的に差のない同じ傾向を示し、AIの脅威に鈍感だった点が目を引く。経験1年あたりの傾きは低性能AI群+0.09ポイント、対照群+0.10ポイントで、ほぼ同じだった（傾きの差 p=0.854）。
- 現実の経験豊富なシニア層の中で、AIへの反応が大きく分かれる理由の一つを示す結果といえる。
経験年数と自分の職業の予想賃金変化
生成AI拡大後5年以内の自分の職業の予想賃金変化（%）、現職の経験年数（年）による集団別の回帰直線
経験が短いほど経験が長いほど4その他の項目
- 有料モデルの契約意向（「月20ドルの有料モデルを契約する意思があるか」）は対照群で32.6%で、低性能AI群（22.9%、p<.001）と高性能AI群（26.0%、p<.05）ではいずれも低かった。
- 「生成AIによって多くの人が職を失うだろう」という項目は、三つの集団とも3.6点台で差がなかった（対照群3.64点、高性能AI群3.68点、p=0.402）。
まとめ
- 回答者の半数以上は生成AIを使ったことがなく、使ったことのある回答者も大半は無料版をたまに使う程度だった。
- 実験では、低性能AIに触れた人は「AIは人間より正確だ」に対して、AIの回答にまったく触れなかった人よりもさらに否定的だった。高性能AIに触れた人は、三つの集団の中で同意率が最も高かった。
- 高性能・有料AI群は経験年数が長いほどAI時代に自分の賃金がより大きく下がると懸念したが、低性能・無料AI群は対照群と同じく、経験年数が長いほどAIの脅威をあまり感じていなかった。どの性能のAIを体験したかによって、人々はAI時代における人間の位置付けも、自分自身の経済的な見通しも異なって評価していた。
結果を解釈する際の留意事項
調査は2024年5月に実施した。利用率や利用頻度などの利用実態の数値はその時点の回答であり、その後に公開されたモデルや利用環境の変化は反映していない。
実験群が見たのはあらかじめ生成しておいたAIの回答だった。回答者がAIを自分で使ってみたのとは異なり、五つの課題への回答だけで各モデルの全体的な性能を代表させることはできない。
集団間の差は5段階評価で0.1〜0.3点の水準だ。無作為割り付けのため、この差はAIの回答に触れた経験によるものとみることができるが、一度の短い接触が生んだ差がどれだけ長く続くかは、この調査ではわからない。
職業別の利用率は、職業ごとに回答者数が異なる。法律・金融専門職（18人）、農林漁業（16人）など回答者が少ない職業の割合は誤差が大きい。
分析の方法論
本文の数値がどの標本と基準で算出されたかを整理した。
調査の概要
| 項目 | 内容 |
|---|---|
| 調査期間 | 2024年5月 |
| 調査方法 | 調査会社（韓国のDataSpring）の登録モニターを対象としたインターネット調査 |
| 対象 | 満18〜69歳の全国の成人 |
| 標本 | 1,700人。2024年の人口統計に基づく性別、年齢（6区分）、居住地域（17の市・道）の比例割付。回答を完了した1,821人のうち、割付数を超えたセルから無作為に除外 |
| 標本誤差 | 95%信頼水準で±2.38ポイント |
実験設計と集団間のバランス
回答者は性別・年齢・居住地域、能力と業務の特性、生成AIの利用経験に関する質問に先に答えた後、三つの集団のいずれかに無作為に割り付けられた。学歴、職業、所得などその他の属性は、共通の質問をすべて終えた後、最後に尋ねた。低性能AI群と高性能AI群は五つの課題（記事の理解、記事の見出し作成、小説の文の並べ替え、広告コピーの順位付け、家族関係）を無作為の順で解き、課題ごとにAIの回答を確認した。AIの回答は一定時間以上画面に表示された後でなければ、次の質問に進めなかった。対照群は課題なしで、そのまま共通の質問に回答した。低性能AIの回答は当時無料モデルだったGPT-3.5で、高性能AIの回答は有料モデルだったClaude 3 Opusで生成した。
三つの集団の特性はおおむね差がなく、生成AI有料版の契約率だけが10%水準で差があった（対照群9.7%、低性能AI群6.3%、高性能AI群8.9%）。これまでの利用状況（未使用、無料、有料）や年齢、性別、学歴、所得などを統制しても、本文の集団間の差はすべて同じ方向を保ち、「人間より正確だ」の項目における低性能AI群と対照群の差だけがp<.05からp<.1に弱まった。有料モデルの契約意向の差も、既存の契約者を除いた1,559人で同じように現れた（対照群27.7%、低性能AI群19.2%、高性能AI群21.1%）。
p値は三つの集団の平均が等しいという仮説に対するF検定（HC3標準誤差）。個人の月収は回答区間の中央値。年齢、性別、生成AIの利用経験と契約の有無は割り付け前に、学歴と所得は調査の最後に測定。
二つのAIの性能差
低性能AIの回答はGPT-3.5で、高性能AIの回答はClaude 3 Opusで生成した。調査当時、GPT-3.5はChatGPTで無料で使え、Claude 3 Opusは月20ドルのClaude Proの契約者に提供されていた。開発企業が公表した標準ベンチマークでは、Claude 3 OpusはすべてのテストでGPT-3.5を上回った。
利用者がどのモデルの回答か知らないまま二つの回答を比べ、より良いほうを選ぶ方式の順位（Chatbot Arena）でも差は大きかった。2024年5月8日時点で、Claude 3 Opusは1,248点で95モデル中2位、GPT-3.5は1,108点で35位だった。140点の差は、二つのモデルの回答を並べたときにClaude 3 Opusの回答が選ばれる確率が約69%であることを意味する。
ベンチマークの数値は、AnthropicのClaude 3モデルカード（2024年3月）の表1から引用した。この表のGPT-3.5の数値はOpenAIのGPT-4技術報告書など外部で報告された値であり、問題例の数や解答過程の誘導方法がモデルによって異なる項目（GSM8K、MATHなど）があるため、厳密な同一条件での比較ではない。DROPは正答率ではなくF1スコア（0〜100）である。Chatbot Arenaの点数は、LMSYSが公開した2024年5月8日の順位のgpt-3.5-turbo-0125とclaude-3-opus-20240229の値で、順位は信頼区間が重なるモデルを同じ順位にまとめたものである。
実験課題とAIの回答
低性能AI群と高性能AI群が実際に見た五つの課題と、二つのAIの回答である。課題を選ぶと、二つのAIの回答を見比べられる。
課題報道機関の記者が記事のもみ消しの見返りに金品を受け取った事件を扱った記事を20秒間読んだ後、記事を見返さずに答える。
「前の記事によると、廃棄物処理業者から賄賂を受け取った報道機関は次のうちどこですか」
- (1) JTBC
- (2) ニュー環境ニュース
- (3) ニューシス
- (4) メディアオヌル
- (5) イーデイリー
正解：ニュー環境ニュース
低性能AI正解廃棄物処理業者からお金を受け取った報道機関は「ニュー環境ニュース」です。
高性能AI正解記事の内容によると、賄賂を受け取った報道機関は「ニュー環境ニュース」です。
記事では、JTBC『ニュースルーム』の番組が「密着カメラ」コーナーを通じて、自らを「ニュー環境ニュース」の局長と紹介したアン某記者が廃棄物処理業者からお金を受け取る場面をとらえたと述べています。アン記者は、その業者の違法な状況を集めて通報すると脅し、お金を要求したとされています。
したがって、与えられた選択肢の中では、(2) ニュー環境ニュースが廃棄物処理業者から賄賂を受け取った報道機関だといえます。
課題下記の内容の記事を読み、最も適切な見出しを考える。AIには同じ記事で見出しを五つ作らせた。
レトルトの牛骨スープ10製品のナトリウム含有量に最大13倍の差があり、一部の製品は一袋食べるだけで一日の基準値の112%に達するという消費者連盟の調査記事
正解なし
低性能AI- 家庭で牛骨スープを使うとき、ナトリウム含有量に大きな差を発見
- 韓国人の塩分摂取量に影響？牛骨スープのナトリウム含有量を対照分析
- レトルト牛骨スープ、ナトリウム含有量に大幅な差…消費者ら驚き
- 牛骨スープを選ぶときは価格だけでなく栄養成分にも注目しましょう！大田・忠南消費者連盟の比較分析結果
- レトルト牛骨スープ、ナトリウム含有量112%まで…大田・忠南消費者連盟の警告
高性能AI- レトルト牛骨スープ、ナトリウム含有量に最大13倍の差...一日の基準値を超える製品も
- 同じ牛骨スープ、異なるナトリウム含有量...消費者は注意が必要
- レトルト牛骨スープを選ぶ際はナトリウム含有量の確認が必須...一部製品は一日の基準値を超過
- 牛骨スープ一袋で一日のナトリウム基準値の112%を摂取...製品ごとの含有量の差が大きい
- レトルト牛骨スープ、ナトリウム含有量から価格まで製品ごとに大きな差...消費者は入念な確認が必要
課題SF短編「私は絶対あんなふうに醜く老いるまい」（シム ノウル）の七つの文を自然な順序に並べる。
- A. カプセルの中には、人が一人横になれるほどの空間があった。
- B. 店員が私の携帯電話を持ち上げてカプセルにかざすと、カプセルがプシューと音を立てて開いた。
- C. ゆるかった空間は、私の体に合わせて形を変えた。
- D. 「あ、はい」
- E. 店員は笑いながら、私の携帯電話にアプリをインストールしてくれた。
- F. カプセルの中に入って横になると、カプセルが閉じた。
- G. 「一回のご利用で20分です」
正解なし
低性能AIB → E → D → A → C → F → G
高性能AIE → G → D → B → A → F → C
このように並べると、店員がアプリをインストールし、利用時間を伝えた後、主人公が同意してカプセルが開く過程、そして主人公がカプセルに入って横になるとカプセルが閉じ、空間が変形する過程が自然につながります。
課題月1万4千ウォンで広告なしにYouTubeを見られるYouTube Premiumの広告コピー四つを、効果の高い順に並べる。
- A. プレミアムに切り替えて、YouTubeを新しいやり方で体験してみてください。
- B. 音楽と動画を途切れなく、YouTube Premiumでいつでもどこでも。
- C. 広告のない世界で楽しむ自分だけの時間、YouTube Premiumで途切れなく
- D. バックグラウンドでも再生し続けるYouTube、もっと楽しいマルチタスク。
正解なし
低性能AIC > A > D > B
Cが最も効果的な広告コピーだと思われます。このコピーは、YouTube Premiumを通じて広告のない環境で独占的な時間を持てるという体験を強調しています。次にAは、プレミアムに切り替えることで新しい体験を得られるという点を強調します。Dはバックグラウンド再生とマルチタスク機能を強調して有用性を際立たせていますが、Bは相対的にほかの広告コピーより効果的ではありません。
高性能AIC > B > D > A
広告コピーの効果を評価することは、ターゲット層の好みと、サービスの主な特典をどれだけうまく伝えるかにかかっています。YouTube Premiumの主な特典は、広告の除去、バックグラウンド再生、途切れのない音楽と動画のストリーミングです。
- C. 広告除去という大きな特典を強調しながら、個人の時間をより大切なものにしてくれます。
- B. 途切れのないストリーミングと、どこでも使えるという点を強調します。
- D. バックグラウンド再生機能を強調し、マルチタスクをより楽しくしてくれるという点を際立たせます。
- A. 新しい体験を強調していますが、具体的な特典をはっきり伝えていません。
課題30秒以内に下記の説明を読んで答える。
「この家族の家長はジフンで、妻はヨンソです。ヨンソの母はヘオクで、ヘオクの夫はスボクです。ジフンの父はジニで、母はファヨンです。ヨンソにはジヨンという娘がいて、ミンジョンという姉がいます」
「ジヨンのイモ（母方のおば）の名前は何ですか」
正解：ミンジョン
低性能AI不正解ジヨンのイモはファヨンです。
高性能AI正解問題で示された家族関係を整理すると、次のようになります。
- ジフン：家族の家長
- ヨンソ：ジフンの妻
- ヘオク：ヨンソの母
- スボク：ヘオクの夫、ヨンソの父
- ジニ：ジフンの父
- ファヨン：ジフンの母
- ジヨン：ヨンソの娘、ジフンとヨンソの子
- ミンジョン：ヨンソの姉
質問はジヨンのイモの名前を尋ねています。イモとは母親の女きょうだいを指します。ヨンソの姉がミンジョンなので、ジヨンから見るとミンジョンがイモになります。したがって、ジヨンのイモの名前はミンジョンです。
AIの回答は調査画面に示された文言をそのまま訳したものであり、回答者は課題ごとに自分で答えを選んだ後にAIの回答を確認した。課題の順序は回答者ごとに無作為に入れ替えた。
集団間の差の検定
各項目の回答を集団ダミーに回帰し、不均一分散に頑健な標準誤差（HC3）で集団間の差を検定した。低性能AI群と高性能AI群の比較は、基準となる集団を低性能AI群に替えて同じ方法で推定した。
- ：回答者の同意の度合い（1〜5点）または契約意向（0、1）
- ：低性能AI群、高性能AI群であれば1となるダミー変数（基準は対照群）
- ：対照群に対する各集団の平均の差
低性能は低性能AI群、高性能は高性能AI群。p値は、p<.1で有意な場合は不等号で、有意でない場合は正確な値で記した。
経験年数と予想賃金変化
自分の職業の予想賃金変化は、12の職業それぞれについて尋ねた項目（20%下落、10%下落、変化なし、10%上昇、20%上昇）のうち、回答者自身の現在の職業に当たる回答を−20、−10、0、10、20（%）に変換した値である。経験年数は現在の職業に就いている期間（年）である。現在職に就いている1,284人を対象に、下記のモデルを推定した。
- ：現職の経験年数（年）
- ：低性能AI群、高性能AI群のダミー（基準は対照群）
- ：年齢、性別、高学歴かどうか、所得、大都市居住かどうか、就業の有無、婚姻の有無、政治的志向、これまでの生成AIの利用状況（未使用、無料、有料）
- ：対照群に対する高性能AI群の経験年数の傾きの差。
- ：対照群に対する低性能AI群の経験年数の傾きの差。
変数の定義
- 利用経験：「生成AI（ChatGPT、Claude、Google Bard/Gemini、NAVER CLOVA X、Upstage Solarなど）を使ったことがありますか」に「はい」と答えた回答者。有料契約は「有料で契約している生成AIはありますか」に「はい」と答えた回答者である。
- 利用頻度：五つのモデルそれぞれの利用頻度（ほぼ毎日、毎週最低2回、毎月最低2回、一、二度だけ、使ったことがない）のうち最も高い頻度である。
- 高学歴：ソウル所在の4年制大学卒業、または大学院修了以上である。
- 職業：保健医療、法律・金融専門職、IT・ソフトウェア開発者、製造業の技術者・研究者、大学教員・研究者、経営・管理職、一般事務職、公務員・教員、販売・サービス職、生産・技能職、芸術・創作職、農林漁業の12区分のうち、回答者が選んだ職業である。