看法因体验过的AI性能而大不相同
第一，大多数人只是偶尔用过免费AI
- 至少用过一次生成式AI的受访者占46.8%。其中只用过免费版的占38.5%，付费订阅用户只有8.3%。
- 在用过的受访者中，63.6%只用过一两次（37.3%）或每月用2次左右（26.3%）。
- 职业之间的差别也很大。开发人员中有77.0%用过生成式AI，服务和销售人员（37.3%）和生产制造人员（36.4%）则大约三人中只有一人用过。
第二，接触的是免费AI还是付费AI，人们的想法差别很大 本研究的核心发现
- 在“AI对我的工作有帮助”这道题上，对照组（3.40分）、低性能AI组（3.50分）、高性能AI组（3.55分）的认同程度依次升高。
- 再进一步问“AI比人类更准确”时，低性能AI组（3.17分）反而比完全没看过AI回答的对照组（3.29分）还要低。
- 高性能（付费）AI组工作年限越长，越担心自己的工资在AI时代会下降；低性能（免费）AI组则和对照组（无AI体验）一样，工作年限越长，反而越放心，认为自己的工资跌得更少。
生成式AI，实际用得有多普遍？
我们首先向按性别、年龄、地区比例进行配额抽样的全国1,700名成年人询问了生成式AI的使用经历。
- 至少用过一次生成式AI的受访者为46.8%，一半以上（53.2%）从未用过。付费订阅用户占8.3%。
- 在主要模型（ChatGPT、Claude等）中至少用过一种的受访者里，几乎每天使用的占14.1%，每周使用2次以上的占22.3%。其余63.6%只用过一两次，或每月只用2次左右。
生成式AI使用经历
以全部受访者1,700人为基准的比例（%）
- 按职业看，开发人员（77.0%）、大学教授与研究人员（65.2%）、艺术从业者（62.7%）、制造业工程师与研发人员（57.3%）的使用率较高。
不同职业的生成式AI使用率
至少用过一次生成式AI的受访者比例（%）。把鼠标移到条形上，可以查看95%置信区间。
体验过不同性能的AI之后，想法有什么变化？
既然大多数受访者只是偶尔用过免费AI，人们对AI的印象就可能取决于接触的是哪种AI。为了验证这一点，我们在调查中加入了实验。
- 我们把受访者随机分成三组。由于是随机分配，三组在年龄、性别、学历和已有AI使用经历上彼此相近（见附录）。
- 低性能AI组看的是当时免费提供的模型的使用示例，高性能AI组看的是当时付费提供的模型的示例。两组都先自己做这些例题，再查看AI对同一问题的回答。
- 对照组不接触任务和AI的回答，直接填写共同问卷。
对照组579人不看AI的回答，直接填写问卷
低性能AI组560人5项任务 + 查看免费低性能AI的回答后填写问卷
高性能AI组561人5项任务 + 查看付费高性能AI的回答后填写问卷
受访者实际接触的任务和两个AI的回答，可在附录中查看。
三组都填写了相同的共同问卷。针对每条关于生成式AI的陈述，以李克特五点量表（1分为完全不同意，5分为非常同意）询问认同程度。
1“AI能帮到我”的想法，随体验过的AI性能依次增强。
- “生成式AI有助于提高我的工作效率”这道题的平均分，对照组为3.40分，低性能AI组为3.50分，高性能AI组为3.55分（高性能AI组与对照组之差p<.01）。从无AI体验组到免费AI，再到付费AI，认同程度依次升高，这个结果很符合直觉。
- “我能借助生成式AI很好地完成创造性工作”这道题也是同样的顺序（对照组3.21分，低性能组3.31分，高性能组3.34分）。
“AI能帮到我”
各组平均认同程度（五点量表）与95%置信区间
2“AI比人强”的想法，在低性能（免费）AI组中最弱。
- 如果不问辅助能力，而是进一步问是否认同“生成式AI比人类更准确”，又会怎样呢？这一次，低性能AI组的认同程度不仅低于高性能AI组（p<.001），甚至低于完全没看过AI使用示例的对照组（p<.05）。
- 用类似方式提问的“生成式AI能比普通文职人员更好地完成工作”也是如此。低性能（免费）AI组为3.37分，是三组中认同得分最低的（与高性能AI组相比p<.01，与对照组相比p=0.416）。
- 看过AI回答的经历提高了“AI能帮到我”的期待；但如果看到的是低性能模型，“AI比人强”的评价反而下降。
“AI比人强”
各组平均认同程度（五点量表）与95%置信区间
3工作年限与AI带来的经济威胁之间的关系，在免费AI组和付费AI组中完全相反。
- 如果直接问“生成式AI普及之后，你的工资会怎样？”，受访者很容易对自己的职业作出比实际更乐观的回答。
- 因此，我们先让受访者在一张表里预测全部12种职业的工资变化，等他们答完这道题、过了一段时间之后，才询问其本人的职业。分析中只使用受访者本人职业那一行的回答。
- 这样，我们就能把受访者对自己职业在AI时代有多安全（或者反过来说有多脆弱）的判断，放在与其他职业相同的尺度上，尽可能客观地测量。
问卷题目：把我的职业混在其他职业中一起问
“如果生成式AI在我们社会普及，您预计今后5年内以下各职业的工资（年薪）会如何变化？”（以一名艺术从业者受访者的回答为例）
| 下降20% | 下降10% | 不变 | 上升10% | 上升20% | |
|---|---|---|---|---|---|
| 医疗卫生人员（医生、药师等） | |||||
| 法律及金融专业人员（律师、会计师、税务师等） | |||||
| IT及软件开发人员（程序员、数据科学家等） | |||||
| 制造业工程师与研发人员（机械、电气、化工等） | |||||
| 大学教授与研究人员（政治学家、心理学家、经济学研究员等） | |||||
| 经营管理人员（CEO、企业高管等） | |||||
| 普通文职人员（市场营销、人事、企划等） | |||||
| 公务员与教师 | |||||
| 服务和销售人员（店员、呼叫中心客服等） | |||||
| 生产制造及有关人员（制造业生产工人、建筑工人、司机等） | |||||
| 艺术从业者（作家、音乐家、设计师等）我的职业 | |||||
| 农林牧渔业从业者（农民、渔民、林业从业者等） |
- 下图用分组回归线展示了这样得出的本人职业预期工资变化如何随现职从业年限（工作年限）变化。
- Y轴（纵轴）数值越大，表示受访者越觉得自己在AI时代安全；数值越小，表示越觉得自己容易受冲击。
- 分析结果显示，高性能付费AI组工作年限越长，越担心自己的工资会下降更多；接触低性能免费AI的有经验者则相反，工作年限越长，越不觉得AI是很大的威胁。高性能AI组的预期值从工作1年的−4.0%降到工作30年的−6.5%，按工作年限每1年计，斜率比对照组低0.20个百分点（p<.01），比低性能AI组低0.19个百分点（p<.05）。
- 尤其是看过免费AI回答的人，与完全没看过AI示例的对照组呈现出统计上没有差异的相同趋势，对AI威胁并不敏感，这一点令人印象深刻。按工作年限每1年计，斜率在低性能AI组为+0.09个百分点，在对照组为+0.10个百分点，两者相近（斜率差异p=0.854）。
- 可以说，这一结果揭示了现实中资深员工群体对AI的反应为何分歧很大的原因之一。
不同工作年限下本人职业的预期工资变化
生成式AI普及后5年内本人职业的预期工资变化（%），按现职从业年限（年）分组的回归线
工作年限越短工作年限越长4其他题目
- 付费模型订阅意向（“是否愿意订阅每月20美元的付费模型”）在对照组为32.6%，在低性能AI组（22.9%，p<.001）和高性能AI组（26.0%，p<.05）都更低。
- “生成式AI会让很多人失去工作”这道题，三组都在3.6分多，没有差异（对照组3.64分，高性能AI组3.68分，p=0.402）。
小结
- 一半以上的受访者从未用过生成式AI，用过的受访者大多也只是偶尔用用免费版。
- 实验中，接触低性能AI的人对“AI比人类更准确”的态度，甚至比完全没看过AI回答的人更消极。接触高性能AI的人认同比例在三组中最高。
- 高性能付费AI组工作年限越长，越担心自己的工资在AI时代会下降更多；低性能免费AI组则和对照组一样，工作年限越长，越不觉得AI是很大的威胁。体验过的AI性能不同，人们对AI时代人类所处的位置，以及自身的经济前景，作出了不同的评价。
解读结果时的注意事项
调查于2024年5月进行。使用率、使用频率等使用情况数据是当时的回答，不反映此后推出的模型或使用环境的变化。
实验组接触的是事先生成好的AI回答。这和受访者亲自使用AI不同，而且仅凭五项任务的回答，无法代表各模型的整体性能。
组间差异在五点量表上为0.1~0.3分。由于是随机分配，可以认为这一差异来自看过AI回答的经历，但一次短暂接触造成的差异能维持多久，这项调查无法回答。
按职业统计的使用率，各职业受访者人数不同。法律及金融专业人员（18人）、农林牧渔业（16人）等受访者较少的职业，比例的误差较大。
分析方法
这里整理了正文数值所依据的样本和计算标准。
调查概况
| 项目 | 内容 |
|---|---|
| 调查时间 | 2024年5月 |
| 调查方式 | 由专业调查机构（DataSpring）面向在线样本库开展网络问卷调查 |
| 对象 | 全国18~69岁成年人 |
| 样本 | 1,700人。依据2024年人口统计，按性别、年龄（6个年龄段）、居住地区（17个广域行政区）比例进行配额抽样。在1,821名完成作答者中，从超出配额的单元格随机剔除 |
| 抽样误差 | 95%置信水平下±2.38个百分点 |
实验设计与组间平衡
受访者先回答性别、年龄、居住地区、能力与工作特征、生成式AI使用经历等题目，再被随机分配到三组之一。学历、职业、收入等其余个人基本信息，在完成全部共同问卷后最后询问。低性能AI组和高性能AI组按随机顺序完成五项任务（报道理解、报道标题生成、小说句子排序、广告语排序、家庭关系），每项任务后查看AI的回答。AI的回答必须在屏幕上显示一定时间以上，才能进入下一题。对照组不做任务，直接填写共同问卷。低性能AI的回答由当时的免费模型GPT-3.5生成，高性能AI的回答由当时的付费模型Claude 3 Opus生成。
三组的特征大多没有差异，只有付费生成式AI订阅比例在10%的水平上存在差异（对照组9.7%，低性能AI组6.3%，高性能AI组8.9%）。即使控制已有使用类型（未使用、免费、付费）以及年龄、性别、学历、收入等，正文中的组间差异也都保持同一方向，只有“比人类更准确”一题中低性能AI组与对照组的差异由p<.05减弱为p<.1。剔除已有订阅者后的1,559人中，付费模型订阅意向的差异同样存在（对照组27.7%，低性能AI组19.2%，高性能AI组21.1%）。
p值为针对“三组均值相等”这一假设的F检验（HC3标准误）。个人月收入取作答区间的中值。年龄、性别、生成式AI使用经历和是否订阅在分配前测量，学历和收入在问卷最后测量。
两个AI的性能差异
低性能AI的回答由GPT-3.5生成，高性能AI的回答由Claude 3 Opus生成。调查当时，GPT-3.5可以在ChatGPT中免费使用，Claude 3 Opus则提供给每月20美元的Claude Pro订阅用户。在开发商公布的标准基准测试中，Claude 3 Opus所有项目都高于GPT-3.5。
在用户不知道是哪个模型的回答、比较两个回答并选出更好一方的排行榜（Chatbot Arena）上，差距同样很大。截至2024年5月8日，Claude 3 Opus以1,248分在95个模型中排第2，GPT-3.5以1,108分排第35。140分的分差意味着，把两个模型的回答并排放在一起时，Claude 3 Opus的回答被选中的概率约为69%。
基准测试数值引自Anthropic的Claude 3模型卡（2024年3月）表1。表中GPT-3.5的数值是OpenAI的GPT-4技术报告等外部报告值，而且有些项目（GSM8K、MATH等）各模型的示例题数量或引导解题过程的方式不同，并非严格的同条件比较。DROP的数值是F1分数（0~100），不是正确率。Chatbot Arena分数取自LMSYS公布的2024年5月8日排行榜中gpt-3.5-turbo-0125和claude-3-opus-20240229的数值，排名把置信区间重叠的模型并列为同一名次。
实验任务与AI的回答
这是低性能AI组和高性能AI组实际接触的五项任务和两个AI的回答。点击任务，可以比较两个AI的回答。
任务用20秒读一篇报道，内容是媒体记者收受财物、以压下报道作为交换的事件。读完后不再回看报道，直接作答。
“根据前面的报道，从废弃物处理业者那里收受贿赂的媒体是以下哪一家？”
- (1) JTBC
- (2) 新环境新闻
- (3) Newsis
- (4) 媒体今日
- (5) eDaily
正确答案：新环境新闻
低性能AI正确从废弃物处理业者那里收钱的媒体是“新环境新闻”。
高性能AI正确根据报道内容，收受贿赂的媒体是‘新环境新闻’。
报道称，JTBC《新闻室》节目通过‘贴身镜头’单元，拍到了一名自称‘新环境新闻’局长的安某记者从废弃物处理业者那里收钱的画面。据报道，安记者威胁说要收集该企业的违法线索并举报，以此索要钱财。
因此，在给出的选项中，可以说(2)新环境新闻是从废弃物处理业者那里收受贿赂的媒体。
任务读完以下内容的报道，想一想最合适的标题。AI则被要求根据同一篇报道写出五个标题。
一篇消费者联盟的调查报道：10款方便型牛骨高汤产品的钠含量最多相差13倍，部分产品只吃一袋就达到每日标准量的112%
无标准答案
低性能AI- 家庭使用牛骨高汤时，发现钠含量差异大
- 影响韩国人的盐摄入量？牛骨高汤钠含量对照分析
- 方便型牛骨高汤，钠含量大幅差异……消费者们吃惊
- 选择牛骨高汤时，不仅要看价格，也请关注营养成分！大田·忠南消费者联盟比较分析结果
- 方便型牛骨高汤，钠含量高达112%……大田·忠南消费者联盟的警告
高性能AI- 方便牛骨高汤，钠含量最多相差13倍...也有产品超过每日标准量
- 同是牛骨高汤，钠含量各不相同...消费者需注意
- 选购方便牛骨高汤须确认钠含量...部分产品超过每日标准量
- 一袋牛骨高汤就摄入每日钠标准量的112%...各产品含量差异大
- 方便牛骨高汤，从钠含量到价格，各产品差异悬殊...消费者需仔细确认
任务把科幻短篇《我绝对不要那样难看地老去》（Sim Neoul）中的七个句子按自然的顺序排列。
- A. 胶囊里有一个刚好能躺下一个人的空间。
- B. 店员拿起我的手机往胶囊上一贴，胶囊“噗咻”一声打开了。
- C. 原本宽松的空间随着我的身体变了形。
- D. “啊，好的”
- E. 店员笑着在我的手机上装了一个应用程序。
- F. 我进到胶囊里躺下，胶囊就关上了。
- G. “用一次是20分钟”
无标准答案
低性能AIB → E → D → A → C → F → G
高性能AIE → G → D → B → A → F → C
这样排列的话，店员安装应用程序、告知使用时间之后，主人公同意、胶囊打开的过程，以及主人公进入胶囊躺下、胶囊关闭、空间变形的过程，就能自然地衔接起来。
任务YouTube Premium每月1万4千韩元，可以无广告观看YouTube。把它的四条广告语按效果从好到差排列。
- A. 升级到Premium，用全新的方式体验YouTube吧。
- B. 音乐和视频不间断，YouTube Premium，随时随地。
- C. 在没有广告的世界里享受专属于我的时光，YouTube Premium，不间断
- D. 在后台也能继续播放的YouTube，多任务处理更愉快。
无标准答案
低性能AIC > A > D > B
C看起来是最有效的广告语。这句广告语强调了通过YouTube Premium在没有广告的环境中拥有独占时间的体验。其次，A强调了通过转换为Premium可以获得新的体验。D强调后台播放和多任务功能，突出了实用性，但B相对来说不如其他广告语有效。
高性能AIC > B > D > A
评估广告语的有效性，取决于目标受众的偏好以及能多好地传达服务的主要好处。YouTube Premium的主要好处是去除广告、后台播放、不间断的音乐和视频流媒体。
- C. 强调去除广告这一大好处，同时让个人时间变得更加珍贵。
- B. 强调不间断的流媒体以及随处可用这一点。
- D. 强调后台播放功能，突出它能让多任务处理更加愉快。
- A. 强调新的体验，但没有明确传达具体好处。
任务在30秒内读完下面的说明并作答。
“这个家庭的家长是志勋，妻子是妍书。妍书的母亲是惠玉，惠玉的丈夫是寿福。志勋的父亲是振熙，母亲是华妍。妍书有一个女儿叫智英，还有一个姐姐叫敏贞。”
“智英的姨妈叫什么名字？”
正确答案：敏贞
低性能AI错误智英的姨妈是华妍。
高性能AI正确把题目中给出的家庭关系整理如下。
- 志勋：家庭的家长
- 妍书：志勋的妻子
- 惠玉：妍书的母亲
- 寿福：惠玉的丈夫，妍书的父亲
- 振熙：志勋的父亲
- 华妍：志勋的母亲
- 智英：妍书的女儿，志勋和妍书的子女
- 敏贞：妍书的姐姐
问题问的是智英的姨妈叫什么名字。姨妈指的是母亲的姐妹。妍书的姐姐是敏贞，所以对智英来说，敏贞就是姨妈。因此，智英的姨妈名叫敏贞。
AI的回答译自问卷页面上展示的原文。受访者在每项任务中先自己选出答案，再查看AI的回答。任务顺序对每位受访者随机打乱。
组间差异检验
我们把各题的回答对组别虚拟变量做回归，用异方差稳健标准误（HC3）检验组间差异。低性能AI组与高性能AI组之间的比较，是把基准组换成低性能AI组后，用同样的方法估计的。
- ：受访者的认同程度（1~5分）或订阅意向（0, 1）
- ：属于低性能AI组、高性能AI组时取1的虚拟变量（基准为对照组）
- ：各组与对照组的平均差异
“低性能”指低性能AI组，“高性能”指高性能AI组。p值在p<.1下显著时用不等号表示，不显著时写出精确值。
工作年限与预期工资变化
本人职业的预期工资变化，是在针对12种职业分别询问的题目（下降20%、下降10%、不变、上升10%、上升20%）中，取受访者本人现职对应的回答，换算为−20、−10、0、10、20（%）得到的值。工作年限是从事现职的时间（年）。我们以目前有工作的1,284人为对象，估计了下面的模型。
- ：现职从业年限（年）
- ：低性能AI组、高性能AI组虚拟变量（基准为对照组）
- ：年龄、性别、是否高学历、收入、是否居住在大城市、是否就业、是否已婚、政治倾向、已有生成式AI使用类型（未使用、免费、付费）
- ：高性能AI组相对于对照组的工作年限斜率差异。
- ：低性能AI组相对于对照组的工作年限斜率差异。
变量定义
- 使用经历：对“您是否用过生成式人工智能（ChatGPT、Claude、Google Bard/Gemini、Naver CLOVA X、Upstage Solar等）？”回答“是”的受访者。付费订阅指对“您是否正在付费订阅某款生成式人工智能？”回答“是”的受访者。
- 使用频率：五个模型各自的使用频率（几乎每天、每周至少2次、每月至少2次、偶尔用过一两次、从未用过）中最高的频率。
- 高学历：首尔地区四年制大学毕业或研究生毕业及以上。
- 职业：受访者从医疗卫生、法律及金融专业人员、IT及软件开发人员、制造业工程师与研发人员、大学教授与研究人员、经营管理人员、普通文职人员、公务员与教师、服务和销售、生产制造及有关人员、艺术、农林牧渔业这12个类别中选择的职业。