GPT能否成为GPTs:通用目的技术视角下的生成式人工智能

2024-03-26
1.jpg


Tanquam ex ungue leonem[1].

——题记


本文为专栏投稿文章,作者Reform Teng,在读经济学博士生,研究方向为产业经济学和信息经济学。


这是科睿研究院第150篇原创内容。

全文约6105字,阅读大约需要12分钟。




近年来,以GPT系列语言模型(Generative Pre-Trained Transformer,生成式预训练转换模型)为标志的生成式人工智能技术(Artificial Intelligence Generated Content,下文简称AIGC或生成式AI)席卷全球。


从2022年底以来,包括ChatGPT、Gemini、Sora、Claude等新的代表性技术应用蓬勃兴起,与之相关的人工智能新兴产业呈现出旭日东升的强劲势头。这种强劲势头也带动了美国资本市场估值的持续冲高。以美股“七巨头”(苹果、微软、谷歌、亚马逊、英伟达、特斯拉和Meta)为代表的科技股也在去年持续上涨,为标普指数贡献了过半的涨幅,从而拉动该指数在今年初重回历史高位。


2.jpg

AIGC


与此同时,全球的金融资本和科技大佬对这一系列技术的前景虽然反应强烈,但观点也有对立和分化。


微软公司创始人比尔·盖茨在其专栏博客表示,自1980年首次看到图形用户界面(graphical user interface)以来,OpenAI开发的GPT模型,是他所见过的最具革命性的技术进步,并将其与创造微处理器、个人电脑、互联网和手机等技术发明相提并论。


中国腾讯集团CEO马化腾先生则将其类比为“发明电的工业革命一样的机遇”。高盛(Goldman Sachs)的研究报告也预测,生成式AI可将全球GDP提升7%,相当于10年期间全球年GDP增长近7万亿美元。


相比之下,包括马斯克在内的千名人工智能专家和行业高管也在去年发布联名公开信,并呼吁人工智能实验室暂停对最先进系统的开发,并强调AI工具“将是人类未来文明的最大风险之一”。股神沃伦·巴菲特也在股东大会上警告:“AI将颠覆社会。”而著名的人工智能教父Geoffrey Hinton因对生成式AI感到担忧,也在去年从谷歌离职,Hinton认为AI 在过去五年里发展神速,而未来五年可能发生的事情将是“非常可怕”的。


从这些反应可以看出,对于生成式AI,金融资本和科技大佬们,既有乐观和兴奋,也有悲观和忧虑。但不论如何,他们都极为重视这项技术变革的影响力。这不禁让吃瓜群众们好奇:为什么这些大佬们会如此重视生成式AI带来的技术冲击,甚至将它和电力和计算机这类颠覆性技术变革相提并论?生成式AI能否带来这种颠覆性的技术变革?


为更好地回答这一问题,本文首先尝试从“通用目的技术”这一理论视角出发,明确这些颠覆性技术变革的共性;进而结合生成式AI技术应用的特点,简要判别其是否体现出这些共性,由此更全面理解生成式AI技术变革的特性。



01

通用目的技术:一个简要回顾

1


概念和特性


自索洛(1956)的开创性工作以来,技术进步被新古典经济学派视为长期经济增长的源泉。回顾历史,相比大多数渐进的技术变化,某些极少数全局性的技术变革,其广度和深度往往超乎寻常,由此在人类社会中扮演着更为重要的角色。在经济学中,这类技术被称为“通用目的技术” (General Purpose Technologies,本文以下简称GPTs,以区别当下火热的GPT)。根据Bresnahan、Trajtenberg和Helpman等经济学家的开创性理论,GPTs有以下三个基本特性(衡量标准):


1、普遍适用性(Pervasiveness): GPTs能作为投入品,被广泛应用到大多数行业。例如,电力可以为各工业部门所用,计算机可以为企业和居民消费广泛应用。

2、持续改进性(Improvement): 通过持续的创新和演化,GPTs的表现会随着时间的推移而不断改善。这种改进可表现为与GPTs的相关产品、系统及组件降低了成本,也可表现为质量改善。例如,计算机领域的摩尔定律,即集成电路容纳的晶体管数量大约一到两年间便会增加一倍,同时性能提升一倍,成本则相应降低。

3、创新萌芽性(Innovation Spawning): GPTs的创新会促进相关应用技术的创新,进而提高应用部门的技术进步率,而应用部门的技术进步又会反过来促进GPTs自身的进步。例如,苹果公司计算机硬件部门的创新促进了其软件部门的技术进步,而后者又会协同作用于前者。


2


哪些技术是通用目的技术?


基于上述基本特性作为衡量标准,虽然人类历史上存在众多的技术进步,但大多数技术只能称为专用目的技术(Specific Purpose Technology, SPT),即应用场景仅限于特定目的的技术。而真正能称为GPTs的技术只有二十余种,根据Lipsey等(2005)的研究,他们分别被分类为产品型技术、流程型技术、组织型技术。其中,产品型技术分别有轮子、铜、铁、水轮、三桅帆船、蒸汽机、铁路、铁轮船、内燃机、电力、汽车、飞机、计算机、互联网和纳米技术;流程型技术分别有植物驯化、动物驯养、矿石冶炼、货币、书写、印刷术、化工技术和生物技术;组织型技术分别有现代工厂制度、大规模(批量化)生产和集约(精细化)生产。


这些技术,有的跨越几千年的漫长历史,却仍在现代社会发挥不可或缺的基石作用;有的“润物细无声”,让人习以为常或不知不觉,而不曾深思它对人类历史的推动作用;有的在关键的产业革命时代作为技术开端,给旧秩序带来“创造性破坏”和颠覆性冲击。


3.jpg

历次产业革命的关键GPTs


1


产业革命的原动力:那些颠覆性的GPTs


关于GPTs更深入的理论梳理和历史分析,仍然是经济史和增长理论当中的开放性问题,后续可能还会有专文回顾,这里不进行过度展开。


从经济史和增长理论的流行叙事来看,在这二十多种GPTs当中,蒸汽机、内燃机、电力和计算机被公认为最具颠覆性的技术变革(Jovanovic & Rousseau, 2005),正如英国历史学家伊恩·莫里斯在《西方将主宰多久》指出:“蒸汽机使得整个世界早期发展历史的所有剧本都显得拙劣无比。”


卡尔·马克思也曾感叹:“蒸汽大王在前一个世纪翻转了整个世界,现在他的统治已到末日,另外一种更大得无比的革命力量——电力的火花将取而代之。”在我们的日常观念中,基于蒸汽机、电力和内燃机、计算机分别作为创新起点的技术变革,依次驱动了我们耳熟能详的第一、二、三轮产业革命,这些轮次的产业革命浪潮,往往在给旧秩序带来“创造性破坏”之后,都能为后来的经济社会创造指数级的财富增量。


4.jpg

蒸汽机(左)和电力(右)分别推动了产业革命和社会转型


02

生成式人工智能能否成为新一代

通用目的技术?


关于生成式AI技术原理、模型架构和发展简史等方面的介绍,由于此前诸多学术论文、网络平台和公众号均有较为全面的介绍,本文限于篇幅不再进行赘述,这里重在回答“生成式AI是否有潜力被归入通用目的技术(GPTs)的范畴?”的关键问题。


回答这一问题,我们需要参照上文提到衡量通用目的技术的三个标准进行评价。


1


普遍适用性


探讨新技术是否有潜力成为通用目的技术(GPTs),首先要考察其是否具有广泛的应用场景,即“普遍适用性”。否则,即便该技术再高端复杂,再价格昂贵,也只能是专用目的技术(SPT)。对于生成式AI技术而言,虽然其仅仅问世一年多,但已为不同行业和领域的受众所广泛应用。这也反映了它具有较为明显的普遍适用性。限于篇幅所限,下边仅举和读者日常生活密切相关的几方面应用场景作为例证。


其一,在日常办公领域。生成式 AI能够在和用户的互动下生成对应的内容,因此,日常办公中那些重复性较高、创造性较低的任务都可以由它辅助完成,例如发布内部通知、整理内部会议内容、处理常规邮件等工作。这也将极大改变政府和企业中大量办公室文员的工作场景。


其二,在学科教育领域。生成式 AI可以根据用户个性化的需求,帮助他们构建不同风格的学习环境和学习内容,并根据其反馈不断优化输出内容,或者根据其动态需求自动进行调整。通过这种个性化的“因材施教”,用户的学习体验和学习质量将得到很大的提升。


其三,在专业咨询领域,生成式 AI在经过更为专业化的训练之后(例如,输入更专业的预训练数据集),能够充当个人或者企业的专业咨询顾问,提供包括金融投资、家庭理财、信息咨询、法律顾问、日常保健、税务筹划、经济预测、方案评估等专业领域的丰富建议。


从某种意义上说,虽然普遍适用性是一个需要时间来验证的特性,但生成式AI在短期内的应用广度已经让人惊艳。可以预见的是,随着生成式AI在未来不断进步,它还能持续将人们的美好需求和技术想象力相结合,构建更广阔的应用场景。


2


持续改进性


作为一种技术,从发展历程来看,生成式AI的持续改进性是非常明显的,至少在以下几个方面表现明显:


首先,从GPT系列这几年的发展来看,在ChatGPT出来之前,GPT的参数和预训练数据量早已有随着时间而加速递增的态势,2018年的早期GPT-1的参数和预训练数据量分别为1.17亿和5GB,2019年的GPT-2则分别为15亿和40GB。到了2020年GPT-3面世时,参数已经激增到1750亿,而预训练数据量也激增到45TB。虽然后续GPT的版本参数量和预训练数据量均未确切公布,但保守估计其参数至少万亿以上。可以看出,生成式AI在底层模型体量上能够呈现指数型的持续进步态势。


同时,这种底层模型体量的持续进步,也推动了模型性能的飞速进步。同样以GPT系列为例,从GPT-1到GPT-2,虽然参数量和预训练数据量有大幅提升,但其表现仍未突破瓶颈。GPT-3在增加参数量和预训练数据量后,在语言识别、逻辑推理和问题解决等方面都有了明显飞跃,而ChatGPT一问世,其在这些方面的表现已震撼全球。到了GPT-4,上述提升就更加明显了。


例如,在模拟的律师考试中,GPT-4的通过率约为应试者的前10%,而GPT-3.5则是在后10%。同时,论文审稿方面,GPT-4能够对大量学术论文进行投稿评审,总体意见与普通人类评审员真实意见显著重叠。这些都反映了生成式AI在模型性能方面的表现,随着其版本更新而飞速进步。


此外,生成式AI在模态方面的持续进步也非常值得关注。在生成式 AI 发展早期,其模型基本以单模态,特别是文本数据为主。


例如,从 GPT-1 到GPT-3都是通过文本输入来进行文本输出。随着生成式AI的持续发展,其从单模态向多模态的跨越也非常迅速。其中最令人瞩目的产品当属OpenAI近期推出的Sora,Sora 作为多模态大模型,在文生视频领域展现了巨大的潜力,它不仅能够生成长达 1 分钟的连续视频,还展现了处理三维空间的连贯性和对数字世界的模拟能力。这种由单模态向多模态的进步,也体现了生成式AI技术进化的广阔空间。


5.jpg

Sora的进步


1


概念和特性


从ChatGPT问世以来的表现来看,以GPT系列为代表,生成式AI的创新萌芽性,具体表现如下:


首先,对技术和应用方面的创新而言,生成式AI作为底层工具,能够催生出大量的新技术和新应用,实现协同演化。


一方面,仅以内容创造和日常办公等领域来看,ChatGPT问世短短一年以来,全球广大创业者和工程师就依托其开发出数以千计的小程序应用创新,涵盖自动化客服、聊天机器人、机器翻译、编程助手、邮件助手、图像编辑、法律顾问、视频剪辑等不同细分领域,这充分说明了生成式AI对所在领域的应用创新和中小创业者具有极强的带动辐射作用。


另一方面,生成式AI在促进其应用领域技术创新的同时,这些领域的技术创新也会反哺促进生成式AI自身的技术创新。以生成式AI助力机器人领域创新的细分领域为例,英伟达和波士顿动力公司、Collaborative Robotics等机器人领域的头部企业,近年来通过合作推广生成式AI在机器人中的应用,为各类机器人提高智能效率。用户能够基于NVIDIA Picasso等生成式AI工具,用简单文字提示生成逼真的3D资产,再将其添加到数字场景中,便可实现动态的机器人训练环境。


例如,追觅科技则利用生成式AI,创建相应的模拟生活空间,从而让其开发的吸尘器机器人可以接受训练。Agility Robotics等公司利用英伟达提供的生成式AI,帮助机器人理解文本和语音命令。在这种情形下,机器人提高表现,也需要更好的控制技术,从而对英伟达生成式AI的仿真计算系统提出更多需求,促进其性能优化和进步。这一案例充分表明,生成式AI和其应用领域能够实现协同进步。

6.jpg

英伟达助力机器人技术

其次,对科研创新而言,生成式AI也能够有效助力科学研究,探索更大的未知。相比技术创新,科学创新往往有不同规律。对科学家而言,完成创造性工作,往往需要付出更多的试验成本和脑力劳动,用于研读文献、提出构想、解析方程、实验操作和计算模拟等科研活动。而生成式AI的问世,将能大大帮助科学家降低上述活动的成本:


一方面,ChatGPT等应用能帮助科研人员更快阅读和理解大量的文献资料,同时也可以帮助他们撰写规范性的科学报告和论文。这极大地提高科研效率,为科研人员节省大量的时间和精力。


另一方面,生成式AI能通过提供更逼真的模拟计算情境,降低科学家的试验成本。以医药领域研究为例,英伟达近年来开发了一个名为NVIDIA BioNeMo的生成式AI平台,旨在训练和部署超算规模的大型生物分子语言模型,它提供了一种全新的计算方法,使科学家能在低代码、用户好的环境进行生成式AI研究,从而减少实验,甚至在某些情况下能完全取代实验,该大型语言模型(LLM)框架支持化学、蛋白质、DNA和RNA数据格式,借助新兴的生成式AI工具,药物研发团队可以观察到特定的氨基酸或核苷序列、结构、功能和意义的基本组成部分,从而生成或设计出可能具有所需特性的新型分子。这既能使研究人员筛选出更精确的候选药物来推进研究,减少昂贵、耗时的物理实验工作,也能帮助科学家更好地了解疾病,并为患者找到治疗方法。


从这些方面可以预期,生成式AI对科研的创新孕育性,将能为经济增长和社会繁荣提供更大的可能性。


03

小结


综上所述,对标GPTs的三个衡量标准,我们可以看到,尽管生成式AI问世才短短数年,它已经展现出了作为GPTs的普遍适用性、持续改善性、创新萌芽性这三个核心特征。同时,不论从技术变革的速度、广度和深度来看,生成式AI都有巨大潜力,比肩甚至超过那些被相提并论的颠覆性技术变革。因此,它有极大可能成为新一代通用目的技术。


然而,一旦生成式AI成为GPTs,不仅意味着它能为经济增长和社会繁荣提供巨大动力,如同普罗米修斯的火种一样发出燎原的光明;也将意味着它能为社会带来“创造性破坏”,甚至如同潘多拉的魔盒给社会带来复杂的人性和道德挑战。


“奇点”或将到来,回顾技术变革的历史,理解生成式AI作为GPTs的重要共性,将有助于学者认真思考与之相关的经济转型和社会治理问题。



参考文献(上下滑动查看更多)


[1] 这句拉丁文可译为we know the lion by his claw(我们能从他的利爪认出这头狮子),与之相关的一个故事则是约翰伯努利对牛顿匿名来信解决最速降线问题的感叹。这里用来表达:虽然生成式AI还是初露峥嵘的新生事物,真正有识之士都能从其发展轨迹中感受到它作为通用目的技术改变社会的巨大威力。

Bresnahan, T. F., & Trajtenberg, M. (1995). General purpose technologies ‘Engines of growth’?. Journal of econometrics, 65(1), 83-108.

Helpman, E. (Ed.). (1998). General purpose technologies and economic growth. MIT press.

Lipsey, R. G., Carlaw, K. I., & Bekar, C. T. (2005). Economic transformations: general purpose technologies and long-term economic growth. Oup Oxford.

Jovanovic, B., & Rousseau, P. L. (2005). General purpose technologies. In Handbook of economic growth (Vol. 1, pp. 1181-1224). Elsevier.

Solow, R. M. (1956). A contribution to the theory of economic growth. The quarterly journal of economics, 70(1), 65-94.

杨虎涛:《数字经济:底层逻辑与现实变革》,社会科学文献出版社,2023年。

陈永伟. 作为GPT的GPT——新一代人工智能的机遇与挑战[J]. 财经问题研究, 2023, (06): 41-58.

(美)莫里斯:《西方将主宰多久》,中信出版社,2011年。