2023年5月12日上午，由20700app大阳城、语言脑科学中心和川外学坛联合举办的“语言智能大讲堂”之“AI研修讲坛”在博文楼401报告厅成功举行。明尼苏达大学计算语言学博士，Coupang高级应用科学家李定成博士应邀做了题为“ChatGpt核心原理与技术”的学术讲座。20700app大阳城全体教师及硕博研究生以及线上师生参加了此次讲座。

李定成博士作讲座

李定成博士从ChatGPT的核心技术和原理机制出发，包含预训练和微调、遮罩因果语言建模、大规模参数，生动形象地讲述了堪称后工业时代辉煌的ChatGpt实现过程。首先，李博士以人工智能中领域中基本的术语如深度学习和神经网络作为引导，阐述了机器学习领域中各种算法的基本架构、运行规则和原理。在第二部分中，李博士通过详述了单层感知机的底层数学原理和组成结构是如何实现对单个神经元的建模并将范围扩展到如何构建整个神经网络以及各种神经网络的组成结构。李博士指出感知机是人工神经网络中的一种典型结构，其主要特点是结构简单，对所能解决的问题存在着收敛算法，并能从数学上严格证明，从而对神经网络研究起了重要的推动作用。接着，李博士介绍了当前人工智能的核心模型——Transformer模型的构建与应用。他分享了Transformer模型最初出现的一篇论文：《Attention Is All You Need》，描述了Transformer模型的基本原理和优势：在其他人工智能方法中，系统会先关注输入数据的局部patch，再构建整体。例如，在语言模型中，邻近的单词首先会被组合在一起。相比之下，Transformer模型运行程序以便输入数据中的每个元素都连接或关注其他元素。另外，李博士还结合案例直观详细地演示了Transformer模型能成为当今人工智能领域主流的主要原因。在第三部分中，李博士通过介绍预训练和自监督学习模型的关系，描述了ChatGpt中用到的语言模型原理以及类似ChatGpt的不同语言模型：BERT、Gpt和BART三者之间的区别。他从设计思想、语言模型各自的优缺点出发，深入浅出地介绍了当今领域热门的聊天机器人类语言模型。最后，李博士从历代Gpt模型的参数规模变化的角度切入并指出，Gpt每一次的迭代都意味着指数级的参数规模变化，正是因为使用了超大规模的参数，再结合神经网络模型模拟人脑的工作，才使得当今ChatGpt能够与用户进行智能交谈。

在互动环节，线上线下师生踊跃提问，例如人工智能大力发展的语境下，ChatGpt对英语教学以及科研的启示是什么？未来怎样将人工智能技术更恰当地应用于语言学科？。李定成博士针对所提问题结合实例进行了详细专业的解答，并对未来语言智能领域发展进行了展望，现场互动气氛热烈。

姜孟院长作总结

在结束之际，姜孟院长对本次“人工智能”专题研修讲座给予了高度评价，他指出李博士的报告立足前沿，内涵新颖，报告内容深入人心，富含启迪，是一场高水平，高水准的学术报告。同时姜孟院长也希望语言智能学子们能拓宽视野和知识面，沉淀并积累自身的学业素养，发挥本专业多学科交叉融合的优势，走出一条未来可期、顺应人工智能高速发展要求的时代之路。

20700app大阳城（通识教育学院）

语言脑科学研究中心

川外学坛

2023年5月17日