在过去的一年里，云技术、机器学习和生成式AI变得更为普及，从写电子邮件到开发软件，甚至是癌症早期筛查，这些技术几乎影响到人类生活的方方面面。创新将是未来数年各个领域的重要主题，旨在普及技术，帮助我们跟上日益加快的生活节奏，而这一切都将始于生成式AI。
生成式AI将逐渐具备文化意识
用文化多样性数据训练的大语言模型（LLM）将更加细致入微地了解人类经验和复杂的社会挑战。这种文化流利度有望让全球用户更便利地使用生成式AI。
从我们讲的故事、吃的食物和穿着打扮，到价值观、礼仪、偏见、处理问题和做决定的方式，文化影响着我们的一切。它是我们在社区中立足的基础，是我们的处事规则和信仰准则，是一种取决于我们身处何地、相伴何人的契约。
与此同时，文化差异有时也会造成混淆与误解。日本文化将吃面时大声吸汤视为一种享受，但其他文化认为此举很不礼貌；印度传统婚礼习俗要求新娘身穿精巧艳丽的蓝嘎（lehenga），西方传统则是让新娘身穿白色婚纱，在希腊甚至有往婚纱上吐口水以求好运的习俗。作为人类的我们已经习惯跨文化环境，因此我们能综合各种文化信息，调整解读方式并做出适当回应。
所以，为何不期望我们赖以生存的技术也能实现这一点呢？在未来几年里，文化将在技术的设计、部署和使用方式中发挥至关重要的作用，其影响将在生成式AI中体现得淋漓尽致。
大语言模型要想触达全球用户，必须达到与人类自身相同的文化流利性。佐治亚理工学院（Georgia Institute of Technology）的研究人员在今年早些时候发布的论文中证明，即使向一个大语言模型提供明确提及伊斯兰祈祷词的阿拉伯语提示词，生成的回复依然是建议与朋友们一起喝酒，而喝酒在伊斯兰文化中是不当之举。这种情况在很大程度上与可用训练数据有关。目前被用于训练众多大语言模型的Common Crawl数据集大约有46%的内容是英语，而且无论何种语言，更大比例的可用内容以西方文化为基础（明显倾向于美国文化）。如果将相同的提示词输入用阿拉伯语文本预训练且专门生成阿拉伯语响应的模型，就会得到更符合文化背景的回复，比如建议喝茶或咖啡。近几个月开始出现一些非西方语境的大语言模型：用阿拉伯语和英语数据训练的Jais，中英双语模型Yi-34B，以及用大量日语网络语料库训练的Japanese-large-lm。这些迹象表明，具有文化准确性的非西方模型将向数亿人提供生成式AI，其影响将会涉及教育、医疗等方方面面。
要记住，文化和语言并非完全相同，一个模型即便能给出最完美的翻译，也未必具有文化意识。随着无数历史和经验被融入模型，我们将会看到大语言模型开始形成更广泛的世界性视角。正如人类从辩论探讨和思想交流中学习一样，大语言模型也需要类似的机会来拓展视野、了解文化。有两个研究领域会在这种文化交流中发挥关键作用：一是基于人工智能反馈的强化学习（RLAIF），即一个模型吸收另一个模型的反馈，由此让不同模型相互影响，并根据这些影响更新其对不同文化概念的理解；二是通过多智能体辩论进行协作，即一个模型的多个实例生成响应，然后辩论每个响应的正确性及理由，最后通过这一辩论过程得出一致响应。这两个研究领域都能降低训练和微调模型所需的人力成本。
(来源/作者：奔流实时）
相关文章