ChatGPT实际上是如何工作的？
ChatGPT的工作原理是什么？
Google、Wolfram Alpha 和 ChatGPT 都通过单行文本输入字段与用户进行交互，并提供文本结果。Google 返回搜索结果，即一系列网页和文章列表，这些网页和文章希望能提供与搜索查询相关的信息。Wolfram Alpha 通常提供与数学和数据分析相关的答案。
另外：如何使用 ChatGPT：您需要了解的一切
特别特点
生成式 AI 的崛起
一股新的 AI 工具浪潮席卷了世界，为我们展示了一种全新的工作方式和寻找信息的方式，可以简化我们的工作和生活。我们向您展示像 ChatGPT 和其他生成式 AI 软件这样的工具如何对世界产生影响，如何利用它们的力量，以及可能存在的风险。
ChatGPT 则根据用户问题的上下文和意图提供响应。例如，您不能要求 Google 写一个故事，也不能要求 Wolfram Alpha 写一个代码模块，但是 ChatGPT 可以做到这些。
从根本上说，Google 的强大之处在于能够进行大量数据库查找并提供一系列匹配结果。Wolfram Alpha 的强大之处在于能够解析与数据相关的问题，并根据这些问题进行计算。
ChatGPT 的强大之处在于能够解析查询并根据数字化可访问的全球文本信息（至少是在其 2021 年训练之前存在的信息）生成完整的答案和结果。
在本文中，我们将探讨 ChatGPT 如何生成这些完整的答案。我们将首先介绍 ChatGPT 运行的主要阶段，然后介绍使其运行的核心 AI 架构组件。
另外：如何使用 Norton 的免费 AI 动力欺诈检测器
除了本文引用的来源（其中许多是每种技术背后的原始研究论文），我还使用 ChatGPT 本身来帮助我创建这个背景资料。我向它提了很多问题。其中一些答案在整个讨论的总体背景下进行了改写。
ChatGPT 运行的两个主要阶段
让我们再次以 Google 为类比。当您要求 Google 查找某些内容时，您可能知道，它并不会在您提问的那一刻立即在整个互联网上搜索答案。相反，Google 会在其数据库中搜索与请求匹配的页面。Google 实际上有两个主要阶段：抓取和数据收集阶段，以及用户交互/查找阶段。
另外：最佳 AI 聊天机器人：ChatGPT 和其他有趣的替代方案
ChatGPT 大致以相同的方式工作。数据收集阶段称为预训练，而用户响应阶段称为推理。生成式 AI 背后的魔力以及它突然爆发的原因是，预训练的方式被证明具有极高的可扩展性。这种可扩展性得益于最近在可负担得起的硬件技术和云计算方面的创新。
预训练 AI 的工作原理
一般而言（因为具体细节需要大量篇幅），AI 使用两种主要方法进行预训练：有监督和无监督。在当前一批生成式 AI 系统（如 ChatGPT）出现之前，大多数 AI 项目使用的是有监督的方法。
有监督预训练是一个过程，其中模型在标记的数据集上进行训练，其中每个输入都与相应的输出相关联。
另外：如何让 ChatGPT 提供来源和引用
例如，AI 可以在客户服务对话的数据集上进行训练，其中用户的问题和投诉与客户服务代表的适当回答进行标记。为了训练 AI，会将类似“如何重置密码？”的问题作为用户输入，将类似“您可以通过访问我们网站上的账户设置页面并按照提示进行操作来重置密码”这样的答案作为输出提供。
在一种监督式训练方法中，整个模型被训练以学习一个能够准确地将输入映射到输出的映射函数。这个过程通常用于监督学习任务，如分类、回归和序列标注。
正如你可以想象的那样，这种方法存在一定的扩展限制。人类训练者必须在很大程度上预料到所有的输入和输出。训练可能需要很长时间，并且在专业知识方面存在局限。
另外：最好的ChatGPT插件（以及如何充分利用它们）
然而，正如我们所了解的那样，ChatGPT在专业知识方面几乎没有限制。你可以要求它为《星际迷航》中的角色Chief Miles O’Brien写一份简历，让它解释量子物理学，编写一段代码，写一篇小说，以及比较美国前总统的统治风格。
不可能预料到所有可能被问到的问题，所以ChatGPT无法通过监督模型进行训练。相反，ChatGPT使用非监督的预训练——这是一个重大改变。
非监督的预训练是指模型在没有与每个输入关联的具体输出的数据上进行训练的过程。相反，模型被训练以学习输入数据中的基本结构和模式，而没有特定的任务目标。这个过程通常用于无监督学习任务，如聚类、异常检测和降维。在语言建模的背景下，非监督的预训练可以用来训练模型理解自然语言的语法和语义，以便在对话环境中生成连贯且有意义的文本。
另外：如何使用ChatGPT创建应用程序
正是在这里，ChatGPT的表面上无限的知识变得可能。因为开发人员不需要知道输入产生的输出，他们只需要将更多的信息导入ChatGPT的预训练机制中，这个机制被称为基于Transformer的语言建模。
Transformer架构
Transformer架构是一种用于处理自然语言数据的神经网络。神经网络通过层层相连的节点处理信息，模拟人脑的工作方式。可以将神经网络看作是一支曲棍球队：每个球员都有自己的角色，但他们在特定角色的球员之间传递球，共同努力进球。
Transformer架构通过使用“自注意力”来处理单词序列，权衡序列中不同单词的重要性以进行预测。自注意力类似于读者在阅读一本书时回顾前一句或前一段以理解新词语所需的上下文。Transformer会查看序列中的所有单词，以理解上下文和单词之间的关系。
另外：我让ChatGPT为我编写了一个我需要的WordPress插件。它在不到5分钟的时间内完成了。
Transformer由多个层组成，每个层都有多个子层。两个主要的子层是自注意力层和前馈层。自注意力层计算序列中每个单词的重要性，而前馈层对输入数据应用非线性变换。这些层帮助Transformer学习和理解序列中单词之间的关系。
在训练过程中，Transformer接收输入数据（例如一句话），并根据输入进行预测。模型根据其预测与实际输出的匹配程度进行更新。通过这个过程，Transformer学会理解序列中单词的上下文和关系，使其成为自然语言处理任务（如语言翻译和文本生成）的强大工具。
另外：你需要了解的7个高级ChatGPT提示写作技巧
需要记住的一点是，这些模型可能会生成有害或有偏见的内容，因为它们可能学习到训练数据中存在的模式和偏见。实施这些模型的公司正努力提供“防护措施”，但这些防护措施本身可能会引发问题。这是因为不同的人有不同的观点，试图根据一种思维流派防止偏见的尝试可能被另一种思维流派视为有偏见。鉴于社会的复杂性，设计一个通用的聊天机器人是困难的。
让我们首先讨论输入到ChatGPT的数据，然后再看看ChatGPT与自然语言的用户交互阶段。
ChatGPT的训练数据集
用于训练ChatGPT的数据集非常庞大。ChatGPT基于GPT-3（生成式预训练变换器3）架构。实际上，这里需要澄清一下。ChatGPT的免费版本是在CPT-3上训练的。如果您每月支付20美元使用ChatGPT Plus，您可以选择使用GPT-3训练数据集或更广泛的GPT-4数据集。
另外：GPT-3.5与GPT-4：ChatGPT Plus的订阅费值吗？
现在，GPT的缩写有意义了，对吧？它是生成式的，意味着它生成结果；它是预训练的，意味着它基于摄入的所有数据；它使用变换器架构来衡量文本输入以理解上下文。
GPT-3是在一个名为WebText2的数据集上进行训练的，这是一个超过45 TB文本数据的库。当您可以以不到300美元的价格购买16 TB硬盘时，45 TB的语料库可能看起来并不大。但是，与图片或视频相比，文本占用的存储空间要少得多。
另外：如何订阅ChatGPT Plus
这么大量的数据使ChatGPT能够以空前的规模学习自然语言中的单词和短语之间的模式和关系，这也是它在生成连贯和与上下文相关的用户查询响应方面如此有效的原因之一。
虽然ChatGPT基于GPT-3架构，但它经过了针对不同数据集的微调，并针对对话使用案例进行了优化。这使得它能够为通过聊天界面与其进行互动的用户提供更个性化和更有吸引力的体验。
例如，OpenAI（ChatGPT的开发者）发布了一个名为Persona-Chat的数据集，专门用于训练像ChatGPT这样的对话式AI模型。该数据集包含超过160,000个两个人参与的对话，每个参与者都分配了一个描述其背景、兴趣和个性的独特人设。这使得ChatGPT能够学习如何生成个性化和与对话具体上下文相关的响应。
另外：如何在浏览器中使用ChatGPT与正确的扩展程序
除了Persona-Chat之外，还有许多其他用于微调ChatGPT的对话数据集。以下是一些示例：
- Cornell电影对话语料库：一个包含电影剧本中角色之间对话的数据集。它包括超过200,000对由10,000多个电影角色组成的对话交流，涵盖了各种主题和流派。
- Ubuntu对话语料库：用户寻求技术支持与Ubuntu社区支持团队之间的多轮对话集合。它包含超过1百万个对话，是研究对话系统的最大公开可用数据集之一。
- DailyDialog：涵盖各种主题的人与人之间的对话集合，从日常对话到社会问题讨论。数据集中的每个对话由几轮组成，并标有一组情绪、情感和主题信息。
除了这些数据集，ChatGPT还在互联网上的大量非结构化数据（包括网站、书籍和其他文本来源）上进行了训练。这使得ChatGPT能够更普遍地了解语言的结构和模式，然后可以针对特定的应用领域，如对话管理或情感分析进行微调。
ChatGPT是一个独特的模型，它使用了与GPT系列类似的方法进行训练，但在架构和训练数据方面有一些不同。ChatGPT有15亿个参数，比GPT-3的1750亿个参数要小。
另外：尝试的最佳AI艺术生成器
总体而言，用于微调ChatGPT的训练数据通常是对话性质的，并经过特别策划以包含人与人之间的对话，这使得ChatGPT能够学习如何以对话格式生成自然且引人入胜的回应。
想象一下ChatGPT的无监督训练方式：它被提供了大量的数据，然后被放任自由地寻找模式并理解其中的意义。这就是使得新的生成式AI系统能够如此快速扩展的机制。
尽管ChatGPT的生成AI的重要工作是由预训练完成的，但它还必须能够理解问题并从所有数据中构建答案。这是通过推理阶段来实现的，推理阶段包括自然语言处理和对话管理。
预训练中人类参与的情况如何？
尽管非监督预训练具有固有的可扩展性，但有一些证据表明，在ChatGPT准备供公众使用的过程中可能涉及到人类的协助。
一个揭示这一情况的文章发表在《TIME》杂志上，讨论了在肯尼亚每小时赚取1.32至2美元的人类“数据标注员”的使用。根据《TIME》的报道，这些工人的责任是扫描令人恐惧和涉及性暴力的互联网内容，并为ChatGPT的训练标记出来。
另外：如何利用微软AI和古腾堡计划访问成千上万本免费的有声读物
另一篇发表在AI新闻通讯《Martechpost》上的文章称，这个大型语言模型是使用一种叫做人工反馈强化学习（RLHF）的过程进行训练的。根据该文章，“训练过程涉及使用监督学习对初始模型进行微调，人类训练者扮演用户和AI助手的角色。”
在涉及“训练”一词时，有一些微妙之处。根据ChatGPT自己的说法，“OpenAI并没有使用人类的反馈来进行增强学习以训练我。相反，我是通过无监督和有监督的学习技术进行预训练的，例如语言建模、自编码和序列预测。我的训练包括处理来自互联网的大量文本数据，这使我能够学习单词和短语之间的模式和关系。”
AI继续说道：“然而，一旦我完成了预训练，研究人员和开发人员可以使用人类的反馈来进行增强学习，以针对特定任务或领域对我进行微调，例如回答问题或生成文本。在这些情况下，人类可以提供奖励或惩罚的反馈，这些反馈可以用来更新我的参数并提高我在类似任务中的性能。”
另外：我问ChatGPT、Bing和Bard他们担心什么，谷歌的AI变成了终结者
这似乎与Marktechpost和TIME的报道相吻合，即初始的预训练是非监督的，允许大量的数据输入到系统中。但在构建与用户进行对话的响应时（下面会详细介绍），响应引擎显然经过了对响应类型的训练，并经过了人类辅助的过滤不适当材料的训练。
我联系了OpenAI（ChatGPT的制造商）以获得澄清，但尚未收到回复。如果该公司回复我（除ChatGPT本身之外），我将更新文章并提供他们的回答。
自然语言处理
自然语言处理（NLP）专注于使计算机能够理解、解释和生成人类语言。随着数字数据的指数增长和自然语言界面的日益普及，NLP已成为许多企业的关键技术。
NLP技术可用于广泛的应用，包括情感分析、聊天机器人、语音识别和翻译。通过利用NLP，企业可以自动化任务、改善客户服务，并从客户反馈和社交媒体帖子中获得有价值的见解。
另外：如何编写更好的ChatGPT提示
在实施NLP时面临的一个关键挑战是处理人类语言的复杂性和歧义性。NLP算法需要在大量数据上进行训练，以识别模式并学习语言的细微差别。它们还需要不断改进和更新，以跟上语言使用和语境的变化。
该技术通过将语言输入（例如句子或段落）分解为较小的组成部分，并分析它们的含义和关系以生成见解或响应。NLP技术使用统计建模、机器学习和深度学习等组合技术，以识别模式并从大量数据中学习，从而准确地解释和生成语言。
对话管理
您可能已经注意到ChatGPT可以提出后续问题以澄清您的意图或更好地理解您的需求，并提供考虑到整个对话历史的个性化响应。
这就是ChatGPT能够以自然而然和引人入胜的方式与用户进行多轮对话的方式。它涉及使用算法和机器学习技术来理解对话的上下文，并在与用户的多次交流中保持对话。
使用方式：Midjourney | Bing图像生成器 | Craiyon | 稳定扩散
对话管理是自然语言处理的重要方面，因为它使计算机程序能够与人们进行交互，更像是一次次会话而不是一系列孤立的交互。这可以帮助建立用户的信任和参与度，最终对用户和使用该程序的组织都带来更好的结果。
当然，营销人员希望扩大信任的建立，但这也是一个可能变得可怕的领域，因为这是AI可能操纵使用它的人的方式之一。
ChatGPT运行的硬件内部一瞥
微软最近发布了一个视频，讨论了如何使用Azure创建一个网络，以运行ChatGPT所需的所有计算和存储。这是一个非常有趣的观看，既讨论了Azure，也讨论了AI在实际硬件中的架构。
常见问题
ChatGPT的生成式AI与传统聊天机器人有何不同？
传统聊天机器人基于预定义规则和决策树运作，通过预定的答案响应特定用户输入。而ChatGPT则利用生成式AI，通过理解上下文和意图，产生独特的回应，使互动更具动态性和人类化。
非监督预训练为像ChatGPT这样的AI模型被认为是一个改变游戏规则的因素吗？
非监督预训练使AI模型能够从大量未标记的数据中学习。这种方法有助于模型把握语言的细微差别，而不局限于特定任务，使其能够生成更多样化和上下文相关的回应。
ChatGPT在理解和回应用户查询方面是否有任何限制？
是的。ChatGPT依赖于它所训练的数据，这意味着它可能并不总是对最新的话题或小众主题有信息。此外，它的回应是基于数据中的模式生成的，因此偶尔可能产生事实上不正确或缺乏上下文的答案。此外，它所训练的数据可能是错误的，甚至可能被武器化以产生完全误导性的回应。
现在你知道了
即使我们已经超过3200个字，这仍然是ChatGPT内部所发生的事情的一个非常基础的概述。也许现在你更了解为什么这项技术在过去几个月里爆发了。关键在于数据本身并不是“监督的”，AI能够从中获取信息并理解其含义。
另外：我们还没有准备好应对生成式AI对选举的影响
真的很厉害。
最后，我将整篇文章的草稿输入ChatGPT，并要求AI用一句话描述这篇文章。给你：
ChatGPT就像谷歌和Wolfram Alpha的聪明表亲，它能做到它们无法做到的事情，比如写故事和编写代码模块。
ChatGPT被认为是一种没有自我意识的技术，但如果这个答案没有让你感到略微毛骨悚然，那说明你没有注意到。你觉得呢？你在使用ChatGPT吗？对于它的工作原理还有什么疑问？请在下方评论区与我们分享。
您可以在社交媒体上关注我的日常项目更新。请确保在Twitter上关注我，用户名为@DavidGewirtz，在Facebook上关注我，用户名为Facebook.com/DavidGewirtz，在Instagram上关注我，用户名为Instagram.com/DavidGewirtz，以及在YouTube上关注我，用户名为YouTube.com/DavidGewirtzTV。
