点击上方关注，All in AI中国我们可以发现，身边用的种种先进的谈天机械人并不能保持良好的对话，但AI系统在生成书面文字方面肯定会越来越好。最近发现一个好玩的新的Web应用法式，它提供了富足的证据，让任何人都可以输入AI软件自动响应的文本提示。输入一篇虚构的新闻文章的开头，它将为您完成剩下的部门。

问一个问题（建议花样化你的输入：“问：今天我该怎么做？”），那么它的回应是很不错的。探秘该网站名为TalkToTransformer.com，「链接」它是加拿大工程师Adam King的创作。King建立了该网站，但基础技术来自研究实验室OpenAI。今年早些时候，OpenAI推出了新的AI语言系统GPT-2，而TalkToTransformer是该技术的精简版，可会见版本，已往只有经由筛选的部门科学家和记者才气会见。

（名称“变压器”是指GPT-2和其他系统使用的神经网络类型。）该模型称为GPT-2（GPT的继续者），它被训练成仅用于预测40GB互联网文本中的下一个单词。

由于我们担忧该技术被恶意应用，我们不会公布经由训练的模型。作为一个卖力任披露的实验，我们转而公布了一个小得多的模型供研究人员实验，以及一篇技术论文。

GPT-2是一个大型的基于转换的语言模型，具有15亿个参数，在数据集上举行训练。我们通过从互联网上抓取内容建立了一个强调内容多样性的新数据集。为了保持文档的质量，我们只使用了经由人工筛选的页面。

GPT-2训练有一个简朴的目的：凭据某些文本中的所有先前单词预测下一个单词。数据集的多样性导致这个简朴的目的包罗跨差别领域的许多任务的自然发生的演示。GPT-2是GPT的直接放大，其参数凌驾10倍，而且训练的数据量凌驾10倍。

GPT-2显示了一系列广泛的功效，包罗生成前所未有的质量的条件合成文本样本的能力，我们使用输入对模型举行填充，并使其生成冗长的延续。此外，GPT-2优于在特定领域（如维基百科、新闻或书籍）训练的其他语言模型，而无需使用这些特定领域的训练数据集。在诸如问答、阅读明白、总结和翻译等语言任务上，GPT-2开始从原始文本中学习这些任务，不使用任务特定的训练数据。虽然这些下游任务的得分未到达最先进的水平，但他们建议，只要有足够的（未标志的）数据和盘算，任务可以从无监视技术中受益。

正如上面的示例所示，我们的模型能够从感受靠近人类质量的种种提示中生成样本示例，并在页面或更多文本上显示一致性。然而，我们已经视察到种种失效模式，例如重复文本、世界建模失败（例如，模型有时会写的是在水下发生的火灾），以及非自然的主题切换。探索语言模型的这些类型的弱点是自然语言处置惩罚社区中一个活跃的研究领域。

总的来说，我们发现需要花费一些时间来获得一个好的样本，实验次数取决于模型对上下文的熟悉水平。当提示数据中高度代表性的主题（如指环王）时，似乎能够在约莫50％的时间内就生成合理的样本。

相反的情况也是如此：对于技术含量高或内容类型较高的内容，该模型的体现可能不佳。微调提供了对生成的样本举行更详细控制的潜力。

例如，我们可以在Amazon Reviews数据集上微调GPT-2，并使用它来让我们凭据星级和种别等内容编写评论。这些样本具有重大的寄义：大型语言模型越来越容易引导可扩展、定制、连贯的文本生成，而这些文本生成又可以以多种有益和恶意的方式使用。我们将在下面更详细地讨论这些寄义，并凭据这些思量，概述我们正在举行的公布实验。Zero-shotGPT-2在种种特定领域的语言建模任务中获得了最先进的分数。

我们的模型没有针对任何这些任务的任何数据举行过训练，只是作为最终测试举行评估; 这被称为“Zero-shot”设置。在对这些相同数据集举行评估时，GPT-2的性能优于在特定领域数据集（例如维基百科、新闻、书籍）上训练的模型。下表显示了我们所有最先进的Zero-shot的拍摄效果。（+）表现此域名的分数越高越好。

（ - ）表现分数越低越好。GPT-2在Winograd模式、LAMBADA和其他语言建模任务上实现了最先进的技术在其他语言任务中，例如问答、阅读明白、总结和翻译，我们可以在差池模型举行任何微调的情况下获得不错的效果，只需通过正确的方式提示训练模型，只管我们仍然没有到达专业系统的最新技术水平。

我们假设由于这些任务是通用语言建模的一个子集，我们可以预期性能会随着更多的盘算和数据而进一步增加。其他人也揭晓了类似的假设。只管我们尚未举行彻底的实验，但我们还希望举行微调以资助完成下游任务的性能。相识从现在开始如果你想相识人工智能语言的发生，那么除了使用TalkToTransformer之外，没有更好的方法来明白它的庞大潜力和严重的局限性。

从好的方面来说，该模型很是灵活。它能够识别种种各样的输入，重新闻文章和故事到歌词、诗歌、食谱、代码和HTML。

它甚至可以识别哈利波特和指环王等系列影戏中我们很熟悉的角色。与此同时，您很快就会发现，从基础上讲，系统并不相识语言或整个世界。

它生成的文本具有外貌上的一致性，但没有恒久的结构。例如，当它写故事时，字符随机泛起和消失，其需求或行动没有一致性。当它发生对话时，就会漫无目的地从一个话题转移到另一个话题。如果它获得的反映不止几个，那似乎是好运，而不是技术。

请记着：这是一种学习通过研究从Web和其他泉源中抓取的大型数据集来生成文本的算法。它通过在这些信息中寻找模式来学习，效果是一个令人惊讶的多才多艺的系统。

在GPT-2的知识中找到差距可能并不难题，可是不行能知道你是否已经探究了它能做什么的极限。编译出品。

本文来源：开云在线登录-www.babelandco.com