OpenAI CEO奥特曼盛赞Alec Radford为“爱因斯坦级天才”，这位没有博士学位的研究者引领了GPT时代的到来。
原文标题：没有博士学位却开启了GPT时代，奥特曼盛赞Alec Radford，爱因斯坦级天才
原文作者：机器之心
冷月清谈：
Alec Radford，这位没有博士学位的研究者，被OpenAI CEO山姆·奥特曼誉为“爱因斯坦级天才”，其在Transformer和GPT方面的研究成果彻底改变了AI语言模型的工作方式，为当前AI领域的进步奠定了基础。Radford本科就读于富兰克林·W·奥林工程学院，期间展现出对机器学习的热情，并与同学创立了indico公司。2016年加入OpenAI后，他致力于探索语言模型的应用可能，其早期实验使用20亿条Reddit评论训练语言模型，虽然失败，但为后续GPT系列的突破奠定了基础。他主导了GPT-2的研发，并参与了GPT-3论文撰写以及GPT-4的预训练数据和架构研究。2024年末，Radford离开OpenAI，成为一名独立研究者，未来的计划尚未可知。
怜星夜思：
1、Alec Radford 没有博士学位却取得了如此成就，这对于正在 pursuing PhD 的同学们有什么启示？
2、Radford 选择离开如火如荼的 OpenAI，成为独立研究者，大家觉得他会去做什么？
3、文章中提到 Radford 的许多研究成果最早都是在 Jupyter Notebook 中完成的，这反映了什么？
2、Radford 选择离开如火如荼的 OpenAI，成为独立研究者，大家觉得他会去做什么？
3、文章中提到 Radford 的许多研究成果最早都是在 Jupyter Notebook 中完成的，这反映了什么？
原文内容
机器之心报道
机器之心编辑部
《连线》曾在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 发明 PageRank。PageRank 彻底革新了互联网搜索方式，Radford 的工作（特别是在 Transformer 和后来的 GPT 方面的研究）从根本上改变了 AI 语言模型的工作方式。
几天前，，裂变成了一家营利性公司和一个非营利组织。与此同时，OpenAI CEO 山姆・奥特曼在 X 上用一个系列推文感谢了 OpenAI 的多位元老。
之后，他又单独发了一条推文对一位「爱因斯坦级别的天才」表达了特别感谢：Alec Radford。奥特曼还表示 Radford 是他一直以来最喜欢的人，并指出 AI 领域当今的进步很多都可以追溯到他的研究成果。上个月 20 号，传出了 Radford 即将离开 OpenAI 进行独立研究的消息，详情可参阅机器之心的报道《》。
根据谷歌学术的数据，Alec Radford 论文的引用量现在已经超过了 19 万，并拥有多篇超过 1 万引用的重要论文。
事实上，早在一年多以前，就已经有人指出了这位当时还声名不显的研究者的巨大贡献：他是 GPT 原始论文等多篇奠基性研究成果的第一作者！而更让人惊讶的是，他并没有博士学位，也没有硕士学位；并且他的许多研究成果最早都是在 Jupyter Notebook 中完成的。
新年伊始，Alec Radford 的故事又再一次火遍了 AI 社交网络。人们在谈到他时莫不称颂。
下面我们就来简单了解下这位谦逊的天才的人生故事吧。
Alec Radford 的人生故事
Alec Radford 是自然语言处理和计算机视觉领域的研究者。曾在 OpenAI 担任机器学习开发者 / 研究员。在此之前，他曾担任 indico 公司的研究主管。
在 OpenAI 担任研究员期间，他参与撰写了多篇关于语言模型生成式预训练（GPT）的论文，并在 NeurIPS、ICLR、ICML 和 Nature 等著名会议和期刊上发表过许多论文。
他也曾活跃在 X/Twitter 上，在那里分享他对人工智能各个领域的见解和观点。遗憾的是，2021 年 5 月之后他就再未在 X 上现身，最后一条推文是在回复 Anthropic 的研究者 Simon Kornblith，解释 GPT-1 层宽度设置为 768 的原因。
LinkedIn 显示，2011 年 - 2016 年， Alec Radford 就读于富兰克林・W・奥林工程学院，并获得学士学位。这是一所位于美国马萨诸塞州尼达姆（Needham）的私立工程学院，以其非常低的录取率和精英化教育著称。
该校的课程结构非常独特，其学术体系「欧林三角」包括科学和工程基础、创业以及文学。学校也仅提供四种学位：ME（机械工程）、ECE（电子与计算机工程）、CS（计算机科学）、BCE（生物医药工程）。
奥林工程学院非常重视实用教育，将知识和实际生活中的挑战和课题联系起来，鼓励学生追求自己的兴趣和激情。
本科时期，Alec Radford 就对机器学习充满热情，并与同学一起参加 Kaggle 比赛获得了成功，最终拿到风投 。2013 年，Alec Radford 和伙伴在宿舍创立了 indico ，为企业提供机器学习解决方案。
作为公司的研究主管，Alec Radford 主要从事识别、开发和改进有前景的图像和文本机器学习技术，并将其从研究阶段转化为更广泛的行业应用。
在那里，他进行了生成对抗网络（GAN）相关研究，并提出 DCGAN 以改善 GAN 的可训练性，这也是 GAN 领域的一个重要突破。
由于波士顿地区在 AI 领域的影响力已被西海岸科技巨头超越，加上资源限制，2016 年，Radford 选择加入 OpenAI 。
他形容这份新工作「类似于加入研究生课程」，有一个开放、低压力的 AI 研究环境。
Radford 比较低调，不愿与媒体接触。他通过邮件回应了《连线》关于他在 OpenAI 早期工作的提问。他表示，最感兴趣的是让神经网络与人类进行清晰的对话。
他认为，当时的聊天机器人（从 ELIZA 到 Siri 和 Alexa）都存在局限性。他的目标是探索语言模型在各种任务、设置、领域和场景中的应用可能。
他的第一个实验是使用 20 亿条 Reddit 评论来训练语言模型，虽然失败，但 OpenAI 给予了足够的试错空间，也成为后续一系列革命性突破的开始，如大家熟知的初代 GPT，还主导了 GPT-2 的研发等。
这些工作为现代大语言模型奠定了重要基础，以致于《连线》在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 发明 PageRank。有趣的是， PageRank 虽然是 Larry Page 在斯坦福攻读博士期间的产物，但他此后再也没有回去完成博士学位。
不仅如此，Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。
2024 年年末，在 OpenAI 赚尽眼球的 12 天连发的最后一天前，Alec Radford 即将离开 OpenAI 的消息传出，但没有任何消息透露这是否与 OpenAI 的组织结构调整有关。
遗憾的是，对于他之后的职业计划，我们所知的仅仅是他将成为一位独立研究者。或许他将进入大学获得一个博士学位，也或许他会在沉寂一段时间之后带着新的震撼性研究成果问世。
不管怎样，Alec Radford 参与创造的未来正在到来。无论今年是否会如奥特曼曾经预测的那样实现 AGI，2025 年注定会是 AI 领域至关重要的一年。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]