最近，AI圈被一个名字刷屏了——17岁的陈广宇。
10月15日，“00后”天才少年陈广宇在社交平台发文宣布，近日已离开月之暗面的Kimi团队。他表示：“过去一年在Kimi的工作是我迄今为止最美好的时光。我非常感激能够与如此出色和支持我的同事共事并从中学到东西。”
消息一出，迅速引发热议。几乎同一时间，前DeepMind推理架构负责人、现Anthropic研究员肖尔托·道格拉斯现身评论区，公开邀请他去旧金山。
面对肖尔托·道格拉斯的邀请，陈广宇回复：“谢谢Sholto！我正要去湾区。”也有分析认为，他离开或是去读大学。
据南方都市报，有传闻称，陈广宇前脚宣布离开，后脚便收到5份工作邀约，金额均在100万美元以上。
这位受到国际业内关注的少年科研者，曾在深圳求学。
陈广宇出生于2009年，曾就读于原北大附中深圳南山学校，后转入华润小径湾贝赛思国际学校，今年6月刚刚高中毕业。去年11月，年仅16岁的他加入Kimi团队，担任机器学习研究员。以此计算，他在Kimi工作的时间不超过一年。
他还曾入选罗德信托“高潜力未来领袖计划”，并在美国顶尖小型实验室Tilde Research做过AI研究。
短短不到一年，陈广宇便深度参与了两项重磅研究。
今年3月，Kimi发布技术报告《Attention Residuals》，对大模型十年没有变化的核心结构残差连接进行重新设计。《Attention Residuals》的第一作者除了Kimi关键人物之一、RoPE（旋转位置编码）的提出者苏剑林，以及Kimi Linear（Kimi的新型混合线性注意力架构）的第一作者张宇以外，还有陈广宇。
研究过程中，张宇与陈广宇共同提出“分块注意力残差”设计，在保留效果的同时，大幅降低大规模模型训练的计算和通信成本。
论文发出后，马斯克马上点评“让人印象深刻”，前OpenAI研究科学家Andrej Karpathy表示该研究真正践行了“Attention is All You Need”的理念，推理之父、前OpenAI研究副总裁Jerry Tworek也表示“深度学习2.0来了”。
7月，月之暗面发布新一代大模型Kimi K3，总参数规模达2.8万亿。据披露，AttnRes额外成本不到2%，却带来约25%的训练效率提升。陈广宇还参与了加速另一核心架构KDA的计算内核工作——K3的两大核心架构，都有他的贡献。
| 当前新闻共有0条评论 | 微信扫一扫 | ||
| 分享朋友圈 |
