京东零售95后技术人的成长之路:从顶会论文到业务创新

京东零售的95后技术人才将顶会论文成果应用于实际业务,在AI、大数据等领域实现创新突破,构建技术竞争力。

原文标题:95后,边改造业务边发AI顶会论文,是怎样的体验?

原文作者:机器之心

冷月清谈:

本文讲述了多位95后青年技术人才在京东零售的成长经历,他们通过参与实际业务、攻克技术难题,将学术研究成果应用于实际场景,实现了从校园到职场的角色转变。文章以洛川、谦屹、田野、长林和岛屿等人的经历为例,展示了他们在AI Infra、计算机视觉、搜索推荐、大模型蒸馏和语言模型产品化等领域的探索和突破。京东为这些青年人才提供了全方位的支持体系和广阔的发展空间,鼓励他们敢于创新、勇于实践,在解决实际问题的过程中快速成长,并最终在顶会发表论文、申请专利,为京东的技术创新和业务发展贡献力量。

怜星夜思:

1、文章中提到的Scaling Law在大模型时代非常重要,那么在实际应用中,除了数据选择,还有哪些方法可以突破Scaling Law的限制,以更低的成本获得更好的模型效果?
2、文章提到企业需要提供“科技温度和产业厚度共同构筑的成长热土”,你认为除了薪酬和技术资源,企业还可以从哪些方面入手,为青年技术人才提供更好的发展环境?
3、文章中提到了95后岛屿的观点:大模型生成文案的情绪价值也很重要。那么,在电商场景下,如何衡量和提升AI生成文案的情绪价值?

原文内容

机器之心报道

编辑:杜伟


在 AI 时代的浪潮下,顶尖人才影响力空前高涨,其地位更被市场推升至了前所未有的高度。无论是谷歌 Transformer 论文八子,还是从 OpenAI 出走的科学家,他们要么自立门户,拿到亿级投资、百亿级估值,或者跳槽到他处,凭己之力拉近企业间的技术代差甚至影响竞争格局。


顶尖人才的供给增长速度似乎跟不上互联网大厂、初创公司急剧膨胀的需求,因此拥有极强议价能力。企业为了招揽这些具备突破性能力、能引领方向或解决关键瓶颈的人才,使出了浑身解数。


这场看起来一时不会结束的人才军备竞赛,在国内同样呈现出了高强度、系统性、全球化的竞争态势。


互联网大厂纷纷放大招,京东 TGT 顶尖青年技术天才计划、字节 Top Seed 人才计划、腾讯青云计划、百度文心・新星计划…… 各种行业 Top 薪酬甚至薪酬不设上限,钞能力拉满,誓要将顶尖人才收入麾下。


企业与人才双赢的实现,需要“双向奔赴”。


最近,一场聚集了产业技术大佬和高校技术天才的线下技术沙龙上,我们听到了他们对于前沿技术方向的深度探讨和双方对技术人才发展共同的思考和期待。


京东技术沙龙零售专场


这是今年 5 月全球启动的 “京东技术沙龙” 活动的最后一场,多位京东零售内部大模型相关技术团队负责人来到现场,与大家分享顶会论文和真实场景案例,展示最新前沿技术进展与创新应用实践的融合。


来自核心技术部门的青年技术专家也以学长学姐的身份向同学们传授经验、分享心得,帮助大家快速了解京东丰富的业务场景、以及如何找到自己最适配的团队和岗位。


如何从新人快速成长为技术骨干,实现从学界研究到产业实践的角色转变?怀揣着和现场同学们一样的好奇心,我们与来自京东零售产研的 5 位青年技术专家聊了聊,他们中最大不过 92 年、最小 98 年。他们的经历,也许可以为即将踏入职场的新人提供一些参考和借鉴。


1 年期新人通关:

实验室到业务前线,克服畏难心理啃下硬骨头


洛川,一位刚满 27 岁的大男生。


2024 年,在取得中国科学技术大学计算机软件与理论博士学位之后,他加入了零售 AI Infra 团队。


与所有初入职场的同学一样,从校园到职场,洛川充满忐忑。


全方位的支持体系,彻底打消了他的担忧


洛川有两位业务 + 技术导师,每个月他们都会抽出时间找他一起聊一聊,无论是个人成长方面的疑虑,还是技术层面的困惑。很快,洛川开始系统性地熟悉所在部门的技术栈、代码库,并逐渐适应 AI Infra 团队的工作节奏。


迅速融入的洛川(左 3)和伙伴们一起团建


几个月后,已经顺利渡过新人阶段的洛川迫切地希望将自己博士期间的研究成果真正服务于实际问题。「以往的研究大多停留在论文层面,而京东拥有丰富业务场景和海量产业数据,让我的研究终于有了规模化应用的机会。


初步熟悉业务之后,洛川开始主动思考自己所在技术领域存在的痛点。他所在的团队主要负责构建和优化支撑大规模 AI 应用的基础设施,涵盖集群管理、算力调度、数据与样本中心建设、训练与推理引擎优化等。


过程中,通过自己对京东电商平台的长时间观察以及导师的指导,洛川明确了想要突破的目标。


他发现,进入大模型时代以来,推荐领域开始利用 Scaling Law 带来增益。不过,随着推荐模型中稀疏参数规模的持续增长,加上像京东这种电商平台中用户行为序列往往长达数万甚至十万,这些参数的存储、通信以及查询开销成了大规模点击率预测(CTR)模型分布式训练的瓶颈,影响到了算法团队的迭代效率。


面对这一难题,洛川跃跃欲试。在了解业务团队的核心诉求并精准定位技术难点之后,他迅速投入,分析了学术界和工业界现有方案并着手制定适合业务场景的技术规划和可行落地方案。


很快,他和团队一起设计并实现了一套重要性感知的量化与缓存方案,该方案显著减少了稀疏参数的存储、通信和查询开销,大幅加速 CTR 模型的分布式训练进程。看到实际效果落地,洛川深感「自己的辛苦没有白费。 」


这只是洛川这一年来的一个缩影,如今的他已经找准了自己的定位,与 AI Infra 团队一道攻克一个又一个技术难题。「作为新人,要克服畏难心理,深入一个领域,勇于啃下硬骨头。


3 年期进阶通关:

瞄准真实痛点,从被动解题到主动提出问题


“一年级” 职场新人洛川的经历,在他的两位前辈谦屹和田野看来似曾相识。


谦屹和田野 3 年前从中科院自动化所博士毕业后便加入了京东。


谦屹专注于图像生成、多模态大语言模型、OCR 等计算机视觉研究。田野专注于搜索相关性业务,以及 NLP 技术在搜索场景的落地。加入京东后分别入职广告产研部和搜推技术部。


当他们前后脚加入京东时,还是遇到了不同的挑战和问题。


田野称自己需要克服的最大挑战是实验室思维到企业工程师思维的转变,这源于不同环境下问题定义与数据体系的根本性差异


实验室环境下的研究通常针对明确定义的任务进行:问题本身、应用场景以及训练集和测试集都是预先给定且相对固定的,目标聚焦于在特定数据集上提升指标。而在真实的工业级电商搜索场景中,业务的核心问题会随着发展阶段快速变化;同时,工业场景中不存在现成的标准数据集,要求工程师自主构建整个数据闭环。


这种转型并不容易,「我要逼自己从纯粹的解题者转变为具备持续业务洞察力、能动态定义核心问题并自主构建适配数据与评估体系的问题定义者 + 架构师。


田野花了很长一段时间才适应了新角色。此后,他便开始如鱼得水,利用自己的专业知识深度参与到搜索场景的体验升级。在跑算法、训大模型的过程中,田野最担心显卡不够用,但京东内部提供了一套灵活的资源倾斜策略,对长期有价值的项目全力支持。田野受到了很大的鼓舞,「如今在算力资源上得到了保证,自己也就再无后顾之忧,可以放手去研究生成式搜索技术了。


而谦屹刚入职时最直观的感受是,原本以为自己积累了深厚的技术底子,但在工业界,业务需求与技术迭代的速度太快,原有的知识与技能面就显得窄了。


好在,他可以直接面向实际应用场景,对业务痛点进行最直接、最深刻的体察。谦屹特别提到了自己参与的一项电商广告图片生成创新工作 —— 基于人类反馈的可信赖图像生成(RFNet +RFFT),在丰富人类审核数据的基础上,利用 RLHF 技术,通过 RL 算法将人类偏好反馈给生成模型,有效降低了商品形变、背景错位等问题的发生概率,提升了模型生成可用图片的能力。


RFFT 相较其他方法实现了 SOTA [1]


谦屹开始慢慢跳出过去深耕的垂直领域,技术视野变得更广,掌握的更多知识和技能可以轻松应对多元化业务的挑战。


短短三年,他发表了 10 余篇创新性科研成果,并被多个 AI 顶会以及 AI 顶刊收录。目前,他与团队正积极探索前沿生成式 AI 能力对广告创意生成的赋能,尤其是多模态大模型批量化和自动化创意生产。


无论是田野还是谦屹,他们瞄准千万消费者和商家的真实体验痛点,在应对和解决业务挑战中获得了快速的成长和收获。


95 后向前一步:

敢想、敢为,探索多种可能性


其实在京东零售技术团队中,还有很多类似的年轻算法工程师们,95 后的长林和岛屿就经常和前面 3 位一起交流、切磋技术问题。


长林研究的方向是大模型蒸馏和数据选择,侧重低资源情况下大模型的训练与规模化应用,由于现代深度学习与大模型的成果依赖海量数据、巨大参数规模和高昂算力成本,使得低资源训练极具挑战。「学术训练的核心在于将现实问题简化、抽象为边界清晰的数学问题求解,但现在面对的问题不是孤立的知识点,而是技术、业务、资源、人员交织的系统」


肯定不能「拿着锤子找钉子」的生搬硬套,长林开始积极请教周围热情的导师、前辈、学长学姐,与他们面对面交流、探索的过程中他们给了长林很大的自由度与耐心,「不要怕,达成目标的手段并不唯一,要敢想、敢为、探索多种可能性,我们来兜底」,这是他经常听过的鼓励与鞭策


他提出仅选择信息最丰富的样本子集进行训练,以在模型性能和训练效率之间取得更好平衡。最终证明,在平均仅采样 70%-80% 数据的情况下,模型精度能够保持与原模型相当,且优于其他数据选择方法。


通过数据选择突破幂率的 Scaling Law [2]


近期,长林的三篇论文分别被顶会 ICLR、AAAI 和 ACL 接收,还提交了 8 项专利,可谓收获满满。其中一项代表性工作是基于动态数据选择加速模型训练。


同样 95 后的岛屿,她的工作重点在大语言模型的产品化应用。在电商场景中,通过大模型生成文案,帮助用户选购、为用户提供专业商品建议。传统模型更注重语言的高效和准确,而 95 后的她认为,要让用户真正逛起来,语言提供的情绪价值同样重要,于是她提出同时考虑大模型的语言风格,丰富个性化的语言表达以适配不同的用户需求,这个建议一提出就在内部获得认可,团队也配合她一起更新了方向和规划,这让岛屿备受鼓舞,「在这里,沟通没有门槛,行业大佬会直接参与和指导项目,能提升用户体验,就是第一优先级。


自由的思想碰撞 × 扎实的工程实践 × 包容的成长环境,让这些 95 后们能充分追求自己热爱的技术方向。能跳出自身固有角色去主动思考问题、提出建议,创造力得到了充分激发。


人才建设,非一时之功


从高校实验室迈入到覆盖亿级用户的京东零售大环境,从硕博生转换为企业工程师,几位青年技术专家的成长之路走得很稳,技术带来的能量得以发挥最大的价值。


技术沙龙上,青年技术专家与同学们交流


京东希望能为更多像他们一样的青年技术人才,提供科技温度和产业厚度共同构筑的成长热土,让更多年轻人在这里加速成长、施展才华、定义未来。


2017 年起,京东就启动了面向青年技术人才的 “博士管培生项目”, 一批优秀的技术人已经迅速成长为各个技术板块的核心骨干,今年 5 月 8 日再次加磅,启动了京东 TGT 顶尖青年技术天才计划,该计划面向全球高校本硕博毕业生以及毕业两年内的技术人才,薪酬「不设上限」,涵盖了八大研究方向:多模态大模型与应用、机器学习、搜索推荐广告、空间与具身智能、高性能与云计算、大数据、AI Infra 以及安全等


对人才吸引的诚意与决心,以及更加立体的人才培养模式、多维度又专业化的指导,京东希望进一步为人才成长提供成长保障,持续优化的人才梯度建设也将不断为京东及其业务赋能。


未来,这支融合了前沿探索精神和实战经验的年轻化技术军团,不仅更能贴近新生代用户与市场的思维,还将继续驱动京东在 AI、大数据、云计算等核心领域的创新与突破,构筑起难以复制的技术竞争力护城河。


最后,点击“阅读原文” 直达 “京东 TGT 顶尖青年技术天才计划” 进行投递,一起用技术创造更多美好吧!


参考链接:

[1] 论文地址:https://arxiv.org/pdf/2408.00418

[2] 论文地址:https://openreview.net/pdf?id=7oPAgqxNb20


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

我觉得最重要的是创造一个开放、协作的环境。技术人才需要和其他领域的同事沟通合作,才能更好地理解业务需求,将技术应用于实际场景。企业可以打破部门壁垒,鼓励跨团队合作,让技术人才和其他领域的专家共同解决问题。另外,提供充分的学习和培训机会也很重要,帮助年轻人不断提升自己的技能。

Scaling Law的核心在于数据、参数和算力之间的平衡。数据选择只是优化数据质量的一种方式。个人认为,模型结构的创新也同样重要,例如,可以探索更高效的注意力机制或者引入稀疏激活等方法,在不显著增加参数量的前提下提升模型表达能力。此外,知识蒸馏和模型剪枝也是降低模型复杂度的有效手段,可以将大模型的知识迁移到小模型,从而降低对算力的需求。总之,要综合考虑模型、数据和训练策略,找到最适合自己业务场景的策略。

情绪价值这种东西,说白了就是让用户觉得“爽”。怎么让用户觉得爽?一方面,文案要能get到用户的痛点,说出他们想说的话;另一方面,文案要有创意,能给用户带来惊喜。具体来说,可以尝试从以下几个方面入手:1)挖掘用户的情感需求,比如他们是想要被理解、被认可,还是想要放松、娱乐;2)使用个性化的语言风格,根据不同用户的特点,生成不同的文案;3)加入一些互动元素,比如提问、投票等等,让用户参与进来。

除了常规的培训和晋升,企业不妨考虑建立导师制度,让经验丰富的技术专家指导年轻人。导师不仅可以帮助年轻人解决技术难题,还可以分享自己的职业经验,帮助他们更好地适应职场生活。此外,企业还可以鼓励年轻人参与技术社区活动,提高他们的行业知名度。这样,即使以后他们选择离开,也会对企业留下良好的印象。

与其想着怎么“突破”Scaling Law,不如换个思路,想想如何更高效地利用它。Scaling Law告诉我们,模型性能与数据量、参数量和算力有关。既然无法无限增加这些资源,那不如把重点放在如何更有效地利用现有资源上。比如,搞清楚哪些数据对模型提升最有效,哪些参数是冗余的,哪些算力可以省下来。精打细算,才能在有限的资源下做出最好的模型。

Scaling Law本质上描述的是一种资源投入与模型性能之间的关系。想要突破这种限制,我觉得关键在于找到提升效率的“杠杆”。除了文章里说的数据选择,还可以考虑使用更先进的优化算法,比如二阶优化算法或者自适应学习率调整策略,提高训练效率。另外,对模型进行针对性的预训练和微调,也可以在较少数据和算力的情况下获得更好的效果。别忘了,数据增强也是一个好办法!

衡量情绪价值确实是个难题。我觉得可以尝试从用户反馈入手,比如点击率、转化率、用户评论等等。如果用户觉得文案很有趣、很贴心,他们更有可能点击购买或者留下好评。此外,还可以使用情感分析技术,对生成的文案进行情感倾向性分析,看看它是否符合目标用户的情感需求。当然,最重要的是进行A/B测试,不断优化文案的情感表达。

衡量情绪价值,可以试试从心理学的角度入手。比如,可以参考一些经典的情感模型,将文案的情感表达映射到这些模型上,评估它的 emotional impact。此外,还可以进行用户调研,了解他们对不同风格文案的偏好。在提升情绪价值方面,可以尝试使用一些情感化的词语和表达方式,比如使用一些拟人化的修辞手法,或者加入一些幽默元素。

除了物质激励,我觉得精神激励也很重要。企业应该建立一种鼓励创新、容错试错的文化,让年轻人敢于挑战难题,不怕失败。同时,要提供清晰的职业发展路径,让年轻人看到自己的成长空间和发展前景。此外,还可以组织一些技术交流活动,鼓励年轻人参与开源项目,提高他们的技术影响力。