Skip to content

百度用实践告诉你AI+5G时代的基础架构是怎样

百度用实践告诉你AI+5G时代的基础架构是怎样

中新网5月8日电 “未来,AI无处不在,基础架构‘无’影随行。”5月6日,在第十届全球软件开发大会上,百度副总裁侯震宇发表题为《面向 AI 的基础架构建设》的演讲,分享AI发展对基础架构的挑战,以及百度在其中的实践经验及解决方案。

对于 Nils Nilsson 教授的逝世,小编的内心也非常沉重。就在 4 月初,小编在展开「IJCAI 50 周年特别报道」时,还跟作为 IJCAI「卓越研究奖」2003 年获奖者的 Nils Nilsson 教授取得联络,并邀请他接受我们的专访, Nils Nilsson 教授在当天便非常友善地回复了邮件并同意接受专访。然而如今 Nils Nilsson 教授已逝世,我们约定好的专访也变成了一份无法弥补的遗憾,对 Nils Nilsson 教授想说的所有话语都只能化为一句:愿您在天堂安息!雷锋网雷锋网(公众号:雷锋网)

芯片互联、系统互联、数据中心互联、5G边缘互联,连接无处不在

在詹姆斯走后,骑士陷入了空白,骑士也从总冠军队伍沦为鱼腩球队,但这只是暂时的,新生代球员99年的塞克赛顿可以说让人惊喜,他是首轮第8顺位被骑士选中的球员,毕业于阿拉巴马大学,新秀赛季场均16分是一个非常不错的数据,并且在比赛的关键时刻,多次看到塞克斯顿拯救球队,可以说有一颗大心脏,这位身高1米88的球员可以说天赋爆表。

就百度而言,在AI+自动驾驶、AI+家居、AI+教育、AI+医疗、AI+安防等诸多业务场景中,百度已早早展开了探索。例如,百度Apollo已成为目前全球涵盖产业最为丰富、最为全面的自动驾驶平台;小度助手则拥有中国市场规模最大、最繁荣、软硬件一体化的对话式人工智能生态;百度推出的教育智能化解决方案,以百度积累的海量专业内容、精准用户画像为数据基础,整合“ABC(AI, Big data, Cloud Computing)”三大关键技术,深入多个互动场景,打造“人工智能+教育”的智能教育模式,推动AI教育全面落地……这些都是百度推动AI技术快速落地、赋能传统行业取得的成果。

基于此,侯震宇认为,面对即将到来的AI+5G时代,无处不在的计算将是所有系统的灵魂。真正的计算会发生设备(Device)、边缘(Edge)和云(Cloud)中,因而D-E-C场景将会是接下来需要重点研究的问题;与此同时,包括芯片之间、系统之间、设备之间的互相连接,将帮助将不同场景中的计算连接在一起,产生更大的计算力,推动数据流动,创造出更大的价值。

国王这个赛季虽然依然无缘季后赛,但是发掘了福克斯和希尔德的经典组合,就如同库里和汤普森一样,在未来两年内,国王必然崛起,福克斯是2017年的首轮5号秀,身穿的也是5号球衣,不知道是巧合还是刻意,福克斯身高1米91,在比赛中多次上演经典的大回环暴扣,小编是最看好他的,有点韦少的影子,但是觉得他看起来更有巨星像,反正,小编是非常喜欢福克斯的打法的,真希望他参加扣篮大赛,排除个人喜欢,小编觉得福克斯的气质也是最好的,球商也非常的高,他目前还不到22岁,显然,他前途无量!

在计算需求的基础上,百度还为AI场景设计了高性能共享存储系统。通过计算与存储硬件分离,实现弹性扩展;通过运用分布式块存储,软硬结合,发挥新存储和网络技术优势;通过共享存储系统,针对AI场景海量小文件优化,支持数据共享访问。

对于这位重量级计算机科学家、人工智能先驱的陨落,吴恩达教授也在第一时间 Twitter 上追悼 Nils Nilsson 教授,他写道:

第四位:丹吉洛-拉塞尔(96年)

在芯片、基础设施、性能优化之上,百度打造了国内唯一完整、全套的深度学习平台PaddlePaddle。PaddlePaddle包括核心框架、工具组件和服务平台三大部分。在核心框架层面,它可以提供开发、训练和预测一整套的技术能力;在此之上,又提供了包括视觉、自然语言等在内的丰富模型,形成完整的模型库,通过模块化的方式提供给使用者,以及包括迁移学习、强化学习、自动化网络结构设计、训练可视化工具、弹性深度学习计算等在内的工具组件;而在服务平台层面,PaddlePaddle则提供了零基础定制化训练和服务平台EasyDL和一站式开发平台AI Studio。通过一整套的框架和服务,百度可以帮助广大开发者和企业利用工具化、平台化的方式,降低深度学习应用门槛,加速推动产业智能化变革。

面对D-E-C场景给计算带来的挑战,百度从芯片、集群系统等多个角度展开了探索。在芯片层面,侯震宇表示,过去,我们用DSL(Domain Specific Language)去针对某个领域,设计出一种表示语言,让它能够更好的描述在这个领域上的场景或数据特征。未来更应该关注的是DSA(Domain Specific Architecture),即在特定领域场景里架构体系。在这个大的思考下,百度设计出了昆仑芯片,目前昆仑芯片的内存带宽已经达到512G,性能达到260Tops,通过应用定义、场景适配和模块化设计,IP+芯片可覆盖D-E-C场景,同时支持AI训练和推理。

第二位:特雷-杨(98年)

从芯片、到集群系统、再到D-E-C,计算无处不在

计算的无处不在的背后,真正可能会推动产生巨大变革的,往往是互联技术。互联让计算连接起来,形成更大的计算力,推动数据流动,产生出更多的价值。因此,连接也无处不在。这个连接既涉及到芯片间的互联、系统间的互联,也涉及到数据中心内外部的互联和5G终端边缘上的互联。

本赛季的最佳新秀的竞争可以说非常的激烈,和上赛季米切尔和西蒙斯一样,难分伯仲,小编觉得虽然说东契奇更有可能获得最佳新秀,但是不得不给特雷-杨点赞,他的打法非常有观赏性,难怪有小库里之称,本赛季也多次35+10,这足以说明了特雷-杨的优秀,在库里被勇士发掘以后,显然,特雷-杨会作为球队重点培养对象对待,小编觉得今后他打出来的可能性非常大,5年之内,至少是一个联盟前10的球员,不信,就等着吧!

在集群系统层面,百度通过打造大规模AI计算集群系统,提供了百万TOPS级算力。在这一系统中,百度自研超级AI计算平台X-MAN、高性能存储池和高速互联,共同构成了百度整体的基础设施;通过计算优化、IO优化、通信优化,实现整体性能加速;集成层面,通过智能调度/ADP、AutoCompiler实现了作业调度和资源分配。

在2015年的选秀大会上,拉塞尔以第二顺位的位置被湖人选中,结果湖人似乎没有对拉塞尔报太大的希望,在球哥被湖人选中之后,就将拉塞尔交易到篮网了,来到篮网的拉塞尔可以说让人惊艳,入选了全明星,并且带领网球进入季后赛,有一种咸鱼翻身的感觉,有一种韩星当初不被人赏识,日后大将军的感觉,拉塞尔身高1米96,在双能卫中,属于身高非常优秀的了,视野也非常开阔,进攻能力也非常的强悍,感觉他明年会成为东部的首发控卫。

AI时代的基础架构:无处不在的计算,无处不在的连接

第三位:多诺万-米契尔(96年)

他曾在斯坦福国际研究院(SRI International)人工智能中心任职,在这段长达二十三年的任职生涯中,他一直都在致力于将统计学和神经网络的方法应用到模式识别中。1966 年开始,他与 Charles A. Rosen、Bertram Raphael 共同领导了集成移动机器人 SHAKEY 的研发工作。1968 年,他又与 Peter E. Hart、Bertram Raphael 共同发明出 A* 搜索算法,为人工智能领域带来了重大的影响,之后,他又开创了自动实时规划(Automated Temporal Planning)这一领域 ,并于 1971 年与 Richard Earl Fikes 一同发明了 STRIPS(斯坦福研究所问题求解系统)规划系统。

据侯震宇介绍,在芯片级系统内部,百度运用了NVLink、PCIe Fabric,以及昆仑芯片自己定义的芯片间互联技术。此外,不久以前,百度宣布同微软、Facebook展开合作,联合制定OAM (OCP Accelerator Module) 标准。该标准用于指导AI硬件加速模块和系统设计,也是用以实现更多芯片卡之间的互联。

愿我的朋友、同事以及 AI 先驱者 Nils Nilsson 安息。您在 A* 搜索算法方面的成果和贡献启发了无数的人工智能研究者(A* 搜索算法可以用来找到 A 点到 B 点之间的最短路径)。我将永远铭记您的研究成果,更重要的是,我会永远记住您的和蔼可亲。

针对AI时代计算需求带动的计算架构发展,侯震宇认为,在5G时代,整个D-E-C驱动的泛在计算架构已经基本成型,计算无处不在。有5G的强劲推动,在泛在计算架构中,计算从有边界发展为无边界;计算的中心化和去中心化实现了融合,转变为分层次、一体化的计算;计算和网络也实现了深度融合。

在上个赛季的季后赛中,米切尔已经证明过自己的优秀,单核带领爵士以4比1的大比分战胜雷霆,要知道,雷霆可是有42次三双,常规赛MVP韦少,和攻防一体的乔治,以及还在巅峰末期的甜瓜呢!队内只有卢比奥,英格尔斯,戈贝尔这样的球队二把手,显然,它作为一把手,是非常强悍的,本以为在失去海沃德之后,爵士会进入重建,但是米切尔给人了希望,以一个新秀的身份将爵士带入季后赛,并且打出精彩表现,和乔治,韦少对飚三分,没有任何胆怯,反正,小编感受出来了米切尔的大心脏,这赛季,依然延续了上赛季的神奇。

第一位:达龙-福克斯(97年)

而在5G时代背景下,从数据中心到边缘节点,再到终端设备、应用场景,存在着从2毫秒到200毫秒不等的延时圈。基于这么大的延时圈,百度通过不同的通信技术,如MEC计算节点、WiFiNode等,去实现更好的通信,支持智慧城市、智慧交通、智能家居等业务的发展。这些也是百度面对5G的浪潮,在基础设施层面目前正在做和计划在做的工作。

在演讲的最后,侯震宇表示,在未来,计算无处不在,互联无处不在,百度也将通过努力,让AI无处不在。百度所构建的AI基础架构,“无”影随行。所谓“无”,就是让所有的服务都以云的形式、大平台的形式,无缝地对接给大家,从而以更加简单、更加易用的方式,实现百度AI能力的普惠。

除了芯片间的互联,百度在云(Cloud)上,也就是数据中心内部,使用了ClosFabric网络架构,实现了整个数据中心内部高速、无收敛比的互联。同时,把整个基础性资源,包括计算资源、存储资源等全部区分开,提供CPU Memory池,以及更多的存储池。通过前述的高速互联,以及必要的安全隔离,实现了资源共享,从而提升了效率,使整个计算力变得更强大。因而一定意义上来说,网络是真正基础设施最底层的东西,使得基础设施能够面向更大型的AI计算。

在演讲中,侯震宇表示,AI是一次巨大的浪潮,在全球范围内都带来了巨大的市场机遇和发展潜力。包括Statista、前瞻产业研究院、中信证券等权威机构的调研数据表明,中国已成为全球第二大潜在的AI市场。用AI带动互联网行业技术创新、推动传统产业升级转型,将是中国AI界接下来面临的一个巨大机遇和挑战。

为了支持AI时代的业务场景,百度构建了国内体系最完整、功能最全面的人工智能技术开放平台——百度大脑核心技术及开放平台,提供全栈、端到端、软硬结合的AI技术、产品和方案,从深度学习框架、深度学习实训平台、场景化AI能力、定制化训练平台,到软硬一体模组和解决方案等实现全面开放,加速创新AI产品落地,助力企业智能化转型。百度大脑已对外开放了171项领先的AI能力,并通过百度智能云,为互联网、交通、工业、医疗、零售、金融等诸多行业赋能。

雷锋网原创文章,。详情见转载须知。

1985 年,Nilsson 教授回到母校斯坦福大学任教,担任计算机科学系主任一直到 1990 年 8 月份。除了人工智能和机器学习课程的教学工作,他还一直领导能够应对动态世界、规划行动路线并从经验中学习的柔性机器人研究。

侯震宇于2003年加入百度,历任新产品研发部架构师、基础架构部主任架构师、百度移动云首席架构师等职务,十几年来始终致力于百度的基础架构建设工作。

从百度的AI实践中可以看到,AI的发展会给基础架构带来了巨大的变化和挑战,需要能够从端到端来提供AI的计算能力,这就要求计算系统从旧有的对海量数据处理能力、对IO高峰值的追求,转变为满足AI训练功能方面IO密集、计算密集、通信密集的需求,和AI推理功能方面大吞吐和低延迟的需求。