创建或修改目录:/www/wwwroot/104.219.215.234/data 失败!
伊伊系列 疏导纪要 DeepSeek 昆仑芯里面进展 - 真实迷奸

伊伊系列 疏导纪要 DeepSeek 昆仑芯里面进展

你的位置:真实迷奸 > 黄色片 > 伊伊系列 疏导纪要 DeepSeek 昆仑芯里面进展
伊伊系列 疏导纪要 DeepSeek 昆仑芯里面进展
发布日期:2025-03-18 18:08    点击次数:119

问:伴跟着DeepSeek的出现,外界对我们百度也有一些赓续。想聊下咫尺百度智能云在部署适配方面有哪些最新动作?后果如何?

答:开拔点DeepSeek的爆火给AI行业注入了一股全新的活力,其实相较于外界的赓续,我们更首要矜恤的是如何让企业快速使用上优质模子去开发本人的应用,千帆大模子平台在近期上架了DeepSeek-R1和DeepSeek-V3模子,并同步推出了行业率先的超廉价钱决策。在合座部署适配过程中我们也赓续百度智能云的上风去作念了3个要津动作,在保证模子后果的同期进一步裁汰使用本钱以及使用门槛:

第一个,在算力层面,咫尺百度智能云收效点亮了昆仑芯P800万卡集群,我们也基于百舸算力平台适配了国产化P800芯片,来提供通盘模子推理行状,为DeepSeek提供优质且适配性强的环境,使模子施展出更高的性能。同期,百度百舸基于昆仑芯P800,发布部署 “满血版 DeepSeek R1 + 联网搜索” 行状,通过联网搜索功能,将最新的互联网数据融入谜底生成,为企业提供更实时、准确的信息营救。

第二个,在平台层面,我们基于DeepSeek作念了千帆大模子平台工程架构的优化,通过本人在大模子推感性能优化标的的时刻累积,针对DeepSeek模子进行了极致的性能优化,比如通过高效的PD隔离式推理架构,达成模子费解的大幅度培植,进而权贵裁汰模子推理本钱。

我们为有进一步应用需求的企业,千帆ModelBuilder提供基于模子开发器具链进行一键部署、蒸馏这么的智商,能让企业客户更好的将DeepSeek用起来,完成特定模子需求的再开发;千帆AppBuilder全面接入DeepSeek模子,具备百度AI搜索过火他组件智商,还有更多RAG、Agent、职责流器具助力大模子应用搭建。

千帆大模子平台四肢企业级一站式大模子与AI原生应用开发及行状平台,我们很欢欣不错看到像DeepSeek这么领有优质后果的国产模子出现,来带动国内关于大模子的应用,那自千帆上线R1和V3后首日就诱惑杰出1.5万家客户调用,这个客户量还在握住增长,我们也期待不错给更多企业高性能低本钱模子的更好体验,千帆也会为更多诸如DeepSeek这么的优质模子提供优质泥土,带来增益赋能。

第三个,在应用层面,百度智能云旗下客悦、曦灵、一见、甄知四款大模子应用家具,也阐扬上线接入DeepSeek模子的新版块,为企业智能外呼、数字东说念主视频剧本生成、视觉智能分析、学问照顾等高价值业务场景,提供愈加丰富的AI大模子应用选用,得志用户多元化落地需求。

同期,百度智能云正加快激动金融、交通、政务、汽车、医疗、工业等行业应用家具与DeepSeek模子的适配考据职责,积极探索大模子在智能问数、公文写稿、搭理助手、合规照顾、医疗辅诊等行业垂直业务场景中的智商拓展与应用进化。

问:跟着国产大模子的兴起,万卡集群已从单纯算力供给冉冉向“有用”算力供给过渡,百度智能云在国产算力的构建上有什么谋略?这些谋略达成起来对百度而言难度大吗?(硬件、软件王人不错聊聊)

答:难度细则是有的,但我们也在执续深耕算力基础设施的建造。比如,最近百度智能云照旧收效点亮国产昆仑芯万卡集群,将来还将进行三万卡集群的建造,在这个过程中,从硬件到软件,时刻挑战是全场所的。而24年9月升级的百度百舸AI异构贪图平台4.0,围绕落地大模子全旅程的算力需求,在集群创建、开发实验、模子进修、模子推理四大方面,能为企业提供“多、快、稳、省”的AI基础设施,在万卡集群的建造中施展了至关要害的作用。

开拔点,谗谄硬件推广性瓶颈,如卡间互联的拓扑狂放,幸免通讯带宽成为瓶颈;同期,围绕芯片及集群功耗,基于万卡限度通例决策功耗可达十兆瓦或更高,剿袭创新性散热决策,从而贬责万卡集群的能效与散热问题;完善模子的分散式进修优化,剿袭高效并行化任务切分政策,进修主流开源模子的集群MFU培植至58%;在培植隆重性方面,提供容错与隆重性机制,幸免由于单卡故障率随限度指数飞腾而形成的万卡集群有用性大幅下降,保险有用进修率达到98%;终末,针对机间通讯带宽需求,建造超大限度HPN高性能收罗,优化拓扑结构,从而裁汰通讯瓶颈,带宽有用性达到90%以上。

昆仑芯四肢百度自研的AI芯片,凭借其独特的时刻上风,在百舸4.0的智商加执下,在生成式东说念主工智能期间展现出了巨大的竞争力。将来一年,将是各式AI原生应用爆发的黄金时辰。自研芯片和万卡集群的建成带来了强劲的算力营救,同期有用培植百度和客户的资源合座应用率,裁汰大模子进修本钱,推动了模子降本的趋势,为通盘行业提供了新的想路和标的。

除此以外,百度智能云也提供百舸DeepSeek一体机、千帆DeepSeek一体机,国产首个单机8卡营救DeepSeek满血版和蒸馏版模子,达成模子的土产货化开箱即用。

问:最近,我们也看到一个新的时局,百度智能云针对这次DeepSeek模子上线提供了超低推理价钱,低至DeepSeek官方刊例价3-5折,这背后是由于什么样的时刻驱动的?是新一轮的价钱战打响了吗?

答:的确的廉价王人是由时刻驱动的。在看到的这个新价钱背后,对应的是百度智能云在推理引擎性能优化时刻、推理行状工程架构创新以及推理行状全链路安全保险上的深度和会。百度智能云千帆ModelBuilder永恒竭力于为用户提供全经由、一站式的 AI 行状,除了强劲的模子资源,还匹配了完善的一站式模子后果调优器具链,包含数据加工、模子精调、模子评估、模子量化等要津方法,助力企业凭证本人业务需求深度优化模子性能。同期,百度智能云千帆ModelBuilder具备超卓的模子推理托管智商,营救vLLM、LMDeploy、TensorRT-LLM、SGLang等种种主流推理框架,还营救模子的自界说导入与部署,为开发者提供了高度机动的开发环境。

(1)推理引擎性能优化时刻伊伊系列

基于百度智能云在大模子推感性能优化标的的时刻累积,针对DeepSeek模子MLA结构的贪图进行了极致的性能优化,并通过贪图、通讯、内存不同资源类型算子的有用访佛及高效的Prefill/Decode隔离式推理架构等,在中枢延长谈论TTFT/TPOT得志SLA的条目下,达成模子费解的大幅度培植,进而权贵裁汰模子推理本钱。

(2)推理行状的工程架构创新

在推理行状层面,进行了深刻的优化与创新。针对推理架构,作念了严格的推/拉格局的性能对比。劝诫证拉格局在央求处理的收着力、反映延时以及费解量等要津谈论上均展现出更为超卓的性能。为了进一步培植系统的隆重性和用户体验,机密地想象了一种央求失败的续推机制,这权贵增强了系统的容错智商和行状SLA达标率。同期针对多轮对话和system设定等场景中存在重复Prompt前缀的情况,达成了主流的KV-Cache复用时刻,并辅以全局Cache感知的流量调度政策。这一举措有用幸免了Token KV的重复贪图,从而大幅裁汰推理延长,提高了推理费解。

(3)推理行状的隆重安全保险

千帆平台基于百度本人耐久的大模子安全时刻累积,集成独家推行安全算子,达成模子安全增强与企业级高可用保险,基于大模子全生命周期数据安全与模子保护机制,在千帆平台上的模子均领有使用安全的安全保险;基于在安全方面的专项优化,确保DeepSeek-R1&DeepSeek-V3模子,企业用户在使用过程也具有更高的安全性。

问:咫尺不少企业会选用班师通过模子API的姿首来接入DeepSeek,想问下通过云平台来调用新模子,为各行业应用普及AI有若何的不同和上风?

答:通过云行状平台来调用模子,我们以为主如果从三个方面去浸透以及普及行业的,云平台的中枢为裁汰本钱、培植大模子落地易用性以及助力企业更好地构建AI原生应用,通过云平台提供的方便的器具型行状,企业能更聚焦在本人的业务发展。

开拔点我们以为推动行业应用普及最要津的便是裁汰本钱,那以往企业引入 AI 需干预多量资金购买和诊治硬件开荒,而云平台不错通过提供弹性贪图资源,从“购买”到“租出”,企业按需租用付费,在幸免资源花费同期,大大裁汰了AI应用的启动本钱。

其次,云平台的另一个要害上风便是它具备很强的易用性,这关于各行业应用 AI 起到了极大的推动作用。云平台需要配备各式各样丰富且实用的器具链,比如精调器具链、数据器具链、压缩器具链等等,大略匡助企业更好地构建数据飞轮,达成模子后果的握住迭代,更好的赋能应用。那与此同期,平台提供的器具链也要适配各式模子,企业随时不错切换模子况兼更快速方便的用上后果更好的模子;以上两点咫尺我们的千帆ModelBuilder也王人提供了这么高效方便的器具链行状。

那终末,各行业AI的使用探索其实基于原生应用的构建。云平台上头提供的种种化组件及应用开发的智商裁汰了AI原生应用的构建门槛,也为行业内的应用场景和交易格局带来了更多创新可能。千帆AppBuilder亦然这么的一站式模子应用开发平台,高效、低门槛贬责大模子应用落地终末一公里问题。

有了应用后,云平台提供的完善日记分析及告警系统,也确保了企业AI应用的隆重性,同期云平台具备完善的模子安全以及高可用保险次第,提供模子使用的全场所安全保险。

是以合座从构建、到运行,云平台为企业在模子使用上提供了全经由保险,降本增效的同期也让企业聚焦本人业务,更好的推动通盘AI行业的发展。

问:四肢一家出生创业公司的家具,DeepSeek这次爆火,在百度看来,它的出现存出乎我们的猜想吗?我们百度对待这次“爆火”里面的格调是若何样的?

答:创新是弗成被谈论的。你不知说念创新何时何地到来,你所能作念的是,营造一个故意于创新的环境。我们生存在一个相当欢快东说念主心的期间。在往日,当我们驳倒摩尔定律时说,每18个月性能会翻倍、本钱会减半;但今天,当我们驳倒大讲话模子时,不错说每12个月,推理本钱就不错裁汰90%以上。这比我们往日几十年经验的贪图机立异要快得多。大讲话模子是一个相当广泛的畛域。在中国,我们必须在推理和进修方面创新以裁汰本钱。走时的是,往日一年,我们看到了权贵高出。

百度的时刻配景是搜索引擎,它自然接近大讲话模子,是以我们在2023年3月就推出了文心一言,我们亦然上市公司中第一个推出类ChatGPT应用的。谷歌其后推出了Bard,并将其改名为Gemini。正如我们今天所知。这是一个相当欢快东说念主心的时刻,我们到处王人能看到创新,我们必须符合这种快速变化的创新。

问:我们也不雅察到,陪伴DeepSeek的爆火,寰宇许多大型芯片厂商和许多大型交游所的股价大幅下降。原因是之前有令东说念主急不择言的数十亿好意思元被投资于推理数据中心、进修这些东说念主工智能系统和模子,伴跟着DeepSeek的出现阛阓不少东说念主入手“看衰”这类投资,我们百度对此若何看?关于数据中心和AI基础设施的将来我们的和会是若何的?

答:从基本面来看,最要害的主题仍然是时刻高出相当快,本钱每年裁汰约90%,性能越来越好。其时刻发展如斯之快,你无法罢手干预。你必须干预,以确保处于这场时刻创新或立异的最前沿。我们仍需对芯片、数据中心和云基础设施进行执续干预,用于打造更好、更智能的下一代模子。

为此,需要使用更多的算力来尝试不同的旅途。也许,在某个时刻你会找到一条捷径,比如说只需600万好意思元就能进修出一个模子,但在此之前,你可能照旧消耗了数十亿好意思元,用来探索哪条路才是消耗这600万好意思元的正确阶梯。

我们对东说念主工智能的将来执乐不雅格调。我们认为,即使在现时水平下,大讲话模子也照旧在各式场景中创造多量价值。我们特殊十万客户在使用大模子提高作聘、电子商务、医疗保健致使能源、电力等畛域的着力。

我们照旧看到了好多这么的应用案例。在往日,他们可能需要消耗不到1万好意思元来达成某些成见,而使用大型讲话模子后,只需消耗纵情1000好意思元。是以,这照旧为他们创造了价值。

三级片在线

问:抛开外界的声息,想阐扬了解下,这次DeepSeek-R1的发布及开源,对百度智能云业务有什么影响?

答:DeepSeek R1发布及开源,推动应用爆发、带动算力增多,最利好百度智能云。

1、开拔点家具上DeepSeek裁汰大模子应用门槛,快速普及推动应用落地更早,带动算力增多;百度智能云在GPU期间更有上风地位。

a、全栈AI时刻智商,尤其是近期点亮的昆仑芯万卡集群:独特的四层架构,达成从云基础设施、框架、模子到应用端到端优化;

b、2025年2月5日,百度智能云收效点亮昆仑芯三代万卡集群,是国内首个阐扬点亮的自研万卡集群,并将进一步点亮 3 万卡集群。

c、百舸家具提供隆重、极速、高效的算力平台,极速得志客户全旅程算力需求,10万卡期间企业保执率先的第一选用。

d、率先的千帆大模子平台:营救国表里各式主流模子+丰富器具链,近期接入DeepSeek后首日调用客户就多达1.5万家,价钱全行业最低;

2、交易化:百度智能云具备世俗的阛阓认同,GPU云上风带动交易化进展快速

a、中国最大的大模子产业落地限度,超60%以上的央企及多量民营企业使用,2024年大模子中标第一(从中标厂商看,百度智能云在中标姿首数、行业掩盖数、央企中标姿首数这三个维度里均为第一。从行业分散看,百度智能云在能源、政务、金融这三个行业的中标姿首数位于所有这个词厂商第一。)

b、2025年1月份,百度中标姿首和中标金额双第一

注:文/吴铭,著述开首:产业家(公众号ID:chanyejiawang),本文为作家孤苦不雅点伊伊系列,不代表亿邦能源态度。



创建或修改目录:/www/wwwroot/104.219.215.234/data 失败!
JzEngine Create File False