DeepSeek开源推理框架,AI白菜价时代脚步近了(DeepSeek 开源模型) szthrk.cn

潮新闻客户端 张云山 郭文青

如果说发布大模型是给AI装上了“大脑”,那么推理框架就是决定这个大脑转得快不快、费不费电的“心脏”。今天下午,被网友戏称为“真OpenAI”的DeepSeek又放了大招:直接把内部压箱底的“心脏”——大规模推理框架DeepInfer全开源了!这波操作意味着,以后大家用AI,不仅脑子更聪明,而且更便宜、更省电了!

DeepSeek开源推理框架(官方截图)

“梁圣”又发福利,DeepSeek这次开源了什么

今天下午,DeepSeek在开发者圈子里又炸开了锅。继之前把各种大模型、底层工具库疯狂开源之后,这次他们把手伸向了AI服务背后最耗钱、最核心的环节——推理框架。

DeepSeek的LOGO(网站截图)

很多读者可能要问,这玩意儿听着挺玄乎,跟我有啥关系?其实,你在手机上和AI聊天的每一秒,背后都是庞大的算力集群在疯狂运转,电费烧得嗖嗖的。而推理框架,就像是一个极其聪明的“后厨总管”。它负责把后厨里堆成山的食材(算力),以最快的速度、最省煤气的方式,变成端上桌的美味菜肴(AI回复)。

DeepSeek这次开源的这个叫DeepInfer的框架,就是他们内部一直在用的“总管”。

DeepInfer的框架(网站截图)

一张算力卡一天能产出6000元

DeepSeek官方公布了一组极其“粗暴”的数据,让不少圈内人直呼眼红:目前,他们单一集群每天能吐出155万亿个Tokens!什么概念?相当于一天处理了海量的图文信息。

更刺激的是,按照行业底价算,每张算力卡每小时能产出38美金,约合人民币253元。拿计算器按一下:一张卡一天满负荷跑24小时,那就是6091元,一个月就是18万多!

当然,DeepSeek开源这个,不是为了炫耀自己多能赚钱,而是为了告诉大家:“我的高效秘诀全在这儿了,你们拿去,也能让自己的服务器跑得更快、更省钱!”这波操作,可以说是把“大模型普惠”刻在了骨子里。

DeepInfer的框架(网站截图)

除了这些,DeepSeek还开源了一个叫deepseek-recipe的小组件。这玩意儿像个“翻译官”,保证开发者自己部署的API,和大家在官方体验到的一模一样,不会出现“水土不服”。

值得一提的是,这次开源的框架极其“不挑食”。不管你是用英伟达的显卡,还是咱们国产的华为昇腾平台,它都能完美兼容运行。