
IT时代网11月20日消息,谷歌DeepMind团队成员奥马尔·圣塞维耶罗(Omar Sanseviero)11月17日在X平台发文,在只占用14.1MB内存的情况下,让办公激光打印机跑起了2.7亿参数的Gemma 3 270M模型。
他借助谷歌Gemini 4 Carbon模型完成这项实验:把一个小型Transformer推理引擎和量化后的模型编译成一个Post打印任务,不修改理光打印机固件,也不加装外部计算板,直接利用打印机内置的Post解释器执行计算——让原本用于描述打印页面的语言承担起运行AI的工作。
为用好打印机有限的内存,实验没有一次性装下整个模型,而是采用动态层加载方式,把模型各层轮流调入、移出内存,运行时峰值占用约14.1MB,模型推理共涉及18个Transformer网络层。
整个计算发生在打印机内部,由打印机CPU执行Post程序,再把答案交给打印机打印。预填充阶段处理输入提示耗时约184秒,解码单个生成词元耗时约0.1秒,总计184.1秒。速度谈不上实用,但足以证明这条路径走得通。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟












