当前位置:首页 > 每日科技 > 正文内容

Thinking Machines 发布 Inkling 2 Mini:开放权重并面向本地运行

紫茹20小时前每日科技108

北京时间11月21日凌晨,Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini。团队称,这款模型针对本地使用设计,并通过重复运行模型中间层,在每个生成步骤中投入更多计算。

中间层重复运行

根据发布方介绍,Inkling 2 Mini 采用混合专家架构,模型总参数约264亿,每个 token 激活约34亿参数。由于中间层会执行三遍,若把重复运行计入计算量,团队称每个 token 对应约54亿参数的权重激活量。

重复使用同一部分网络,可以在不按相同幅度增加存储参数的情况下,让模型对输入进行多轮内部处理。团队同时开放了可改变循环次数的研究版本,供研究人员观察循环深度对表现和可监测性的影响。

本地运行与开放方式

发布方称,模型权重主要采用低位精度格式,总内存占用约20GB;在发布时,团队支持通过 Ollama 在至少配备32GB内存的 Mac 上运行。实际可运行情况仍取决于设备内存、运行框架、输入长度及其他任务占用。

官方模型卡显示,Inkling 2 Mini 接受文字和图像输入,输出文字,权重采用 Apache 2.0 许可证。公司还提供托管推理与微调入口,并列出多种本地推理框架。模型可能产生事实错误,也可能在复杂、多轮任务中偏离指令,输出仍需核查。

发布方公布了一组模型评测结果,但不同模型的测试设置可能不同;评测成绩不能保证真实任务中的表现。

资料来源:Thinking Machines Lab:Inkling 2 Mini 发布说明;官方模型卡。

扫描二维码手机访问。

版权声明:本文由皓维工作室发布,如需转载请注明出处。

本站大部分资源收集于网络,只做学习和交流使用,版权归原作者所有。
若您需要使用非免费的软件或服务,请购买正版授权并合法使用!
本站发布的内容若侵犯到您的权益,请联系站长删除,我们将及时处理!

本文链接:https://shiziru.com/post/261.html

分享给朋友:

“Thinking Machines 发布 Inkling 2 Mini:开放权重并面向本地运行” 的相关文章

谷歌研究介绍人机协作分类方法:用边界案例明确模糊概念

谷歌研究介绍人机协作分类方法:用边界案例明确模糊概念

Google Research 介绍 Agile Deliberation,通过展示边界案例和收集用户反馈,帮助构建适应主观标准的图像分类器。…

Google Cloud 宣布 Gemini Omni 1.2 Flash 正式可用,支持最长 15 秒视频

Google Cloud 宣布 Gemini Omni 1.2 Flash 正式可用,支持最长 15 秒视频

Google Cloud 宣布视频生成与编辑模型 Gemini Omni 1.2 Flash 正式可用,并介绍时长、参考素材和计价方面的变化。…

中国第43次南极考察启程,将开展冰下湖观测和装备测试

中国第43次南极考察启程,将开展冰下湖观测和装备测试

考察队11月7日从海南三亚出征,计划开展南极冰下湖研究、海洋调查及国产装备测试。…

NASA 公布月球基地新项目:推进核动力月球车和商业运输

NASA 公布月球基地新项目:推进核动力月球车和商业运输

NASA 更新月球基地相关计划,包括推进 PROMISE 月球车、商业载荷运输以及月面供电通信设备。相关任务仍处于研发或筹备阶段。…

互联网新技术新应用备案系统上线,生成式AI等事项纳入统一入口

互联网新技术新应用备案系统上线,生成式AI等事项纳入统一入口

国家网信办表示,新系统11月9日上线,原算法备案系统和区块链备案系统同步停用。…

LG 开放 K-EXAONE 2.5 免费 API:平台条款限定非商业使用

LG 开放 K-EXAONE 2.5 免费 API:平台条款限定非商业使用

LG AI Research 开放 K-EXAONE 2.5 模型接口,平台目前免费,但条款限制商业用途和向第三方提供模型调用。…