Thinking Machines 发布 Inkling 2 Mini:开放权重并面向本地运行
北京时间11月21日凌晨,Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini。团队称,这款模型针对本地使用设计,并通过重复运行模型中间层,在每个生成步骤中投入更多计算。
中间层重复运行
根据发布方介绍,Inkling 2 Mini 采用混合专家架构,模型总参数约264亿,每个 token 激活约34亿参数。由于中间层会执行三遍,若把重复运行计入计算量,团队称每个 token 对应约54亿参数的权重激活量。
重复使用同一部分网络,可以在不按相同幅度增加存储参数的情况下,让模型对输入进行多轮内部处理。团队同时开放了可改变循环次数的研究版本,供研究人员观察循环深度对表现和可监测性的影响。
本地运行与开放方式
发布方称,模型权重主要采用低位精度格式,总内存占用约20GB;在发布时,团队支持通过 Ollama 在至少配备32GB内存的 Mac 上运行。实际可运行情况仍取决于设备内存、运行框架、输入长度及其他任务占用。
官方模型卡显示,Inkling 2 Mini 接受文字和图像输入,输出文字,权重采用 Apache 2.0 许可证。公司还提供托管推理与微调入口,并列出多种本地推理框架。模型可能产生事实错误,也可能在复杂、多轮任务中偏离指令,输出仍需核查。
发布方公布了一组模型评测结果,但不同模型的测试设置可能不同;评测成绩不能保证真实任务中的表现。
扫描二维码手机访问。
版权声明:本文由皓维工作室发布,如需转载请注明出处。
本站大部分资源收集于网络,只做学习和交流使用,版权归原作者所有。
若您需要使用非免费的软件或服务,请购买正版授权并合法使用!
本站发布的内容若侵犯到您的权益,请联系站长删除,我们将及时处理!


