Hugging Face上周公布可在手机上实行的最新一代道话模子SmolLM2眷属开云(中国)Kaiyun·官方网站 - 登录入口。

这是继7月初次问世后，SmolLM眷属最新版块，包括参数目135M、360M与1.7B三种界限，其中135M参数模子分红基础及Instruct版，而360M与1.7B参数模子则分红基础、Instruct及GGUF（GPT-Generated Unified Format）版，共11个模子，都以Apache 2.0授权开源。

135M、360M与1.7B都所以公开数据集和Hugging Face编排的数据集如FineWeb-Edu、DCLM和The Stack，以监督式微调（supervised fine-tuning）设施教师，1.7B版块还多了些数学与设施代码数据集。数据集的量永诀为2兆、4兆与11兆字词。Hugging Face还讹诈径直偏好优化（Direct Preference Optimization，DPO）算法来强化。

三个界限的模子教师的软件架构都是Transformer decoder，硬件架构而言，其中135M与360M模子实行于64颗H100的工作器，而1.7B版块则为256颗H100的环境。

一如第一代，SmolLM2亦然可实行在成就上的轻量级模子，但在提醒顺从、学问与雄厚能力优于第一代。而拜Argilla的数据集如Synth-APIGen-v 0.1之赐，Instruct模子另外还复旧改写、费劲摘抄、与函数调用等任务。

凭证Hugging Face的数据，在多项基准测试上，以SomlLM2-1.7B而言，不但优于第一代，也跳跃参数目更多的Llama-1B-Instruct及阿里巴巴的Qwen2.5-1.5B-Instruct。

天然能力更耕作开云(中国)Kaiyun·官方网站 - 登录入口，但新一代SmolLM依然有些不及。现在SmolLM2模子只可雄厚和生成英文本色。此外也还存在事实准确性、逻辑一致性以及偏差等问题。Hugging Face提出用户只可用于接济器具，且应极端严防评估其产出本色。