Secret AI
  • Features
  • Pricing
  • Community
Download
  • Features
  • Pricing
  • Community

100% Offline & Secure AI Assistant

Google PlayApp Store

Product

  • Home
  • Features
  • Pricing

Resources

  • Blogs
  • Models
  • Shortcuts
  • Download
  • FAQ
  • Community

Legal

  • Privacy
  • Terms

© 2026 Secret AI L.L.C. All rights reserved.

Back to Models

DeepSeek-R1-0528-Qwen3-8B-MNN

Author: taobao-mnn
Downloads: 2,044
Likes: 1
License: MIT
Created: May 30, 2025
Last Modified: {{count}} days ago
MNN
Reasoning
Medium
DeepSeek
Qwen

DeepSeek-R1-0528-Qwen3-8B-MNN

原始模型 · Hugging Face · ModelScope · MNN

基于 Qwen3-8B、使用 DeepSeek-R1-0528 推理数据蒸馏的模型,用于数学、代码和逻辑推理。本仓库提供其 MNN 量化版本。

模型信息

项目配置
输入 / 输出文本 / 文本
语言层数 / 隐藏维度36 / 4096
语言权重HQQ 4-bit,分组 128
输出头HQQ 4-bit,分组 128
量化尺度FP16(语言线性层与输出头)
词嵌入独立 BF16 嵌入(embeddings_bf16.bin)
默认运行配置CPU,4 线程,precision=low,memory=low

模型文件包括 llm.mnn / llm.mnn.weight(模型图与权重)、tokenizer.mtok(分词器)、config.json / llm_config.json(运行与模型配置)、embeddings_bf16.bin(词嵌入)。下载时保留完整目录。

下载

Hugging Face:

hf download taobao-mnn/DeepSeek-R1-0528-Qwen3-8B-MNN --local-dir ./DeepSeek-R1-0528-Qwen3-8B-MNN

ModelScope:

modelscope download --model MNN/DeepSeek-R1-0528-Qwen3-8B-MNN --local_dir ./DeepSeek-R1-0528-Qwen3-8B-MNN

运行

以下命令使用本次导出验证的 MNN 3.6.2 提交。

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON
cmake --build MNN/build --target llm_demo -j4
printf '%s\n' 'Solve the equation: 2x + 3 = 11.' > prompt.txt
./MNN/build/llm_demo ./DeepSeek-R1-0528-Qwen3-8B-MNN/config.json prompt.txt

模型会输出思考过程;生成长度可通过 config.json 的 max_new_tokens 调整。

采样参数在 config.json 中调整。应用集成见 MNN-LLM 文档。

验证与导出

2026-11-12,x64 CPU:FP32 映射对齐、问候、算术与翻译用例及默认配置冒烟测试通过。

导出参数见 export_args.json,测试记录与文件哈希见 refresh_metadata.json。

许可证

采用上游 MIT License。

Share this model

Found this model useful? Share it with others!