Gemma 移动端 LLM 教程¶
tags: #Gemma #Mobile #OnDeviceAI #LLM #Tutorial #Android #Google source: How to run LLMs locally on mobile devices (with Gemma) score: 技术深度8/10 | 实用价值9/10 | 时效性7/10 | 领域匹配9/10 | 综合 8.3/10
核心概念¶
一篇实操教程，详细展示如何在移动设备上使用 Google 的 Gemma 模型本地运行 LLM。覆盖从模型选择、量化、部署到推理的全流程，是端侧 AI 落地的实用参考。
设计原理¶
端侧LLM的技术挑战¶
教程隐含的核心挑战： - 模型大小 vs 设备内存：移动设备通常4-12GB RAM，模型必须经过量化和裁剪 - 推理速度 vs 电池续航：LLM推理是计算密集型，需要平衡响应速度和功耗 - 精度损失 vs 可用性：量化（INT4/INT8）会降低模型精度，需要验证在目标场景下仍然可用
Gemma 在端侧的优势¶
- Google 官方支持的多尺寸模型（2B/7B等）
- 开源权重，允许量化和定制
- 有 MediaPipe 和 Gemma.cpp 等官方推理引擎支持
关键实现¶
端侧LLM部署流程¶
- 模型选择：根据设备性能选择合适大小的Gemma模型
- 模型量化：INT4/INT8量化降低内存占用和推理延迟
- 推理引擎：选择合适的运行时（MediaPipe / ONNX Runtime / llama.cpp）
- 集成测试：在目标设备上验证推理质量和速度
端侧LLM生态对比¶
| 模型 | 参数量 | 内存需求（INT4） | 来源 |
|---|---|---|---|
| Gemma 2B | 2B | ~1.2GB | |
| Qwen3.5-0.8B | 0.8B | ~500MB | 阿里 |
| Phi-3-mini | 3.8B | ~2GB | Microsoft |
| Llama 3.2 1B | 1B | ~600MB | Meta |
关联分析¶
- 与 ExecuTorch 相关：ExecuTorch是Meta的端侧推理框架，本教程侧重Gemma但ExecuTorch也可作为推理引擎选择
- 与 EdgeDox 互补：EdgeDox用Qwen3.5-0.8B做文档AI，本教程用Gemma做通用LLM，都是端侧AI的具体实践
- 与 ExecuTorch 相关：ExecuTorch是Meta的端侧推理框架，Gemma用的是Google的推理方案
- 与 HarmonyOS-Ecosystem-2026-05 相关：端侧LLM教程可迁移到鸿蒙平台
- 与 Training-LLM-Swift 互补：Swift教程关注iOS端，Gemma教程关注Android端
可执行建议¶
- 动手实践端侧LLM：按教程在Android设备上运行Gemma，理解端侧AI的完整技术栈
- 对比Qwen和Gemma：结合EdgeDox的Qwen方案，对比两个模型在移动端的表现差异
- 鸿蒙迁移实验：将Gemma部署流程迁移到鸿蒙，探索鸿蒙的端侧AI能力
- 关注模型量化技术：INT4量化是端侧部署的关键技术，深入研究量化对精度的影响
自评¶
| 维度 | 分数 | 权重 | 加权 |
|---|---|---|---|
| 摘要质量 | 8 | 0.25 | 2.00 |
| 技术深度 | 8 | 0.25 | 2.00 |
| 相关性 | 9 | 0.20 | 1.80 |
| 原创性 | 7 | 0.15 | 1.05 |
| 格式规范 | 8 | 0.15 | 1.20 |
| 加权总分 | 8.05 |
评分说明：端侧LLM实操教程与用户移动端+AI背景高度匹配；技术对比表格提供了实用参考；鸿蒙迁移建议具有可执行性。