2026-07-09
为什么选择端智能
端智能学习规划
出发点
作为一个做了几年 Flutter 移动端开发的程序员,我一直在想一个问题:纯业务开发的护城河到底在哪里?
画 UI、调接口、写 CRUD,这些能力随着 AI 编程工具的成熟,门槛越来越低。BOSS 直聘上纯移动端业务开发的薪资 3 年间已经降了 33%。
但我注意到另一个趋势:端智能(On-Device AI) 岗位在快速增长。京东、字节、阿里都在招,薪资开到 40K-70K。
什么是端智能
简单说就是把 AI 模型直接跑在用户手机上,而不是每次都调云端 API。
几个关键场景:
- 本地知识库(RAG):用户的私密文档在手机本地建索引,用小模型推理,数据不出设备
- 实时图像处理:拍照后本地做物体识别,不需要联网上传
- 智能助手(Agent):本地小模型做意图识别 + 工具调用
我的学习路线
- 模型部署:ONNX / TFLite / Core ML 格式转换,在 Flutter 中跑起来
- C++ 桥接:JNI / dart:ffi 把 C++ 推理引擎接入 Flutter
- 推理优化:INT8 量化、模型剪枝,让推理更快更省电
- 端侧 RAG:用 sqlite-vec 存向量,本地跑检索 + 生成
在这个过程中我会把所有实验代码、踩坑记录、性能数据都整理到这个网站里。
技术栈
| 层 | 技术 |
|---|---|
| 移动端 | Flutter + Dart |
| 推理引擎 | ONNX Runtime / MNN / TFLite |
| 桥接层 | dart:ffi / MethodChannel |
| 本地数据库 | Drift (SQLite) / sqlite-vec |
| 记录网站 | Astro + Cloudflare Pages + D1 |
开始吧。