一、背景概述

过去半年，公司迎来多个重要里程碑：港股成功上市、高阶智驾芯片M97首次亮相、普惠智驾芯片M57定点量产、入门级机器人芯片快速推广、大模型推理芯片稳步推进、产品线解决方案陆续交付、开源生态持续拓展。与此同时，公司产品战略也升级为 “感知—理解—行动” 的新方向。

由于近期内部事项密集、节奏较快，社区成果推广的推文未能及时跟上，因此借本次 “半年总集篇” 集中向开发者朋友们同步最新成果，希望能给生态中的小伙伴们带来启发。

二、模型仓库与生态建设

2.1 模型仓库规模

截至2026年6月15日，公司在 Hugging Face 和 ModelScope 魔搭社区上的模型仓库总数已超过 200个。

Hugging Face地址：https://huggingface.co/

ModelScope地址：

2.2 生态开放度持续提升，社区资源全面开放

年初，OpenClaw的发布显著推动了端侧与边缘侧AI产品需求的增长。为帮助更多开发者以更低成本、更便捷的方式体验公司AI芯片的强大性能，我们正式推出AX8850 SDK社区版本（基于v3.10.2版本）。

该社区版SDK现已开放全部核心生产资料，涵盖硬件资料、软件工具、开发文档以及NPU工具链。此举旨在全面支持以下产品形态的开发者进行直接、快速的评估：

AIBOX

龙虾盒子

AI-NVR

AI-NAS

M.2算力卡（随附完整PCB Layout资料，可直接投板，实现快速量产）

SO-DIMM算力模组

获取链接：

AXCL运行时开源，助力高效驱动适配

为方便开发者（尤其是“天才程序员”）快速将基于AX8850算力卡的驱动适配至各类主控硬件平台，我们同步开源了AXCL运行时源码，并提供了配套的驱动适配技术文档（Skill.md），旨在显著提升开发效率。

目前，已有客户基于该开源方案，成功实现了ARM64 + OpenWrt + 8850算力卡的平台适配。

开源仓库地址：

AX-Monitor/axmon：轻量级命令行性能监控工具

axmon是一款专为AX嵌入式开发板设计的紧凑型终端监控工具，其设计灵感源自nvitop。该工具特别适用于GTK图形化仪表盘使用不便，而通过SSH、串口控制台或本地Shell运行终端界面更为便捷的场景。

核心功能与特性：

动态终端仪表盘，配备彩色使用率进度条，显示直观。

支持一次性纯文本输出模式，便于集成至脚本与日志系统。

在Linux ARM64环境下通过npm正常安装，无需Rust工具链。

直接读取AX系统指标，无Python或GTK依赖，资源占用极低。

对root用户友好，支持启用NPU监控及加载带宽模块。

主要监控指标：

CPU使用率：读取自 /proc/stat

DDR操作系统内存：读取自 /proc/meminfo

DDR CMM内存：读取自 /proc/ax_proc/mem_cmm_info

NPU使用率：读取自 /proc/ax_proc/npu/top

SoC温度：读取自 /sys/class/thermal/thermal_zone0/temp

AX带宽：读取自 /proc/ax_proc/bw/bw

开源仓库地址：

三、NPU 社区工具链更新

3.1 Pulsar2 6.0

作为算力产品的核心软件工具，NPU工具链 Pulsar2 迎来 6.0正式版本，主要更新包括：

新增模型支持：Qwen3.5、Gemma4、MiniCPM-V 4.6、MiniCPM5-1B、Qwen3-ASR、Qwen3-TTS 等端侧大模型，推动端侧智能体（Agent）方案落地

新增芯片支持：AX637、AX615、AX88x0 系列，方便开发者快速评估新芯片的AI能力

获取地址：https://modelscope.cn/models/AXERA-TECH/Pulsar2/tree/master/6.0

3.2 axllm

我们重构了 AX8850/AX620E/AX637 系列的大模型Infra方案，基本实现 ‌OpenAI API Compatible‌，推动端侧大模型产品快速落地量产。

‌OpenAI API Compatible：‌是指遵循 OpenAI 官方 API 规范（包括 URL 路径、请求参数、响应格式）的接口标准，允许开发者使用同一套代码调用不同的大模型服务。这意味着只要模型服务商支持该协议，你只需修改‌Base URL‌和‌API Key‌即可无缝切换模型，无需重写业务逻辑。

获取地址：https://github.com/AXERA-TECH/ax-llm

3.3 ax-remote-infer

迭代 NPU 模型时，每次改动都要scp model.axmodel + 推理脚本到板子上跑，体验很糟。这个项目把这一步消掉了：

板子上跑一个小 daemon，你的 PC 上用pyaxengine加上 remote provider — 写起来跟在板子上跑没区别，代码人一直在 PC 上；

让任何一台 Python 工作站，通过局域网驱动AX NPU 推理，让家庭智能中枢的算力通信无碍。

获取地址：

3.4 QAT.Ultralytics

95%的端侧AI应用都离不开目标检测任务，为了进一步提升低比特量化精度，我们分享了基于 Ultralytics 的 QAT 方案，尽可能的减少量化精度调优的烦恼。以支持 YOLOv5、YOLO11、YOLO26 方案。

获取地址：https://github.com/AXERA-TECH/QAT.Ultralytics

四、解决方案初探

针对端侧AI、边缘计算领域客户零散但总量巨大的“中长尾市场”，公司提炼出多个共性场景方案，配套开放软硬件资料SDK，助力产品公司低成本评估、快速量产。

4.1 AIBOX 解决方案

针对多路视频解码和智能分析场景，充分利用芯片硬件编解码器和NPU资源。针对AX8850系列芯片开发多路视频解码+AI模型推理解决方案。

算力卡方案只要有PCIe的主控均可适配，已开源PCIe驱动源码和Code Agent Skill，最快1小时完成新主控平台适配。

获取地址：https://github.com/AXERA-TECH/ax-pipeline

4.2 AI NVR 解决方案

联合业内优秀开源项目 Frigate NVR，利用AX8850系列本地算力，打通智能分析中小（物体检测）- 中（语义搜索）- 大（生成式AI/智能体）三个维度，将整套方案完全离线部署，推动家庭智能中枢产品落地。

4.3 双目深度估计

基于AX8850N、AX8910平台，利用芯片高能效AI处理器高帧率运行Transformer模型，开发双目深度估计解决方案，赋能移动机器人和具身智能产品。

4.4 智能体（Agent）盒子

结合AX8850系列芯片本地部署端侧多模态大模型的技术特点，推出Agent BOX端云协同方案，为智能体装上本地计算的感知传感器模型（VLM多模态理解、ASR语音识别、TTS语音合成），最多可降低40%云端token费用。

4.5 本地语音助手

适配 FireRedASR2（1.2B参数），中文方言识别准确率全网开源最高

适配 Kokoro TTS 和 ZipVoice 多国语音实时生成模型

适配业界优秀语音推理平台 Sherpa-ONNX

已有行业头部客户基于此完成离线大模型智能会议机量产

4.6 多人会议转录摘要解决方案

支持浏览器麦克风实时分段转录，会议结束后自动进行说话人聚类+ASR，并调用本地大模型的OpenAI兼容接口生成会议纪要。支持AX8850主控和算力卡协处理两种硬件形态，其中M.2算力卡形态已在某国产笔记本AIPC上完成兼容性适配。

https://modelscope.cn/models/AXERA-TECH/3D-Speaker-MT.axera

4.7 视频理解智能体

基于AX8850系列芯片构建多模态VideoAgent，面向视频理解与检索，支持长视频智能分析与自然语言问答。

核心功能：

芯片平台部署：基于AX8850系列部署全部模型，端到端运行完整流程

视频智能索引：自动分段、特征提取、多模态信息融合（ASR+VLM）

向量检索：高效相似度检索与结果融合，支持跨模态查询

自然语言问答：基于视频内容生成回答，实现智能体功能

https://zhuanlan.zhihu.com/p/2043079393539618546

4.8 文字识别智能体

基于 PaddleOCR-VL + Qwen3-Embedding + Qwen3 + LangChain RAG 的文档智能问答系统，支持PDF、扫描件及常见图片格式的端到端识别与检索问答。

支持格式：PDF（文字型/扫描版）、PNG、JPG、JPEG、BMP、TIF、TIFF

https://zhuanlan.zhihu.com/p/2051768095803548852

4.9 内容合规解决方案

pp-nsfw_Inspector 是一个运行在Axera NPU上的图片内容审核Pipeline，结合OCR、NSFW检测、二维码扫描和关键词规则匹配，将图片分类为PASS/REVIEW/REJECT三档。

4.10 智能相册 Immich 更新

持续更新全球最火的智能相册开源项目 Immich

完善手机端APP交互体验；

基于最新的 Release v2.7.5 完成 AX8850 平台适配。

获取地址：

https://huggingface.co/AXERA-TECH/immich

https://zhuanlan.zhihu.com/p/2051749029223183792

五、自研模型开源

5.1 YOLO-Fun

将各类目标检测模型归类为长期维护项目 YOLO-Fun，在适配Ultralytics最新检测模型的同时，定制训练垂类场景检测模型。

5.2 中英文语义检索

基于 mobileclip2-s2 微调轻量级多语言文搜多模态模型，利于下游产品客户快速适配量产，适用于PC、手机、NAS、NVR、IPC、相机、行车记录仪等具备图片存储能力的设备。

获取连接：https://modelscope.cn/models/AXERA-TECH/MobileCLIP/tree/master/mobileclip2_s2/AX650

5.3 开集目标检测

六、大模型适配（2026年）

6.1 LLM（大语言模型）

6.2 VLM（视觉语言模型）

6.3 VLA（视觉语言动作模型）

七、语音模型适配

7.1 ASR（语音识别）

7.2 TTS（语音合成）

八、新增AI硬件

8.1 LLM8850-Kit 4GB

8.2 NanoKVM-GO

九、致谢

感谢 Hugging Face 和 ModelScope 魔搭社区提供免费的云存储资源；

感谢社区开发者 ivanshi1108、zihan987 贡献AX_DashBoard 和AX-Monitor 工具。