Maix Bit(K210)保姆级入门上手教程—环境搭建
Maix Bit(K210)保姆级入门上手教程—外设基本使用
这是K210快速上手系列文章,主要内容是,介绍MaixHub这个线上训练模型的使用,以及如何部署到K210中。
阅读本文的前提:读者对基本的监督式学习有一定的了解,之道学习率、迭代次数、网络模型等有一定的概念。没有的话,自行补充啦或者点这里,阅读官方文档学习相关基础~
本文内容多来自官方文档,目的是为了帮助读者快速上手训练自己的模型,侵权删!
一般来说运行神经网络模型有两种方式。一种是直接通过CPU进行运行,一种是通过KPU或者GPU加速运行。K210中使用KPU的方式加速运行网络模型,使得其运行速度得到加快。
MaixPy 中的存储介质主要由 Flash,SD 卡组成,分为三块区域,分别是 MaixPy.bin 固件区,xxx.kmodel 模型区,文件系统区:Flash 上为 spiffs(SPI Flash File System),SD 卡为 Fatfs(FAT file system)。
通常起始于 0x300000,模型文件之所以一般不烧录在 Flash 的文件系统,原因有下:
Flash 中文件系统拥有的内存并不够大,不足以放入大模型,更大的模型可以放入 SD 卡中。直接读取模型文件比经过文件系统读取速率更快。
但是也会有以下原因会将模型烧录在flash中,就是模型本身比较大,就需要烧录到flash中,而不是SD卡中。因为模型大,SD卡加载模型可能会出现内存不足的情况。
内存管理:
在 MaixPy 中, 目前使用了两种内存管理, 一种是 GC(垃圾回收), 另一种是系统堆内存, 两者同时存在。
比如:芯片有 6MiB 内存,加入固件使用了前面的 2MiB, 还剩 4MiB, 默认 GC使用 512KiB, 剩下的给系统堆内存管理。
注意:
GC 内存的总大小是可以设置的, 所以,根据具体的使用情况可以适当修改GC内存大小, 比如:
为了加载更大的模型,可以把 GC内存设置小一点
如果分配新的变量提示内存不足, 可以适当将GC内存设置大一点即可。如果都不够了, 就要考虑缩减固件大小,或者优化代码了。
KPU是通用的神经网络处理器,它可以在低功耗的情况下实现卷积神经网络计算,时时获取被检测目标的大小、坐标和种类,对人脸或者物体进行检测和分类。KPU 实现了 卷积、批归一化、激活、池化 这 4 种基础操作的硬件加速, 但是它们不能分开单独使用,是一体的加速模块。KPU使用也有一些限制。
内存限制
加速限制
加速限制比较多,有一些算子是能完全加速,有一些不能,大概知道这个就行了。具体哪些可以,哪些不可以自己上官方查啦~
MaixHub网站提供模型训练功能和模型分享功能, 只需要准备好需要训练的数据集, 不需要搭建训练环境和代码, 上传训练数据即可快速训练出模型,方便快速制作你的 AI 应用,或者入门学习 AI 训练的流程和原理。
获取图片数据,可以自己爬虫获取,也可以从实际运行的开发环境中获取。如果是实际运行的环境获取的话(建议采用这个方式,用自己获取到的图片训练,精度会更高),可以参考下面的代码。如果是爬虫获取,可以参考
百度爬取图片
我这里写了一个简单从摄像头获取数据的代码,可以参考一下。目前支持两种获取图片的方式,定时获取或者按键获取。
但是由于个人水平实在有限,不能解决python中使用uos.mkdri()创建的目录不能正常使用python进行删除的问题(建议通过相关接口修改字典的内容,因为创建的目录不能正常删除,除非在PC上操作)。
如果出现目录或者文件异常
,可能是没有正常关闭文件导致的。可以在PC上面把创建的东西删除就可以。
注意,需要SD
卡,文件都是在SD卡中操作的。
基本流程的话,首先调用init()创建索引文件。之后会根据字典的内容创建相应的目录存放文件。例如:init()创建的字典文格式如下。
会自动创建目录/pic/sit/right和/pic/sit/error,之后会自动读取以及保存right或者error的值作为图片名词。
dictx={'sit': {'right': 0, 'error': 0}, 'object': {'portable_battery': 0, 'Instant_noodles': 0,'mouse': 0}}
如果是使用Maix Bit板子,下面代码能直接运行:按键就是开发板上的按键
from machine import Timer
from Maix import GPIO
from fpioa_manager import fmimport sensor, lcd
import uos,sysdef create_dir(dir,chdir='/sd'):try:if(uos.stat(dir)):print("PATH existed")except:uos.mkdir(dir)
# 函数整个字典读取,文件默认名字是index.txt
def read_pic_index(file_path='/sd/pic'):uos.chdir('/sd/pic')file = open('index.txt','r+',encoding='utf-8')index= eval(file.read()) #读取的str转换为字典file.close()return index
# 添加一个字典,第一次创建,写key=='none'
def add_pic_index(key,dict_value,file_path='/sd/pic'):if(key!='none' ):index = read_pic_index(file_path)file = open('index.txt',"w+",encoding='utf-8')index[key]=dict_valuefile.write(str(index)) #把字典转化为strfile.close()else:# 第一次创建create_dir('pic',file_path)uos.chdir(file_path)#print(uos.getcwd())file = open('index.txt',"w+",encoding='utf-8')file.write(str(dict_value)) #把字典转化为strfile.close()# 删除一个字典
def del_pic_index(key,file_path='/sd/pic'):import sysglobal index # 声明全局索引index = read_pic_index('index.txt')file = open('index.txt','w+')try:del index[str(key)]except KeyError:print('key :'+key +' have been del or without this key') #file.close()else:passfile.write(str(index)) #把字典转化为strfile.close()# 打印所有的索引
def print_pic_index(file_path='sd/pic'):cat_index=read_pic_index('index.txt')for key in cat_index:print("key:%s value:%s"%(key,str(cat_index[key])))# 获取key的索引
def get_pic_key_index(key,file_path='sd/pic'):cat_index=read_pic_index('index.txt')for fkey in cat_index:if fkey==key:return cat_index[key];
# 设置某一个key的index
def set_pic_key_index(key,dict_value,file_path='sd/pic'):add_pic_index(key,dict_value,file_path)
# 清楚所有的index
def clear_pic_index(file_path='sd/pic'):cat_index=read_pic_index(file_path)for key in cat_index:del_pic_index(key,file_path)# 这里解释以下,init()创建一个索引文件,保存标签图片
# 比如,/sd/pic/index.txt中的数据就是dictx的数据,使用前需要先调用init()
# 存放图片也跟这个有关系,存放图片的路径会是,/sd/pic/sit/right或者
# /sd/pic/sit/error
def init():# init()执行一次就行了,之后屏蔽掉就OKdictx={'sit': {'right': 0, 'error': 0}, 'object': {'portable_battery': 0, 'Instant_noodles': 0,'mouse': 0}}try:if uos.stat('/sd/pic'):print("PATH existed")except:uos.mkdir('/sd/pic')add_pic_index('none',dictx)index=read_pic_index()print(index)# 初始化摄像头
def sensor_init():sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.run(1)sensor.skip_frames()# 获取一帧图片
def get_frame_pic():img = sensor.snapshot()return img# 获取获取图片计数和图片设置路径
pic_num=1
save_path=''# 保存图片设置
def save_pic(timer):global pic_numglobal save_pathimg=get_frame_pic()lcd.display(img)file_name=save_path+'/'+str(pic_num)+'.jpg'print(file_name)img.save(file_name, quality=95)pic_num+=1#开发板上RST的按键IO
KEY=16 # 保存图片,保存的数量,1张图片拍摄的时间间隔(ms),这里使用计时器的方式
# 参数:ikey是字典类标签,iikey是某一个标签
# 参数:num是保存图片数量,file_index_path就是标签保存途径
# 参数:interval是’period‘获取一张图片间隔,推荐300~500ms
# 参数:mode是模式,按键’key‘,模式’period‘
# 注意:使用按键的方式,interval将不再起作用
def start_obtain(ikey,iikey,file_index_path='/sd/pic/index.txt',num=100,interval=300,mode='period'):global pic_numglobal save_pathprint('sensor_init & lcd')pic_index=get_pic_key_index(ikey,file_index_path)print(pic_index)sensor_init()lcd.init()if mode=='period':if interval < 150:interval = 150# 配置定时器print('init irq')tim = Timer(Timer.TIMER0, Timer.CHANNEL0, mode=Timer.MODE_PERIODIC, period=interval, unit=Timer.UNIT_MS, callback=save_pic, arg=save_pic, start=False, priority=1, div=0)elif mode=='key':# 配置按键外部中断fm.register(KEY, fm.fpioa.GPIOHS0)key = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_NONE)key.irq(save_pic, GPIO.IRQ_RISING, GPIO.WAKEUP_NOT_SUPPORT,1) else:print('input mode error please input mode = period or key')return 0# 获取索引pic_index=get_pic_key_index(ikey,file_index_path)print(pic_index)# 根据索引的进行处理for pkey in pic_index:if iikey==pkey:save_path='/sd/pic/'+ikey+'/'+pkey # 保存文件目录create_dir('/sd/pic/'+ikey) # 创建相应路径的文件夹create_dir(save_path) # 创建相应路径的文件夹last_num=pic_index[pkey] #获取上次已经保存到的数量pic_num=last_num #设置当前数量while(pic_num
运行结果:
PATH existed
sensor_init & lcd
{'error': 101, 'right': 9}
init i2c:2 freq:100000
[MAIXPY]: find ov5642
[MAIXPY]: find ov sensor
init irq
{'error': 101, 'right': 9}
PATH existed
PATH existed
have done = 0.000000
/sd/pic/sit/right/9.jpg
have done = 0.002000
/sd/pic/sit/right/10.jpg
have done = 0.004000
/sd/pic/sit/right/11.jpg
have done = 0.006000
/sd/pic/sit/right/12.jpg
训练模型的数据,简单做个分类算法的训练,我做了两个简单的训练,都是从Maxi bit 获取数据,训练识别充电宝和书本的模型。数据集做的比较随便,作为演示足够了。
本来打算用gitee的,然后会有图片和外链的限制,还是github吧。如果不能访问github,点击下面链接,里面有加速器。
Maix Bit(K210)保姆级入门上手教程—环境搭建
数据和相关代码点这里下载:
github:自训练模型演示代码
添加数据集
不用添加验证集,全部都添加训练集就可以,验证集可以留空,训练时会自动从训练集中分割 10% 作为验证集。
查看上传的训练数据
上传完毕可以在这里查看上传的数据:
开始排队训练
选择模型选择nncase
,其他的默认就可以了,点击创建训练任务即可开始排队训练。
等待训练完成即可
训练结果就是如下:因为数据集简单,场景单一,精度确实可以,接近1。
如果不能访问github,点击下面链接,里面有加速器。
Maix Bit(K210)保姆级入门上手教程—环境搭建
数据和相关代码点这里下载:
github:自训练模型演示代码
点击部署模型:
选择手动部署,下载模型,得到压缩包,里面有模型文件和参考演示文件已经,训练结果report文件。
我们选择将模型放到SD卡,从SD卡加载模型,将模型导入SD卡中,记得修改参考代码中的路径
。如果出现什么奇奇怪怪的错误,建议重新烧录固件,固件选择mini版本的,固件已经在代码中了。
if __name__ == "__main__":try:# main(labels=labels, model_addr=0x300000)# 修改模型所在路径main(labels=labels, model_addr="/sd/model/model-32464.kmodel")except Exception as e:sys.print_exception(e)lcd_show_except(e)finally:gc.collect()
还可以部署到flash中,部署到flash中和固件加载的模式一样,这里就不进行演示了。选择 # main(labels=labels, model_addr=0x300000)运行这一条代码就行,选择模型部署到0x300000就OK。
运行模型出现,模型不兼容的情况,注意看看自己选择训练的模型是否与平台匹配。
如果模型本身比较大,可能会出现内存不足的提示,遇到这种情况一般有以下三种解决方案。
点击查看官方文档
这个很简单,就不进行演示了。固件在我分享的代码当中了,当然是maix bit版本的。
选择kpu.load_flash
的方式加载大模型,理论上可以加载无限大的模型,只要模型每层<4M,但实际上K210的flash有限,模型也只能有限制。kpu.load_flash
仅支持从内部 flash 加载,不支持从文件系统加载
加载前我们需要对在 PC 上对 kmodel 模型文件进行预处理(对模型字节序进行翻转),运行maix bit官方的模型转换代码。代码在我分享的gitee中了。
模型转换是在PC上面进行的,记得查看自己的python版本是不是3。
具体可以看分享的官方的说明,说明在分享的文件中了。
使用powershell打开,cd切换model所在目录。
执行命令:
cd C:\Users\13029\Desktop\Used\Online-training\code\load_big_modelpython model_le2be.py demo_load_big_model.py
烧录模型,选择烧录转换之后的_be.kmodel
具体代码修改仅仅是将加载模型的方式修改了,其他代码和上面从SD卡加载模型的方式一样。
#task = kpu.load(model_addr)
task = kpu.load_flash (model_addr,1, 0xC000, 60000000)
KPU硬件基础
深度学习基础
Mirco py 文档
Sipeed官方文档
下一篇:STM32实战项目-基本定时器