加入星计划,您可以享受以下权益:
产业图谱
很有可能,但前面的路可能还很长。
比如在一个设计的开发阶段,我们肯定需要一个有着很多接口和调试功能的开发板,这样就可以把母板上的IO接口做多一些、调试手段做丰富一些,方便我们的开发。当开发调试结束、需要实际应用和部署的时候,可能就不需要这些额外的调试接口和IO了,留着它们反而会成为方便别人入侵的安全隐患。在这种情况下,就可以在母板上保留必要功能,而FPGA的部分保持不变,这样能快速组成一个可以部署的产品化系统。
同理,当FPGA芯片更新换代的时候,我们其实也可以保持母板不变,只需要更换上面的FPGA核心板就可以了。特别是可以复用很多母板上的资源,项目文件很多也不需要大修和重写,非常方便。
不过我觉得,Kria系列的最大特点,除了这种模块化的板卡设计之外,更多的是它的开发方法。
去年我们玩KV260的时候用的是赛灵思的官方示例,在很短时间之内就完成了一个视觉加速器的开发。那么这次用KR260,我们挑战了一下更高难度,想尝试一下实际开发起来是一种怎样的体验,也想体验一下ROS系统的使用,以及这种开发方式带来的好处。
机械臂的控制,是机器人领域的主要应用之一。我们要实现的功能其实并不是特别复杂,就是通过摄像头定位不同颜色的小方块,然后通过机械臂对小方块进行抓取和分类放置。
我们用的都是现成的机械臂硬件,和稚晖君大佬自研一切肯定没法比。我们这次开发的主要目的,其实就是评估KR260和ROS系统的易用性,看看它是不是真的像赛灵思宣传里说的那么好用。
确定功能之后,就是梳理出具体的开发步骤,主要分以下这么几步:
第一步,配置KR260的Ubuntu环境。我们接下来所有的开发,都要基于Ubuntu操作系统,所以这一步是基础。具体做法可以参考赛灵思给出的一些步骤,链接我都整合在开发文档里,点击文末「阅读全文」就可以看到。不过需要注意的是,这里需要选择支持KR260的Ubuntu版本,不能随便下。这个要到赛灵思的官网,找到Ubuntu Desktop22.04 LTS的映像,确保它支持KR260,然后下载,并且烧录到SD卡里。
sudo snap install xlnx-config --classic --channel=2.x
第四步,搭建机械臂的硬件结构。这一步其实独立于FPGA开发,我们用的是现成的机械臂硬件,主要涉及一些组装和调试的工作。某宝上其实有很多机械臂开发件在卖,但是大家在买的时候一定要注意,问清楚控制接口到底是什么协议。这里我们踩了一个大坑,后面会介绍。
第五步,就是开发实际的功能了。功能主要包含两块,一块是对机械臂动作的控制,一块是通过摄像头进行物体和颜色的识别。对于机械臂动作的控制,是通过动作组来实现的,每个动作组包含初始化、复位、抓取、转移、放置,这五个基本的行为。
我们把每个动作都做成一个函数,然后通过不同函数的组合调用,又组成更高层的函数,来完成不同的行为。这样一级一级下来,呈现给最上层用户的,就是几个可以调用的函数接口。当然最后这些都会用ROS集成起来。
摄像头识别的部分,使用OpenCV来实现。主要的工作有两个部分,分别是颜色识别、以及物体中心坐标定位。每部分的具体操作在下图中所示:
别着急,还有第六步,也就是最后一步,就是把这些分立的功能通过ROS连接起来。相当于前一步我们做的都是一个个砖块,现在可以把砖砌成房子了。除了识别算法和控制算法,ROS还可以直接驱动摄像头,并且通过CV bridge把摄像头的图像传递给识别算法。识别出物体的轮廓和坐标之后,自动判断下一步要执行的动作,然后在ROS里发送给机械臂完成执行。
开发过程肯定不是一帆风顺的,一些搭环境装软件的小问题就不说了,我们在开发过程中遇到的最大问题,其实是KR260目前存在的一些限制。
然后很自然的就想试试其他操作系统,比如我们试过Petalinux,并且成功修改了设备树,实现和I2C的通信,但是问题又来了,Petalinux不支持ROS,也没办法下载大部分依赖的安装包和支持库。我们试用KR260就是为了体验ROS开发来的,所以这条路也走不通了。
所以最后的方案,就是选了另外一个支持USB串口驱动的机械臂,并且直接在Ubuntu+ROS的环境下完成了前面的开发。
事实上,这并不是什么bug,而是一些相关的功能和支持还没完全开放。比如说不定过一段时间赛灵思就更新了Ubuntu版本,添加了对FPGA PL端IO资源的访问支持。也就是说,可以直接从FPGA的可编程硬件部分访问各种外设,这样肯定就方便更多了。
除此之外,一些其他的踩坑总结以及解决方案,也以文档的形式列出来了,感兴趣的朋友可以查看我们的Github链接:
今天这篇文章,带大家一起看了一下赛灵思最新的Kria KR260机器人开发套件的开发全过程。在这个过程中,可以不接触到FPGA的底层硬件内容。如果你是个软件开发者,可以利用这个平台直接进行上层机器人相关软件和算法的开发和加速,这个就大大降低了使用FPGA的门槛。这个过程也很有趣,同时也能慢慢接触到软硬件协同开发的知识细节,并且锻炼这方面的技能。
关于Kria KR260的学习资料,还有这个基于KR260的机械臂控制项目的具体细节、步骤和代码,我们都总结成了详细的文档,获取方式在置顶评论里,想要学习和上手的朋友可以从这里开始。也欢迎点击文末「阅读原文」做一个小调查,有任何反馈也欢迎留言告诉我,祝玩的顺利!
(注:本文不代表老石工作单位之观点)
微信公众号“老石谈芯”主理人,博士毕业于伦敦帝国理工大学电子工程系,现任某知名半导体公司高级FPGA研发工程师,从事基于FPGA的数据中心网络加速、网络功能虚拟化、高速有线网络通信等领域的研发和创新工作。曾经针对FPGA、高性能与可重构计算等技术在学术界顶级会议和期刊上发表过多篇研究论文。