草庐IT

智能垃圾分类垃圾桶（K210+stm32mp157）

weixin_53776127 2023-04-10 原文

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

有需要源码参考的可以点赞在评论区留邮箱

K210识别垃圾

k210识别2

文章目录

  • 前言
  • 一、垃圾分类识别+舵机控制（K210）
  • 二、语音控制（K210+ld3320）（UART通信）
  • 三、满溢度距离传感器数据获取（STM32MP157）
  • 四、图像获取以及传输（STM32MP157）（UDP）
  • 总结

前言

最近做了一个多功能智能垃圾桶，主要用了k210开发板来做识别和控制以及用stm32mp157来做传感器数据采集以及图像传输。主要功能如下

垃圾分类识别+舵机控制

语音控制垃圾桶开关

检测垃圾桶的满溢程度

摄像头读取图像信息并通过UDP传输至客户端

一、垃圾分类识别+舵机控制

垃圾分类使用的开发板是K210

模型训练可以用mxyolov3平台，也可以用官方的训练平台（这个比较容易使用，但有数据集20M大小的限制）,使用开发板前需要用KFLASH烧录.bin后缀的固件包,将训练完成的kmodel文件烧录至开发板，然后需要一段执行代码，后续的功能联调也是需要在识别代码基础上添加

识别完需要进行一些控制，不然结果也就只是结果。我在项目中通过pwm信号控制舵机转动，来识别垃圾桶的识别功能。

为了防止误判，我在识别代码里加了连续10帧检测同一物体才驱动舵机

识别控制

以下是舵机转动角度的函数，主要是改变PWM信号的占空比

def Servo(servo,angle):
    servo.duty((angle+90)/180*10+2.5)

二、语音控制

语音控制

ld3320语音模块控制垃圾桶的开关（也就是ld3320跟K210通信，K210控制舵机转动）

ld3320跟K210通过UART串口通信

ld3320模块，识别到垃圾桶打开的指令，就通过串口向K210发送‘aa’的数据，在K210端进行UART串口信息的检测，若收到的信息为‘aa’ 就控制舵机转动

read_data = uart_wifi.read()
#下面是开盖 并进入检测 servo是转动角度的函数

if(read_data == b'bb'):
        Servo(S3,-30)
        flag = 1;
if(read_data == b'aa'):
        Servo(S3,60)
        flag = 0;
 

三、满溢度距离传感器数据获取（STM32MP157）
 

 

检测垃圾桶有没有满，距离检测主要用stm32mp157开发板上的ap3216c传感器。
 

对传感器数据的读取是读取设备文件数据，是通过文件 I/O 的方式来实现。在应用层编写代码读取设备下的数据即可。
 

以下为传感器数据读取的代码
 

QString Ap3216c::readPsData()
{
    char const *filename = "/sys/class/misc/ap3216c/ps";
    int err = 0;
    int fd;
    char buf[10];

    fd = open(filename, O_RDONLY);
    if(fd < 0) {
        close(fd);
        return "open file error!";
    }

    err = read(fd, buf, sizeof(buf));
    if (err < 0) {
        close(fd);
        return "read data error!";
    }
    close(fd);

    QString psValue = buf;
    QStringList list = psValue.split("\n");
    return list[0];
}
 

四、图像获取以及传输（STM32MP157）（UDP）
 

获取开发板摄像头的数据，并通过UDP传输至客户端
 

在QT中使用UDP传输流程：
 

服务器端创建socket，就可以直接使用writeDatagram函数发送信息，在函数的参数中需要写入数据，数据大小接收端的IP，端口号
 

（使用TCP的话一般服务器端是需要创建socket，bind，listen监听，并accept客户端的connect，我们这里传输视频信息，用UDP延时会比较小，当然只是理论，我并没有测试过）
 

客户端创建socket，绑定自己的IP和端口号，就可以用readDatagram函数接收数据
 

这里就用自己的电脑作为客户端，来获取垃圾桶的实时状况。（其实这个功能只是我为了学习网络编程强加的，功能比较鸡肋，主要是学习）
 

服务器端的代码
 

//摄像头通过调用opencv库获取到的数据类型为mat 需要先转成QImage类型
//QImage类型的图像放入QByteArray中，然后进行base64编码的压缩
//接收端在进行base64解码
/* udp套接字 */
     QUdpSocket udpSocket;

/* QByteArray类型 */
     QByteArray byte;

/* 建立一个用于IO读写的缓冲区 */
     QBuffer buff(&byte);
    
/* image转为byte的类型，再存入buff */
     qImage.save(&buff, "JPEG", -1);

/* 转换为base64Byte类型 */
     QByteArray base64Byte = byte.toBase64();

/* 由udpSocket以单播的形式传输数据，端口号为8888 */
     udpSocket.writeDatagram(base64Byte.data(), base64Byte.size(), QHostAddress("192.168.10.200"), 8888);
 

客户端代码
 

udpSocket = new QUdpSocket(this);
udpSocket->bind(QHostAddress("192.168.10.200"), 8888);
QByteArray datagram;
udpSocket->readDatagram(datagram.data(), datagram.size());

//String-Base64编码转QByteArray
 QByteArray decryptedByte;
decryptedByte = QByteArray::fromBase64(datagram.data());


//比如读入一张BMP格式的文件到QByteArray对象中，再调用该函数，那么该函数就会根据QByteArray中数据进行解析，分析图像的格式等
QImage image;
image.loadFromData(decryptedByte);
videoLabel->setPixmap(QPixmap::fromImage(image));
 



 

总结
 

整个的项目用了2个架构的开发板K210（RISV-C）和stm32mp157（cortex-A）
 

主要是为了学习一些嵌入式方面的知识，并把他实际运用上。
            

            
垃圾桶210ampgtlt
        

        

            
有关智能垃圾分类垃圾桶（K210+stm32mp157）的更多相关文章

            
    
                
  1. STM32读取串口传感器数据（颗粒物传感器，主动上传） - 2
    文章目录1.开发板选择*用到的资源2.串口通信（个人理解）3.代码分析（注释比较详细）1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子，不过代码大概在F103系列的板子上都可以运行，我试过在野火103的霸道板上也可以，主要看一下串口对应的引脚一不一样就行了，不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源，采集数据一个，串口通信一个，板子对应引脚如下：串口1，TX：PA9，RX：PA10串口2，TX：PA2，RX：PA32.串口通信（个人理解）我就从串口采集传感器数据这个过程说一下我自己的理解，
  2. STM32的HAL和LL库区别和性能对比 - 2
    LL库和HAL库简介LL：Low-Layer，底层库HAL：HardwareAbstractionLayer，硬件抽象层库LL库和hal库对比，很精简，这实际上是一个精简的库。LL库的配置选择如下：在STM32CUBEMX中，点击菜单的“ProjectManager”–>“AdvancedSettings”，在下面的界面中选择“AdvancedSettings”，然后在每个模块后面选择使用的库总结：1、如果使用的MCU是小容量的，那么STM32CubeLL将是最佳选择；2、如果结合可移植性和优化，使用STM32CubeHAL并使用特定的优化实现替换一些调用，可保持最大的可移植性。另外HAL和L
  3. ruby-on-rails - 为什么 Devise/Omniauth 会向 URL 添加垃圾？ - 2
    				使用facebook登录后，我被重定向到/#_=_，其中显示主页。这种垃圾也出现在其他URL中，例如当注册失败并被重定向到/users/sign_in#_=_为什么会发生这种情况，我该如何解决？															最佳答案														如果你真的不想要它，一些简单的javascript就可以了:if(window.location.hash=="#_=_"){window.location.hash="";}																								关于ruby-on-rails-为什么Devise/Omniauth会向URL添加垃圾？，我们在StackO
  4. ruby-on-rails - ActionMailer HTML 编码 hell  - 特殊字符替换为垃圾 - 2
    				我有UTF-8字符串:Website•Facebook那是中间的一颗子弹又名•或0xE20x800xA2此值已正确存储在数据库中，并使用默认设置使用Rails3和ruby​​1.9.3正确显示在屏幕上。我正在尝试通过HTML电子邮件发送此邮件，但是当一切都说完之后，接收端看到的是垃圾:这背后的代码很简单，我有一个ActionMailer子类(默认使用UTF-8)设置以在布局中发送带有UTF-8内容编码的HTML电子邮件:email.html.erb布局文件:"all"%>内容使用与呈现网页相同的View，重要的一行是:我已经尝试了很多很多force_encoding的排列,e
  5. ruby - 符号的垃圾收集 Ruby 2.2.1 - 2
    				所以从Ruby2.2+版本开始引入了符号垃圾回收。我在irb中编写了以下代码片段:before=Symbol.all_symbols.size#=>3331100_000.timesdo|i|"sym#{i}".to_symendSymbol.all_symbols.size#=>18835GC.startSymbol.all_symbols.size#=>3331因此，正如预期的那样，它收集了使用to_sym动态生成的所有符号。那么GC是如何知道收集哪些符号的呢？即使它们在程序中被引用，它会收集符号吗？符号垃圾回收是如何工作的？如果我创建的其中一个符号在程序中被引用，它还会收集它吗？
  6. ESP32学习入门：WiFi连接网络 - 2
    目录一、ESP32简单介绍二、ESP32Wi-Fi模块介绍三、ESP32Wi-Fi编程模型四、ESP32Wi-Fi事件处理流程 五、ESP32Wi-Fi开发环境六、ESP32Wi-Fi具体代码七、ESP32Wi-Fi代码解读6.1主程序app_main7.2自定义代码wifi_init_sta()八、ESP32Wi-Fi连接验证8.1测试方法8.2服务器模拟工具sscom58.3测试代码8.4测试结果前言为了开发一款亚马逊物联网产品，开始入手ESP32模块。为了能够记录自己的学习过程，特记录如下操作过程。一、ESP32简单介绍ESP32是一套Wi-Fi(2.4GHz)和蓝牙(4.2)双模解决方
  7. Spring Security 6.0系列【32】授权服务器篇之默认过滤器 - 2
    有道无术，术尚可求，有术无道，止于术。本系列SpringBoot版本3.0.4本系列SpringSecurity版本6.0.2本系列SpringAuthorizationServer版本1.0.2源码地址：https://gitee.com/pearl-organization/study-spring-security-demo文章目录前言1.OAuth2AuthorizationServerMetadataEndpointFilter2.OAuth2AuthorizationEndpointFilter3.OidcProviderConfigurationEndpointFilter4.N
  8. ruby - ruby中类实例变量的垃圾回收 - 2
    				如果我使用类似的方法defself.get_service_clientreturn@service_clientif!@service_client.nil?@service_client=#initializelogicend现在@service_client是一个类的实例变量。它在内存中有多长时间？只要类在内存中(即像静态变量一样)，我可以指望它不会被重新初始化吗？															最佳答案														类也是Ruby中的实例，但是当您以通常的方式定义类时，它会被分配给一个常量，并且该常量会被其他常量引用，从而阻止其被收集。因此，该类将无限期地存储在内存
  9. ruby - 摘要::CRC32 与 Zlib - 2
    				在我的代码中，我需要使用各种算法(包括CRC32)对文件进行哈希处理。因为我还在Digest系列中使用其他加密哈希函数，所以我认为为它们维护一个一致的接口(interface)会很好。为了记录，我确实找到了digest-crc，一颗完全符合我要求的gem。问题是，Zlib是标准库的一部分，并且有一个我想重用的CRC32工作实现。此外，它是用C编写的，因此它应该提供与digest-crc相关的卓越性能，后者是纯ruby​​实现。实现Digest::CRC32一开始看起来非常简单:%w(digestzlib).each{|f|requiref}classDigest::CRC32一切正常:
  10. ruby - 安装gem : Couldn't reserve space for cygwin's heap, Win32错误487错误 - 2
    				我正在尝试在我的机器上安装win32-apigem，但在构建native扩展时我遇到了一些问题:$geminstallwin32-api--no-ri--rdocTemporarilyenhancingPATHtoincludeDevKit...Buildingnativeextensions.Thiscouldtakeawhile...C:\Programs\dev_kit\bin\make.exe:***Couldn'treservespaceforcygwin'sheap,Win32error0ERROR:Errorinstallingwin32-api:ERROR:Failed
    11.             

        

        

            
随机推荐