草庐IT

一百二十

全部标签

2023_Spark_实验二十七:Linux中Crontab(定时任务)命令详解及使用教程

Crontab介绍:Linuxcrontab是用来crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。该词来源于希腊语chronos(χρ?νο?),原意是时间。通常,crontab储存的指令被守护进程激活,crond常常在后台运行,每一分钟检查是否有预定的作业需要执行。这类作业一般称为cronjobs。当安装完成操作系统之后,默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。注意:新创建的cron任务,不

JAVA面试题分享一百六十二:Kafka消息重复消费问题?

一、原因分析消息重复消费的根本原因都在于:已经消费了数据,但是offset没有成功提交。其中很大一部分原因在于发生了再均衡。1)消费者宕机、重启等。导致消息已经消费但是没有提交offset。2)消费者使用自动提交offset,但当还没有提交的时候,有新的消费者加入或者移除,发生了rebalance(再平衡)。再次消费的时候,消费者会根据提交的偏移量来,于是重复消费了数据。3)消息处理耗时,或者消费者拉取的消息量太多,处理耗时,超过了max.poll.interval.ms的配置时间,导致认为当前消费者已经死掉,触发再均衡。4) 每次拉取的消息记录数max.poll.records为100,po

音视频学习(二十一)——rtmp收流(tcp方式)

前言本文主要介绍rtmp协议收流流程,在linux上搭建rtmp服务器,通过自研的rtmp收流库发起取流请求,使用ffmpeg+qt实现视频流的解码与播放。关于rtmp协议基础介绍可查看:https://blog.csdn.net/www_dong/article/details/131026072环境搭建nginx-rtmp-module下载#下载地址,下载zip包即可https://github.com/arut/nginx-rtmp-modulenginx编译与安装下载nginx#下载地址http://nginx.org/en/download.html解压,将nginx-rtmp-mo

swing快速入门(二十七)

注释很详细,直接上代码上一篇新增内容1.为按钮指定图标2.列表框的并列3.菜单项绑定快捷键4.控件悬浮提示信息5.菜单项设置小图标6.五种布局风格右键选择切换packageswing21_30;importjavax.swing.*;importjava.awt.*;importjava.awt.event.ActionEvent;importjava.awt.event.ActionListener;importjava.awt.event.InputEvent;publicclassswing_test_25{JFrameframe=newJFrame("swing测试");//定义一个按

2023_Spark_实验二十六:编写Shell模拟生成点击实时数据

引言:流式数据处理主要处理实时数据,由于实验教学过程中,每个同学无法拿到实时数据,因此我们开发shell脚本模拟实时数据生成,支持后续实验。实验目的:通过开发模拟实时点击流shell脚本,模拟实时点击流数据生成,支持后续实验实验方法:通过shell开发脚本运行,实时打印输出数据到控制台,模拟实时数据产生。实验步骤:1、选择集群中的一台虚拟机,最好和flume/kafka等在同一台,在该虚拟机的合适位置创建目录,取名:real-timeData[lh@masterscripts]$mkdirreal-timeData[lh@masterscripts]$cdreal-timeData/[lh@m

大数据Doris(二十九):数据导入(Insert Into)

文章目录数据导入(InsertInto)一、​​​​​​​创建导入

i.MX 6ULL 驱动开发 二十九:向 Linux 内核中添加自己编写驱动

一、概述Linux内核编译流程如下:1、配置Linux内核。2、编译Linux内核。说明:进入Linux内核源码,使用makehelp参看相关配置。二、makemenuconfig工作原理1、menuconfig它本身是一个软件,只提供图形界面配置的一些逻辑,并不负责提供内容。2、menuconfig是内核源码树的各目录下的kconfig提供的。3、menuconfig中所有选中配置项的相关值会保存到配置文件中(默认配置文件为.config)。4、在编译内核时,Makefile根据相关配置项选择需要编译的源码。三、Kconfig语法参考文档:Documentation/kbuild/kconf

(二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

前言本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式,一种依赖zookeeper,一种使用Kraft模式,本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。正文①kafka高可用集群部署规划kafka高可用集群部署规划hadoop101hadoop102hadoop103zo

音视频项目—基于FFmpeg和SDL的音视频播放器解析(二十一)

介绍在本系列,我打算花大篇幅讲解我的gitee项目音视频播放器,在这个项目,您可以学到音视频解封装,解码,SDL渲染相关的知识。您对源代码感兴趣的话,请查看基于FFmpeg和SDL的音视频播放器如果您不理解本文,可参考我的前一篇文章音视频项目—基于FFmpeg和SDL的音视频播放器解析(二十)解析我们继续解析videooutput的函数RefreshLoopWaitEvent:#defineREFRESH_RATE0.01voidVideoOutput::RefreshLoopWaitEvent(SDL_Event*event){doubleremaining_time=0.0;SDL_Pum

自动驾驶学习笔记(二十)——Planning算法

#Apollo开发者#学习课程的传送门如下,当您也准备学习自动驾驶时,可以和我一同前往: 《自动驾驶新人之旅》免费课程—>传送门《Apollo社区开发者圆桌会》免费报名—>传送门文章目录前言参考线平滑双层状态机EMPlannerLatticePlanner算法调试总结前言        见《自动驾驶学习笔记(十五)——交通灯识别》        见《自动驾驶学习笔记(十六)——目标跟踪》        见《自动驾驶学习笔记(十七)——视觉感知》        见《自动驾驶学习笔记(十八)——Lidar感知》        见《自动驾驶学习笔记(十九)——Planning模块》参考线平滑