最近遇到国标平台无法播放视频流的问题。需要检查视频接收端和播放端视频的收包和发包是否正常。但是只看pcap文件不是很直观，所以将pcap文件中的rtp包解析出来，用播放器将视频播放出来，以更直观的判断接收方和发送方rtp包是否正常。平台接收端：国标平台发送端：linux使用工具tcpdump用来抓取pcap数据包wireshark对抓取的pcap数据包进行解析vlc播放解析出来的视频数据抓取数据包由于发送端和接收端抓取数据包的方法都是一样的，所以这里不再重复描述，仅记录发送端的抓包过程。抓包命令：sudotcpdump-ianyhost10.0.20.3-c5000-wtest.pcap抓取5
最近遇到国标平台无法播放视频流的问题。需要检查视频接收端和播放端视频的收包和发包是否正常。但是只看pcap文件不是很直观，所以将pcap文件中的rtp包解析出来，用播放器将视频播放出来，以更直观的判断接收方和发送方rtp包是否正常。平台接收端：国标平台发送端：linux使用工具tcpdump用来抓取pcap数据包wireshark对抓取的pcap数据包进行解析vlc播放解析出来的视频数据抓取数据包由于发送端和接收端抓取数据包的方法都是一样的，所以这里不再重复描述，仅记录发送端的抓包过程。抓包命令：sudotcpdump-ianyhost10.0.20.3-c5000-wtest.pcap抓取5
背景：[JAVA]前几天面试超碧，聊到其接触的项目，有抓取各类排行的实时数据，进行多国语言翻译，抓取目前比较火的语言是php、go，由于目前工作使用JAVA，因此也模拟实现了一下抓取百度热搜榜实时数据。效果： 步骤： 1、寻址【百度热搜榜】https://top.baidu.com/board?tab=realtime&sa=fyb_realtime_31065 2、寻工具【Jsoup】可按CSS、标签解析，感谢大牛的组件 3、分析新闻的主要消息，类型、图片、标题、内容、超链接、推荐指数 4、按照分类解析并存储分享： 1、引用依赖12com.alibaba3fastjson41.2
背景：[JAVA]前几天面试超碧，聊到其接触的项目，有抓取各类排行的实时数据，进行多国语言翻译，抓取目前比较火的语言是php、go，由于目前工作使用JAVA，因此也模拟实现了一下抓取百度热搜榜实时数据。效果： 步骤： 1、寻址【百度热搜榜】https://top.baidu.com/board?tab=realtime&sa=fyb_realtime_31065 2、寻工具【Jsoup】可按CSS、标签解析，感谢大牛的组件 3、分析新闻的主要消息，类型、图片、标题、内容、超链接、推荐指数 4、按照分类解析并存储分享： 1、引用依赖12com.alibaba3fastjson41.2
Charles安装完成，默认只能抓取到http请求，如果查看https请求，会显示unkonw或其它之类的响应。所以需要先进行一些配置，才能抓取到完整的https请求信息。下面针对PC端和手机端抓包的情况，分别进行说明。下载地址：https://www.aliyundrive.com/s/5eQJSi7N41APC端如何配置才能抓取到https请求：1．安装证书：在顶部工具栏中选择“help--InstallCharlesCASSLCertificate”； 2．然后会弹出证书信息，选择安装证书，接下来将证书存储改为：受信任的根证书颁发机构，接下来都点“下一步”； .最后一步前可能会弹一个安
Charles安装完成，默认只能抓取到http请求，如果查看https请求，会显示unkonw或其它之类的响应。所以需要先进行一些配置，才能抓取到完整的https请求信息。下面针对PC端和手机端抓包的情况，分别进行说明。下载地址：https://www.aliyundrive.com/s/5eQJSi7N41APC端如何配置才能抓取到https请求：1．安装证书：在顶部工具栏中选择“help--InstallCharlesCASSLCertificate”； 2．然后会弹出证书信息，选择安装证书，接下来将证书存储改为：受信任的根证书颁发机构，接下来都点“下一步”； .最后一步前可能会弹一个安
1、SparkCatalyst扩展点Sparkcatalyst的扩展点在SPARK-18127中被引入，Spark用户可以在SQL处理的各个阶段扩展自定义实现，非常强大高效，是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。CatalystOptimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。查询优化器是一个SQL引擎的核心，开源常用的有ApacheCalcite(很多开源组件都通过引入Calcite来实现查询优化，如Hive
1、SparkCatalyst扩展点Sparkcatalyst的扩展点在SPARK-18127中被引入，Spark用户可以在SQL处理的各个阶段扩展自定义实现，非常强大高效，是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。CatalystOptimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。查询优化器是一个SQL引擎的核心，开源常用的有ApacheCalcite(很多开源组件都通过引入Calcite来实现查询优化，如Hive
@目录1.抓取查询路径:2.拼接每路公交的线路链接:3.抓取每路公交的具体信息4.实现代码1.抓取查询路径:抓取https://lanzhou.8684.cn/中以数字开头的公交线路的查询路径。123456789这里所看到的href属性值，加上https://lanzhou.8684.cn/就是将来的查询地址。以此抓取所有的数字开头的公交线路。:https://lanzhou.8684.cn/listX其中末尾的X表示数字1~9如：https://lanzhou.8684.cn/list12.拼接每路公交的线路链接:抓取https://lanzhou.8684.cn/listX中每路公交的线路
@目录1.抓取查询路径:2.拼接每路公交的线路链接:3.抓取每路公交的具体信息4.实现代码1.抓取查询路径:抓取https://lanzhou.8684.cn/中以数字开头的公交线路的查询路径。123456789这里所看到的href属性值，加上https://lanzhou.8684.cn/就是将来的查询地址。以此抓取所有的数字开头的公交线路。:https://lanzhou.8684.cn/listX其中末尾的X表示数字1~9如：https://lanzhou.8684.cn/list12.拼接每路公交的线路链接:抓取https://lanzhou.8684.cn/listX中每路公交的线路
