草庐IT

Streaming

全部标签

java - 如何在Spark Streaming中使用redis

我正在构建一个应用程序,它从redis中的列表中读取json元素并使用spark对它们进行流式处理。这是我写的:publicvoidreadTheStream()throwsUnknownHostException,IOException{SparkConfsparkConf=newSparkConf().setMaster("local[*]").setAppName("Merge").set("redis.host","localhost").set("redis.port","6379");;JavaSparkContextctx=JavaSparkContext.fromSpa

iPhone MPMoviePlayerController : download files while streaming en play them locally

我有包含所有TS文件的m3u8文件。MPMoviePlayerController通过流媒体服务器上的http请求播放它们。但我想在本地获取文件,以便稍后在没有任何连接的情况下再次播放。我设法在我的设备上本地下载m3u8文件和所有TS文件,我编辑m3u8文件以指向本地.ts而不是http文件,但我无法从这个位置读取它们。(VLC可以做的很好)有没有办法在播放时下载片段(以避免2次下载),然后使用MPMoviePlayerController或其他方式在本地播放它们。 最佳答案 .m3u8是AppleHTTPLiveStreaming

ios - TWRequest 是否适用于 twitter streaming api?

我正在尝试制作一个显示附近推文的基本iPhone应用程序。我使用TWRequest对象通过Twitter搜索API完成此操作。不幸的是,我实际上想使用他们的GPS坐标在map上标记推文,并且搜索api似乎没有返回推文的实际位置,其准确度比城市名称高。因此,我认为我需要切换到流式api。我想知道在这种情况下是否可以继续使用TWRequest对象,或者我是否需要实际切换到使用NSURLConnection?提前致谢!头像 最佳答案 是的,您可以使用TWRequest对象。使用来自TwitterAPIdoco的适当URL和参数创建您的TW

iphone - 如何使用 HTTP Live Streaming 的 EXT-X-MEDIA?

我目前正在开展一个项目,该项目在一年中的不同季节拍摄了多次。不同的视频轨道是时间同步的,所以我想利用HTTPLiveStreaming的EXT-X-MEDIA让用户在iOS设备上的季节之间切换。我已经设置了一个包含视频的M3U8播放列表,但我似乎无法在Quicktime播放器中显示控件——无论是在iPhone还是iPad上。这是我的播放列表:#EXTM3U#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="500kbs",NAME="Winter",AUTOSELECT=YES,DEFAULT=YES#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="5

video-streaming - rtsp 从桌面服务器流式传输到我的客户端

我的桌面上运行着一个TCP服务器(用作服务器)。我想使用从服务器到ijkmediaplayer客户端的视频的RTSP流(在Android上显示)。我怎样才能做到这一点?我还需要在我的桌面上为此运行一个RTSP服务器吗?如何指定视频文件在服务器中的路径。我试过了:1)rtsp://serverip/filepath_in_mydesktop(这个没有给出任何错误,但我无法在android中观察到任何流媒体,但媒体播放器中的一切都工作得非常好。和2)rtsp://serverIP:serverPort/filename(TCP服务器正在使用的端口)(这会抛出无法解析路径的错误)能否告诉我如

video-streaming - 基于TCP/IP的大二进制 block 传输协议(protocol)推荐

我打算开发一种视频转码系统。一台机器有图像采集卡,可以接收来自各种来源的音频/视频信号。多台转码机将通过千兆以太网连接到这台源机。源机将压缩后的音视频帧数据发送给转码机。因为这是一种简单的传输方式,所以我想我可以使用HTTP。但网络带宽是个问题。通过简单的搜索,我在Superuser中找到了一篇帖子.这个真实世界的千兆以太网示例仅显示340Mbps的吞吐量。我的目标系统应该能够同时对全高清视频进行多个转码。1080P全高清视频的数据速率可以在不压缩的情况下达到712Mbps。即使使用压缩,这也很容易使千兆位网络仅在1或2个channel上饱和。假设3是目标。我使用什么协议(protoc

java - Spark Streaming 收到警告 "replicated to only 0 peer(s) instead of 1 peers"

我使用SparkStreaming从Twitter接收推文。我收到很多警告说:replicatedtoonly0peer(s)insteadof1peers这个警告有什么用?我的代码是:SparkConfconf=newSparkConf().setAppName("Test");JavaStreamingContextsc=newJavaStreamingContext(conf,Durations.seconds(5));sc.checkpoint("/home/arman/Desktop/checkpoint");ConfigurationBuildercb=newConfigu

java - Apache Spark Streaming 的集成测试失败

我一直在尝试追踪我为ApacheSpark项目编写的一些单元/集成测试的问题。使用Spark1.1.1时,我的测试通过了。当我尝试升级到1.4.0(也尝试过1.4.1)时,测试开始失败。我已经设法将重现问题所需的代码减少到下面的小型集成测试。有趣的是,如果我在测试中注释掉@RunWith注释,那么测试就会正确通过。显然我不需要@RunWith注释来进行这个缩减测试,但实际测试相当广泛地使用模拟,所以我宁愿不必放弃使用PowerMock。packagecom.example;importorg.apache.spark.SparkConf;importorg.apache.spark.s

java - 如何使用 Java 8 streaming api 从 map 列表创建 map map

背景我有一个看起来像这样的map列表:[{"name":"A","old":0.25,"new":0.3},{"name":"B","old":0.3,"new":0.35},{"name":"A","old":0.75,"new":0.7},{"name":"B","old":0.7,"new":0.60}]我希望输出看起来像这样:{"A":{"old":1,"new":1},"B":{"old":1,"new":0.95}}...其中old的值和new对每个相关条目求和。map列表的数据类型是List>,所以输出应该是Map>.我尝试过的通过一些图表绘制、文档阅读以及反复试验,我得

java - Spark Structured Streaming 自动将时间戳转换为本地时间

我的时间戳是UTC和ISO8601,但使用结构化流,它会自动转换为本地时间。有没有办法停止这种转换?我想在UTC中使用它。我正在从Kafka读取json数据,然后使用from_jsonSpark函数解析它们。输入:{"Timestamp":"2015-01-01T00:00:06.222Z"}流程:SparkSession.builder().master("local[*]").appName("my-app").getOrCreate().readStream().format("kafka")...//somemagic.writeStream().format("console