草庐IT

Streaming

全部标签

c# - 自托管服务上的 WCF Streaming 大数据 (500MB/1GB)

我目前在尝试使用WCF自托管服务(无IIS)发送大数据时遇到问题。使用流传输结果传输500MB,我的服务因System.OutOfMemoryException而崩溃。有可能传输如此大量的数据吗?这是我的WCF配置:我的客户端配置: 最佳答案 您不需要将ma​​xBufferSize或ma​​xBufferPoolSize设置得太高,它们可能会导致内存不足异常。默认值应该没问题。查看LargeDataandStreaming在MSDN上,特别是SpecialSecurityConsiderationsforLargeData这段文字

python - 使用 mongo-hadoop 将 Hadoop 流式传输到 python

我正在尝试使用mongo-hadoop通过python获得map-reduce功能。Hadoop正在工作,hadoop流正在与python一起工作,并且mongo-hadoop适配器正在工作。但是,使用python的mongo-hadoop流式传输示例不起作用。尝试在流/示例/财政部中运行示例时,出现以下错误:$user@host:~/git/mongo-hadoop/streaming$hadoopjartarget/mongo-hadoop-streaming-assembly-1.0.1.jar-mapperexamples/treasury/mapper.py-reducere

python - 使用 mongo-hadoop 将 Hadoop 流式传输到 python

我正在尝试使用mongo-hadoop通过python获得map-reduce功能。Hadoop正在工作,hadoop流正在与python一起工作,并且mongo-hadoop适配器正在工作。但是,使用python的mongo-hadoop流式传输示例不起作用。尝试在流/示例/财政部中运行示例时,出现以下错误:$user@host:~/git/mongo-hadoop/streaming$hadoopjartarget/mongo-hadoop-streaming-assembly-1.0.1.jar-mapperexamples/treasury/mapper.py-reducere

java - MongoDb 实时(或接近实时)流出插入的数据

我有许多MongoDB集合,它们从各种流式源中获取许多JSON文档。换句话说,有许多进程不断地将数据插入到一组MongoDB集合中。我需要一种将数据从MongoDB流式传输到下游应用程序的方法。所以我想要一个概念上看起来像这样的系统:AppStream1-->AppStream2-->MONGODB--->AggregatedStreamAppStream3-->或者这个:AppStream1-->--->MongoDStream1AppStream2-->MONGODB--->MongoDStream2AppStream3-->--->MongoDStream3问题是我如何从Mong

java - MongoDb 实时(或接近实时)流出插入的数据

我有许多MongoDB集合,它们从各种流式源中获取许多JSON文档。换句话说,有许多进程不断地将数据插入到一组MongoDB集合中。我需要一种将数据从MongoDB流式传输到下游应用程序的方法。所以我想要一个概念上看起来像这样的系统:AppStream1-->AppStream2-->MONGODB--->AggregatedStreamAppStream3-->或者这个:AppStream1-->--->MongoDStream1AppStream2-->MONGODB--->MongoDStream2AppStream3-->--->MongoDStream3问题是我如何从Mong

node.js - 带有 Http/2 的 Node.js 中的 Amazon Transcribe Streaming 服务请求没有响应

我正在尝试将AmazonTranscribeStreamingService与来自Node.js的http2请求一起使用,这是我正在关注的文档链接Streamingrequestformat.根据此文档,端点是https://transcribe-streaming..amazonaws.com,但向此url发出请求会导致urlnotfound错误。但在JavaExample发现终点为https://transcribestreaming.''.amazonaws.com,因此向此url发出请求不会返回任何错误或响应。我正在从us-east-1地区尝试。这是我正在尝试的代码。const

node.js - 使用 Mongoose 在 Koa 中从流式查询中编写流式响应

我正在尝试将一个大型结果集从Mongo数据库发送给Koa应用程序的用户(使用Mongoose)。我最初有类似的东西:varres=yieldModel.find().limit(500).exec();this.body={data:res};但是,正在发送的结果集的大小导致应用程序超时,因此我想将来自数据库的响应流式传输。使用Mongoose,您可以通过执行以下操作将查询结果转换为流:varstream=Model.find().limit(300).stream();但是,我不确定如何在保留所需格式的同时将此流写入响应。我希望发生这样的事情:this.body.write("{da

node.js - 使用 Mongoose 在 Koa 中从流式查询中编写流式响应

我正在尝试将一个大型结果集从Mongo数据库发送给Koa应用程序的用户(使用Mongoose)。我最初有类似的东西:varres=yieldModel.find().limit(500).exec();this.body={data:res};但是,正在发送的结果集的大小导致应用程序超时,因此我想将来自数据库的响应流式传输。使用Mongoose,您可以通过执行以下操作将查询结果转换为流:varstream=Model.find().limit(300).stream();但是,我不确定如何在保留所需格式的同时将此流写入响应。我希望发生这样的事情:this.body.write("{da

python - python中的Hadoop Streaming Job失败错误

来自thisguide,我已成功运行示例练习。但是在运行我的mapreduce作业时,我收到以下错误ERRORstreaming.StreamJob:JobnotSuccessful!10/12/1617:13:38INFOstreaming.StreamJob:killJob...StreamingJobFailed!来自日志文件的错误java.lang.RuntimeException:PipeMapRed.waitOutputThreads():subprocessfailedwithcode2atorg.apache.hadoop.streaming.PipeMapRed.wa

Neural adaptive video streaming with Pensieve

whatisadaptivebitratestreamer?设备采集视频,并通过编码器编码上传视频流(camera,encoder)媒体服务器上的转码器对视频转成不同的码率,发送到cdn网络,存储到边缘服务器上转码(需要大量资源)打包压缩音频和视频(转换、重新包装或打包),比如通常是h.264视频和aac音频,重新打包它,装入不同的管道中,就好像一封信装入多个不同的信封进行发送,其中manifest向播放器可以指明使用什么解码(不需要什么硬件资源)是这个阶段ABRpensieve上的当今通过HTTP流式传输视频的端到端流程。如图所示,嵌入在客户端应用程序中的播放器首先向视频服务提供商发送令牌以