目录Topsis简介模型分类与转化极小转化为极大型中间最优型转极大值区间最优[a,b]转极大型计算得分并归一化LSTM算法预测数据加载处理定义和训练LSTM网络预测并返回误差BP神经网络预测数据处理构建BP神经网络并返回预测值与真实值的误差编辑利用Topsis算法比较两方案的优劣性数据处理正向化与标准化归一化并计算得分排序得出结果编辑补充说明和疑问LSTM简介疑问Topsis简介TOPSIS算法（TechniqueforOrderPreferencebySimilaritytoIdealSolution）可翻译为逼近理想解排序法，国内常简称为优劣解距离法。TOPSIS法是一种常用的综合评价
我正在使用Flink1.3.2和hbaseTableInputFormat来自flink-connectors(flink-hbase_2.11)，使用DataSetAPI。我有一个HBase表，其中行键的结构如下:|RowKey|data||0-someuniqid|data||0-someuniqid|data||2-someuniqid|data||2-someuniqid|data||4-someuniqid|data||5-someuniqid|data||5-someuniqid|data||7-someuniqid|data||8-someuniqid|data|表的前缀
所以我在DataStream上运行一个映射函数，在映射函数中我想连接2个单独的数据集。只是想知道这在Flink中是否可行。我知道map函数本身作为单独分区的单独任务运行，所以想知道map函数内是否允许分布式连接？ 最佳答案 好吧，事实证明你不能，因为连接数据集发生在与流处理(发生在StreamExecutionContext上)不同的上下文(ExecutionContext)上，并且Flink不允许在彼此内部具有不同执行上下文的操作。java.lang.IllegalArgumentException:Thetwoinputshav
我正在阅读KiteSDK的文档。我无法理解Kite数据集和Hive表之间的区别例如，如果你想在Hive中创建产品数据集，你可以使用这个URI。数据集:hive:产品这是否意味着，使用hivecli我们可以访问同一个表products 最佳答案 KiteSDK创建的数据集和通过hivecli查看的表没有区别。之所以如此，是因为当您使用KiteSDK在Hive中创建数据集时，您创建的是Hive中的表。混淆在于术语。Kite文档中称为数据集的内容在Hive中称为表。从名为“数据集、View和存储库URI”(http://kitesdk.o
在我的hortonworksHDP2.6集群上，我使用kite-dataset工具导入数据:./kite-dataset-vcsv-importml-100k/u.dataratings我收到这个错误:java.lang.Exception:java.lang.OutOfMemoryError:Javaheapspaceatorg.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)atorg.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJ
在使用flume(1.6&1.7)时遇到以下错误2016-12-0200:57:11,634(pool-3-thread-1)[WARN-org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:143)]Linelengthexceedsmax(2048),truncatingline!2016-12-0200:57:11,777(pool-3-thread-1)[ERROR-org.apache.flume.source.SpoolDirectorySource$SpoolDirec
我正在尝试在大型文本数据集(~3.1Tb)上运行Hadoop程序。我一直收到这个错误，而且我看不到任何日志:15/04/2913:31:30INFOmapreduce.Job:map86%reduce3%15/04/2913:33:33INFOmapreduce.Job:map87%reduce3%15/04/2913:35:34INFOmapreduce.Job:map88%reduce3%15/04/2913:37:34INFOmapreduce.Job:map89%reduce3%15/04/2913:39:33INFOmapreduce.Job:map90%reduce3%15
我正在使用Ubuntu和本地Spark安装(spark-2.0.2)。我的数据集很小，我的代码运行在我有一个小数据。如果我用更多行增加数据集(txt文件)，则会发生错误。我在安装了Hadoop的ClouderaVM上尝试了完全相同的代码，并且运行良好。所以，这一定是我的Ubuntu机器上的一些内存问题或限制。还有一些其他类似的问题，例如:ApacheSpark:pysparkcrashforlargedataset但在我的情况下它没有帮助。我没有Hadoop集群，只有Spark、python2.7和java1.8。它工作正常，只是当有一些更复杂的计算或数据集更大时它崩溃了。有什么线索吗
Spark(version=2.2.0)没有DirectParquetOutputCommitter。作为替代方案，我可以使用dataset.option("mapreduce.fileoutputcommitter.algorithm.version","2")//magichere.parquet("s3a://...")避免在S3上创建_temporary文件夹。一切正常，直到我将partitionBy设置为我的数据集dataset.partitionBy("a","b").option("mapreduce.fileoutputcommitter.algorithm.versi
我目前正在创建一个应用程序，它将向最终用户显示当前电影海报的网格。我使用TheMovieDB获取电影数据API和数据是通过使用异步任务在应用程序中获取的。我希望最终能够在我的应用程序中实现分页，在该应用程序中向用户显示一个准无穷无尽的电影海报网格。因此，我采用的方法是创建我的Movie模型对象，它将存储有关每部电影的一些数据。然后，当我从API提取数据时，我填充了一个充满电影对象的ArrayList。但是，我不确定实现分页后会创建多少部电影。为了安全起见，我已将我的ArrayList初始化为不包含任何电影。一旦我的ASync任务完成(如在onPostExecute()中)，我将所有电影
