我在尝试将文件从hdfs读取到Spark时遇到错误。文件README.md存在于hdfs中spark@osboxeshadoop]$hdfsdfs-lsREADME.md16/02/2600:29:14WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable-rw-r--r--1sparksupergroup48112016-02-2523:38README.md在Sparkshell中，我给了scala>valr

我正在构建一个Spark应用程序，我必须在其中缓存大约15GB的CSV文件。我读到了新的UnifiedMemoryManagerSpark1.6在这里介绍:https://0x0fff.com/spark-memory-management/它还显示了这张图片:作者不同UserMemory和SparkMemory(再次拆分为StorageandExecutionMemory)。据我了解，SparkMemory可以灵活地执行(随机播放、排序等)和存储(缓存)内容-如果需要更多内存，它可以从另一部分使用它(如果尚未完全使用)。这个假设正确吗？用户内存是这样描述的:UserMemory.Th