BlockManagerMasterEndpoint
全部标签 我在一个独立的Spark集群中有三个从站。每个从站有48GB的RAM。当我为我的执行程序分配超过31GB(例如32GB或更多)的RAM时:.config("spark.executor.memory","44g")在两个大型Dataframe的连接过程中，执行程序在没有太多信息的情况下被终止。Slave驱动程序的输出消息显示“缺少shuffle的输出位置”:17/09/2112:34:18INFOStandaloneSchedulerBackend:GrantedexecutorIDapp-20170921123240-0000/3onhostPortXXX.XXX.XXX.92:
我在一个独立的Spark集群中有三个从站。每个从站有48GB的RAM。当我为我的执行程序分配超过31GB(例如32GB或更多)的RAM时:.config("spark.executor.memory","44g")在两个大型Dataframe的连接过程中，执行程序在没有太多信息的情况下被终止。Slave驱动程序的输出消息显示“缺少shuffle的输出位置”:17/09/2112:34:18INFOStandaloneSchedulerBackend:GrantedexecutorIDapp-20170921123240-0000/3onhostPortXXX.XXX.XXX.92:
