我是ApacheSpark、Scala和Hadoop工具的新手。我已经设置了一个新的本地单节点Hadoop集群，如前所述here并且还设置了spark以提供对此Hadoop环境的引用，如前所述here.我能够验证spark-shell、sparkUI已启动并正在运行。此外，我可以使用localhost查看HDFS。.为了更进一步，我将示例文件上传到HDFS，并使用Hadooplocalhost验证它是否可用。现在，我尝试使用Java和spark-shell(Scala)来计算文件中的行数，但是这两个调用都因该堆栈跟踪而失败。Exceptioninthread"dag-scheduler

我正在尝试使用ApacheSpark读取DynamodDB表。以下是我的实现:所以在SparkShell中spark-shell--jars/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jarimportorg.apache.hadoop.io.Text;importorg.apache.hadoop.dynamodb.DynamoDBItemWritable/*ImportingDynamoDBInputFormatandDynamoDBOutputFormat*/importorg.apache.hadoop.dynamodb.read.Dyn