草庐IT

公司笔试题练习AWS

学无止路，苦海无涯 2023-04-20 原文

爬网程序可以在单次运行中爬取多个数据存储。完成后，爬网程序会在________________中创建或更新一个或多个表。

解析：

数据目录 or AWS Glue Data Catalog

_________________是用于在AWS Glue 中执行提取、转换和加载 (ETL) 工作的业务逻辑。AWS Glue 将运行一个从源中提取数据、转换数据并将其加载到目标中的脚本。

解析:

作业 or job

配置_________________可帮助 AWS Glue 维护状态信息，并可防止重新处理旧数据。

解析:

        作业书签 or Job bookmark

EMR

对于带有header的csv文件food_establishment_data.csv(包含 2006 年至 2020 年华盛顿州金县卫生部门的检查结果)，将 CSV 文件上传到S3 存储桶：demo-emr。以下是数据集中的示例行。

name, inspection_result, inspection_closed_business, violation_type, violation_points

100 LB CLAM, Unsatisfactory, FALSE, BLUE, 5

100 PERCENT NUTRICION, Unsatisfactory, FALSE, BLUE, 5

7-ELEVEN #2361-39423A, Complete, FALSE, , 0

编辑pyspark 脚本，读取food_establishment_data.csv文件，查询红色违规最多的前10家餐厅，并保存到S3中。

初始化SparkSession为spark，读取带表头的CSV文件，创建DataFrame: restaurants_df

解析：

restaurants_df = spark.read.option("header", "true").csv("s3:// demo-emr /food-establishment-data.csv")

or

restaurants_df = spark.read.csv("s3:// demo-emr /food-establishment-data.csv", header=True)

or

restaurants_df = spark.read.format('csv').option("header",True).load("s3:// demo-emr /food-establishment-data.csv")

or

restaurants_df = spark.read.format('csv').load("s3:// demo-emr /food-establishment-data.csv", header=True)

使用DataFrame restaurants_df创建一个临时视图restaurant_violations进行查询

解析：

restaurants_df.createOrReplaceTempView("restaurant_violations")

使用spark sql 查询临时视图restaurant_violations，创建红色违规即violation_type = 'RED'最多的前 10 家餐厅DataFrame : top_red_violation_restaurants，

解析：

top_red_violation_restaurants = spark.sql("""SELECT name, count(*) AS total_red_violations

          FROM restaurant_violations

          WHERE violation_type = 'RED'

          GROUP BY name

          ORDER BY total_red_violations DESC LIMIT 10""")

将top_red_violation_restaurants结果写入s3:// demo-emr/output中，带表头保存为csv

解析：

top_red_violation_restaurants.write.option("header", "true").mode("overwrite").csv("s3:// demo-emr/output")

代码编辑完成后存到s3:// demo-emr/script/health_violations.py，启动 Amazon EMR 集群，向正在运行的集群提交health_violations.py步骤。对于 Step type (步骤类型)，选择 ___________________________ , 配置完其他选项后，选择 Add (添加) 以提交步骤。该步骤应出现在控制台中，状态为 Pending (待处理)。

检查步骤状态从 Pending (待处理) 变为Running (正在运行) 再变为Completed (已完成)。要更新控制台中的状态，请选择 Filter (筛选条件) 右侧的刷新图标。运行该脚本大约需要一分钟时间。

当状态更改为 Completed (已完成) 时，您将知道该步骤已成功完成。

解析：

Spark application (Spark 应用程序)

笔试练习xff0cmargin-leftxffawsspark大数据云计算

有关公司笔试题练习AWS的更多相关文章

  1. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  2. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  3. 牛客网专项练习30天Pytnon篇第02天 - 2

    1.在Python3中，下列关于数学运算结果正确的是:（B）a=10b=3print(a//b)print(a%b)print(a/b)A.3，3，3.3333...B.3，1，3.3333...C.3.3333...，3.3333...，3D.3.3333...，1，3.3333...解析：    在Python中，//表示地板除（向下取整），%表示取余，/表示除（Python2向下取整返回3）2.如下程序Python2会打印多少个数:（D）k=1000whilek>1:    print(k)k=k/2A.1000 B.10C.11D.9解析：    按照题意每次循环K/2，直到K值小于等

  4. ruby-on-rails - 缺失区域；使用 :region option or export region name to ENV ['AWS_REGION' ] - 2

    我知道还有其他相同的问题，但他们没有解决我的问题。我不断收到错误:Aws::Errors::MissingRegionErrorinBooksController#create,缺少区域；使用:region选项或将区域名称导出到ENV['AWS_REGION']。但是，这是我的配置开发.rb:config.paperclip_defaults={storage::s3,s3_host_name:"s3-us-west-2.amazonaws.com",s3_credentials:{bucket:ENV['AWS_BUCKET'],access_key_id:ENV['AWS_ACCE

  5. ruby - 如何使用适用于 ruby​​ 的 aws sdk 创建 route53 记录集？ - 2

    EC2会在实例停止然后重新启动时为其提供新的IP地址，因此我需要能够自动管理route53记录集，以便我可以一致地访问内容。遗憾的是，sdk的route53部分的文档远不如ec2的文档那么健壮(可以理解)，所以我有点卡住了。到目前为止，从我所看到的情况来看，似乎change_resource_record_sets(link)是可行的方法，但我对:chages需要什么感到困惑>因为它提到了一个Change对象，但没有提供指向所述对象描述的链接。这是我的代码目前的样子:r53.client.change_resource_record_sets(:hosted_zone_id=>'MY_

  6. ruby - AWS 上远程机器上的进程计数 - 2

    我正在为在AmazonEC2实例上运行的应用程序设计一个AutoScaling系统。应用程序从SQS读取消息并对其进行处理。AutoScaling系统将监控两件事:SQS中的消息数量，所有EC2机器上运行的进程总数。例如，如果SQS中的消息数量超过3000，我希望系统自动缩放，创建一个新的EC2实例，在其上部署代码，当消息数量低于2000时，我希望系统终止EC2实例.我正在用Ruby和Capistrano做这件事。我的问题是:我无法找到一种方法来确定在所有EC2机器上运行的进程数并将该数字保存在变量中。你能帮帮我吗？ 最佳答案 您可

  7. ruby-on-rails - Ruby on rails + aws cognito 示例 - 2

    我正在构建一个部署在heroku上的rails5应用程序。我想用AWScongnito来实现单点登录，但是没有足够的例子来实现。我正在使用devise进行身份验证。现在我的目标是让我的所有用户都使用AWScognito并通过我的Rails应用程序对他们进行身份验证。这是我在AWScongnitowithrails上找到的唯一资源，我正在寻找一些示例应用程序或指向工具或ruby​​API文档的链接来实现此目的。请帮助。UpdateOnbasisOfBalaAnswerrequire'aws-sdk'ENV['AWS_ACCESS_KEY_ID']='XXXXXXXXXXXXXXXXX'E

  8. Ruby AWS::S3::S3Object (aws-sdk):是否有与 aws-s3 一样的流式数据方法？ - 2

    在aws-s3中，有一种方法(AWS::S3::S3Object.stream)可让您将S3上的文件流式传输到本地文件。我无法在aws-sdk中找到类似的方法。即在aws-s3中，我这样做:File.open(to_file,"wb")do|file|AWS::S3::S3Object.stream(key,region)do|chunk|file.writechunkendendAWS::S3:S3Object.read方法确实将block作为参数，但似乎没有对其执行任何操作。 最佳答案 aws-sdkgem现在支持S3中对象的分

  9. ruby-on-rails - Aws::S3::Presigner undefined method credentials for nil:NilClass in Ruby - 2

    我使用了aws-sdk-coregem我在从aws获取url时遇到错误以下是我的代码definitialize(bucket:,region:)@bucket=bucketclient=Aws::S3::Client.new(region:region)@signer=Aws::S3::Presigner.new(client:client)enddefsign(key,expires_in:3600)@signer.presigned_url(:get_object,bucket:@bucket,key:key,expires_in:expires_in)end我遇到了错误NoMet

  10. ruby-on-rails - Elasticsearch 问题 : Cannot connect AWS elasticsearch service - 2

    我有一个关于配置elasticsearch以连接AWSelasticsearch服务以在生产环境中运行项目的问题。我的gem文件:gem'searchkick'gem'faraday_middleware-aws-signers-v4'gem'aws-sdk','~>2'gem"elasticsearch",">=1.0.15"引用:https://github.com/ankane/searchkick我的config/initializers/elasticsearch.rb文件:require"faraday_middleware/aws_signers_v4"ENV["ELAS

随机推荐