根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理，如果有错误指出请提出改正，谢谢！
竞赛内容
竞赛软件环境
依据大数据平台的技术特点独立解压、安装、配置。对不同的组件 4 进行文件参数配置，日志查看、状态查看、服务启动、组件部署等。
大数据平台搭建（容器环境）
服务端登录地址详见各模块服务端说明。
补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；
相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行 安装，用不到的可忽略；
所有模块中应用命令必须采用绝对路径；
从本地仓库中拉取镜像，并启动3个容器
进入Master节点的方式为
docker exec –it master /bin/bash进入Slave1节点的方式为
docker exec –it slave1 /bin/bash 进入Slave2节点的方式为
docker exec –it slave2 /bin/bash同时将/opt目录下的所有安装包移动到3个容器节点中。
在ubantu中安装docker ce
1.安装一些必要的系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
安装gpg证书并写入阿里源 docker ce镜像信息
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
更新安装docker ce
sudo apt-get -y updatesudo apt-get -y install docker-ce
查看docker ce 版本
docker version
启动docker服务
sudo service docker start
docker默认是只有root才能执行Docker命令，因此我们还需要添加用户权限：
创建docker用户组：
sudo groupadd docker添加当前用户到Docker用户组：
sudo gpasswd -a $USER docker更新用户组：
newgrp docker
创建docker虚拟机的时候，注意需要让虚拟机使用静态ip, docker设置固定ip地址，步骤如下
1. (在主机)创建网络
docker network create --subnet=172.18.0.0/16 mynetwork
docker network ls
2. (在主机)创建虚拟机
docker run -itd --name staticIp-privileged --net mynetwork --ip 172.18.0.2 --privileged=true centos:7 /sbin/init
docker ps -a
3. (在主机)登录虚拟机（用docker方式）
docker exec -it staticIp-privileged /bin/bash
进入docker虚拟机后，centos7默认很多软件没有安装，需要自己手动安装软件
yum install net-tools openssh-server openssh-clients initscripts vim -y 等待安装完毕后开启ssh服务
vim /etc/ssh/sshd_config
开启ssh服务
systemctl start sshd.service
systemctl status sshd.service
设置密码
passwd
4. (在主机)登录虚拟机（用ssh方式）
ssh root@172.18.0.2
5. 安装大数据环境的软件
将主机中的软件安装包传入ubantu宿主机
使用xshell连接ubantu
连接失败
原因：ubuntu没有安装ssh远程连接服务
解决方法：安装ssh远程连接服务
sudo apt-get install openssh-server
再次尝试成功
打开xftp传输文件
报错
解决方法：修改权限 假设要上传的目录是/opt 它的权限应该是777
sudo chmod 777 /opt 
重新打开xftp再次尝试成功
将ubantu宿主机中的安装包传输镜像文件中
docker cp /opt/package/ staticIp-privileged:/opt
6. (在主机)将docker虚拟机/docker容器 保存为 docker镜像文件Filex
docker stop staticIp-privileged
docker images
docker commit -m "first docker" staticIp-privileged centos:hadoop
docker images
7. (在主机)使用docker镜像文件filex,创建虚拟机master,slave1,salve2。
docker ps -a
docker run -itd --name master --net mynetwork --ip 172.18.0.10 --privileged=true --add-host=master:172.18.0.10 --add-host=slave1:172.18.0.11 --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker run -itd --name slave1 --net mynetwork --ip 172.18.0.11 --privileged=true --add-host=master:172.18.0.10 --add-host=slave1:172.18.0.11 --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker run -itd --name slave2 --net mynetwork --ip 172.18.0.12 --privileged=true --add-host=master:172.18.0.10 --add-host=slave1:172.18.0.11 --add-host=slave2:172.18.0.12 centos:hadoop /sbin/init
docker ps -a创建容器时指定/etc/hosts信息，参考资料
docker容器如何配置hosts文件？
https://blog.csdn.net/cxclll/article/details/126507690
https://blog.csdn.net/tsingke/article/details/125861482
至此容器镜像配置完毕，准备工作完毕！
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我不经常使用ruby-通常它加起来相当于每两个月或更长时间编写一次脚本。我的大部分编程都是使用C++进行的，这与ruby有很大不同。由于我与ruby之间的差距如此之大，我总是忘记语言的基本方面(比如解析文本文件和其他简单的东西)。我想每天练习一些基本的东西，我想知道是否有一些我可以订阅的网站，并且会向我发送当天的Ruby问题或类似的东西。有人知道这样的站点/Internet服务吗？
3月26日，映宇宙（HK:03700，即“映客”）发布截至2022年12月31日的2022年度业绩财务报告。财报显示，映宇宙2022年的总营收为63.19亿元，较2021年同期的91.76亿元下降31.1%。2022年，映宇宙的经营亏损为4698.7万元，2021年同期则为净利润4.57亿元；期内亏损（净亏损）为1.68亿元，2021年同期的净利润为4.33亿元；非国际财务报告准则经调整净利润为3.88亿元，2021年同期为4.82亿元，同比下降19.6%。 映宇宙在财报中表示，收入减少主要是由于行业竞争加剧，该集团对旗下产品采取更为谨慎的运营策略以应对市场变化。不过，映宇宙的毛利率则有所提升
前面一篇关于智能合约翻译文讲到了，是一种计算机程序，既然是程序，那就可以使用程序语言去编写智能合约了。而若想玩区块链上的项目，大部分区块链项目都是开源的，能看得懂智能合约代码，或找出其中的漏洞，那么，学习Solidity这门高级的智能合约语言是有必要的，当然，这都得在公链``````以太坊上，毕竟国内的联盟链有些是不兼容Solidity。Solidity是一种面向对象的高级语言，用于实现智能合约。智能合约是管理以太坊状态下的账户行为的程序。Solidity是运行在以太坊（Ethereum）虚拟机（EVM）上，其语法受到了c++、python、javascript影响。Solidity是静态类型
如果使用Marshal.dump写入文件，我有一个Ruby散列达到大约10兆字节。gzip压缩后约为500KB。在ruby中迭代和改变这个散列是非常快的(几分之一毫秒)。即使复制它也非常快。问题是我需要在RubyonRails进程之间共享此散列中的数据。为了使用Rails缓存(file_store或memcached)执行此操作，我需要先Marshal.dump文件，但这会在序列化文件时产生1000毫秒的延迟，在序列化文件时产生400毫秒的延迟。理想情况下，我希望能够在100毫秒内从每个进程保存和加载此哈希。一个想法是生成一个新的Ruby进程来保存这个散列，该散列为其他进程提供AP
文章目录概述背景为何要存算分离优势**应用场景**存算分离产品技术流派华为JuiceFSHashDataXSKY概述背景Hadoop一出生就是奔存算一体设计，当时设计思想就是存储不动而计算(code也即是代码程序)动，负责调度Yarn会把计算任务尽量发到要处理数据所在的实例上，这也是与传统集中式存储最大的不同。为何当时Hadoop设计存算一体的耦合？要知道2006年服务器带宽只有100Mb/s~1Gb/s,但是HDD也即是磁盘吞吐量有50MB/s，这样带宽远远不够传输数据，网络瓶颈尤为明显，无奈之举只好把计算任务发到数据所在的位置。众观历史常言道天下分久必合合久必分，随着云计算技术的发展，数据
目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和
如何用IDEA2022创建并初始化一个SpringBoot项目？目录如何用IDEA2022创建并初始化一个SpringBoot项目？0. 环境说明1. 创建SpringBoot项目 2.编写初始化代码0. 环境说明IDEA2022.3.1JDK1.8SpringBoot1. 创建SpringBoot项目 打开IDEA，选择NewProject创建项目。 填写项目名称、项目构建方式、jdk版本，按需要修改项目文件路径等信息。 选择springboot版本以及需要的包，此处只选择了springweb。 此处需特别注意，若你使用的是jdk1
我是高级初学者/中级Ruby程序员。我真的在努力提高我的Ruby技能，特别专注于编写更高效、紧凑、惯用的Ruby，遵循可靠的测试实践，学习并遵守项目结构和其他一般最佳实践。考虑到这一点，我一直在寻找好的Material来学习。我已经检查了几个PlayByPlayPeepcodescreencasts，这很棒，但不完全是我想要的。我浏览了Github，但我熟悉的大多数项目都非常庞大——我花了太多时间来解开事物实际上是如何组合在一起的，并试图建立事物的心智模型，而不是我真正花时间去理解开发过程。因此，我正在寻找紧凑、构建良好等优质项目/gems/libs的好例子。我更喜欢自包含的东西，即不
我有以下场景:我需要在一个非常大的集合中找出唯一的ID列表。例如，我有6000个id数组(关注者列表)，每个数组的大小范围在1到25000(他们的关注者列表)之间。我想获得所有这些ID数组中的唯一ID列表(关注者的唯一关注者)。完成后，我需要减去另一个ID列表(另一个人的关注者列表)并获得最终计数。最后一组唯一ID增长到大约60,000,000条记录。在ruby中，将数组添加到大数组时，它开始变得非常慢，大约几百万。添加到集合中一开始需要0.1秒，然后增长到200万时需要超过4秒(离我需要去的地方不远)。我用java编写了一个测试程序，它在不到一分钟的时间内完成了整个过程。也许我在
文章目录问题B:芝华士威士忌和他的小猫咪们代码&注释问题C:愿我的弹雨能熄灭你们的痛苦代码注释问题D:猜糖果游戏代码注释问题E:有趣的次方代码注释问题F:这是一个简单题代码&注释问题G:打印矩阵代码注释问题H:scz的简单考验代码注释问题I:完美区间代码&注释问题J:是狂热的小迷妹一枚吖~代码&注释2022年10月23日周赛ZZULIOJ问题B:芝华士威士忌和他的小猫咪们时间限制:1Sec内存限制:128MB题目描述芝华士威士忌很喜欢带着他的猫咪们一块跑着玩。但是小猫咪们很懒，只有在离他y米以内才愿意和他一块跑。这天他在坐标为x的位置，他想和他的猫咪们一块跑着玩。有n个小猫咪，第i个小猫咪在坐