1导引我们在博客《Hadoop:单词计数(WordCount)的MapReduce实现》中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。2.Spark的MapReudce原理Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据处理框架的输入/输出，中间数据进行建模，将这些数据抽象为统一的数据结构命名为弹性分布式数据集(ResilientDistributedDataset)，并在此数据结构上构建了一系列通用的数据

1导引我们在博客《Hadoop:单词计数(WordCount)的MapReduce实现》中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。2.Spark的MapReudce原理Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据处理框架的输入/输出，中间数据进行建模，将这些数据抽象为统一的数据结构命名为弹性分布式数据集(ResilientDistributedDataset)，并在此数据结构上构建了一系列通用的数据

关于我们更多关于云原生的案例和知识，可关注同名【腾讯云原生】公众号~福利：①公众号后台回复【手册】，可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~②公众号后台回复【系列】，可获得《15个系列100+篇超实用云原生原创干货合集》，包含Kubernetes降本增效、K8s性能优化实践、最佳实践等系列。③公众号后台回复【白皮书】，可获得《腾讯云容器安全白皮书》&《降本之源-云原生成本管理白皮书v1.0》④公众号后台回复【光速入门】，可获得腾讯云专家5万字精华教程，光速入门Prometheus和Grafana。作者徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研

关于我们更多关于云原生的案例和知识，可关注同名【腾讯云原生】公众号~福利：①公众号后台回复【手册】，可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~②公众号后台回复【系列】，可获得《15个系列100+篇超实用云原生原创干货合集》，包含Kubernetes降本增效、K8s性能优化实践、最佳实践等系列。③公众号后台回复【白皮书】，可获得《腾讯云容器安全白皮书》&《降本之源-云原生成本管理白皮书v1.0》④公众号后台回复【光速入门】，可获得腾讯云专家5万字精华教程，光速入门Prometheus和Grafana。作者徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研

上文创建了一堆utils、component-info，并实现了新组件模块相关目录和文件的创建。本文继续实现后面的内容。1组件样式文件并导入在src/service目录中创建init-scss.ts文件，该文件导出initScss函数。由于.vue类型的组件的样式就直接写在了style中，故首先判断组件类型是否是tsx，tsx类型的组件才进行这一步的操作：在scss/components/目录下创建组件的scss文件_xxx.module.scss；在scss/components/index.scss中导入_xxx.module.scss。1.1init-scss.ts代码实现如下：impo

上文创建了一堆utils、component-info，并实现了新组件模块相关目录和文件的创建。本文继续实现后面的内容。1组件样式文件并导入在src/service目录中创建init-scss.ts文件，该文件导出initScss函数。由于.vue类型的组件的样式就直接写在了style中，故首先判断组件类型是否是tsx，tsx类型的组件才进行这一步的操作：在scss/components/目录下创建组件的scss文件_xxx.module.scss；在scss/components/index.scss中导入_xxx.module.scss。1.1init-scss.ts代码实现如下：impo

上文搭建了组件库cli的基础架子，实现了创建组件时的用户交互，但遗留了cli/src/command/create-component.ts中的createNewComponent函数，该函数要实现的功能就是上文开篇提到的——创建一个组件的完整步骤。本文咱们就依次实现那些步骤。（友情提示：本文内容较多，如果你能耐心看完、写完，一定会有提升）1创建工具类在实现cli的过程中会涉及到组件名称命名方式的转换、执行cmd命令等操作，所以在开始实现创建组件前，先准备一些工具类。在cli/src/util/目录上一篇文章中已经创建了一个log-utils.ts文件，现继续创建下列四个文件：cmd-util

上文搭建了组件库cli的基础架子，实现了创建组件时的用户交互，但遗留了cli/src/command/create-component.ts中的createNewComponent函数，该函数要实现的功能就是上文开篇提到的——创建一个组件的完整步骤。本文咱们就依次实现那些步骤。（友情提示：本文内容较多，如果你能耐心看完、写完，一定会有提升）1创建工具类在实现cli的过程中会涉及到组件名称命名方式的转换、执行cmd命令等操作，所以在开始实现创建组件前，先准备一些工具类。在cli/src/util/目录上一篇文章中已经创建了一个log-utils.ts文件，现继续创建下列四个文件：cmd-util

1.Map与Reduce过程1.1Map过程首先，Hadoop会把输入数据划分成等长的输入分片(inputsplit)或分片发送到MapReduce。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数以分析每个分片中的记录。在我们的单词计数例子中，输入是多个文件，一般一个文件对应一个分片，如果文件太大则会划分为多个分片。map函数的输入以形式做为输入，value为文件的每一行，key为该行在文件中的偏移量(一般我们会忽视)。这里map函数起到的作用为将每一行进行分词为多个word，并在context中写入以代表该单词出现一次。map过程的示意图如下：mapper代码编写

1.Map与Reduce过程1.1Map过程首先，Hadoop会把输入数据划分成等长的输入分片(inputsplit)或分片发送到MapReduce。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数以分析每个分片中的记录。在我们的单词计数例子中，输入是多个文件，一般一个文件对应一个分片，如果文件太大则会划分为多个分片。map函数的输入以形式做为输入，value为文件的每一行，key为该行在文件中的偏移量(一般我们会忽视)。这里map函数起到的作用为将每一行进行分词为多个word，并在context中写入以代表该单词出现一次。map过程的示意图如下：mapper代码编写