学习如何本地制作镜像推送到远程仓库管理，希望可以帮到有需要的人准备工作： 1.注册dockerhub账号，下载DockerDesktopWindows版本 2.注册阿里云账号，开通容器镜像服务个人版注意事项DockerDesktop的安装教程网上有很多，这里不做教程，这里提醒一点避免安装的时候遇到坑，DockerDesktop安装时会默认勾选使用wsl2，如果你是win11安装可以勾选上，win11对这个的支持很友好，只需要一行代码就可以完成安装，但是如果你是win10，建议把这个取消掉，因为我笔记本是win11勾上后安装后能正常使用，但是我家里的台式就不行，自己安装上的wsl始终
一、数仓中为什么要在数据开发过程中强调遵守数仓开发命名规范呢？养成良好的编程习惯写出清楚、易懂、易维护的程序代码提高代码质量与沟通效率减少编码中的不必要的错误二、数仓开发命名规范主要分为以下几个方面（1）数据仓库命名规范（2）表命名规范（3）字段命名规范（4）字段类型规范三、规范详解（1）数据仓库命名规范（2）表命名规范命名全部采用小写字母和数字构成，只能以字母开头，并且尽量避免使用数字。命名应采用能够准确反映其中文含义的英文单词或英文单词缩写构成，避免出现英文单词和汉语拼音混用的局面。命名长度尽量控制在30个字符以内，考虑可读性、易懂性、规范性；如果超过30个字符，尽量把长单词转换成缩略词。
1.打开git2.初始化gitinit 3.设置允许下载子目录（不需要修改任何，只要原样复制，需要按照个人状况修改的话我会标注）gitconfigcore.sparseCheckouttrue4.选择要下载的单个文件夹的路径这里单引号内部需要修改，按照自己想要下载gitee或github的路径echo'/父文件夹/子文件夹/*'>>.git/info/sparse-checkout举个栗子： 假如我想要下载web这个目录下的所有文件，我需要这样写：echo'/web/*'>>.git/info/sparse-checkout 如果是文件同理，就不加路径后面的/*第一个/代表根目录5.添加仓库地
使用GitHubCopilot快一年了，已经习惯了有这个“结对编程”的AI小伙伴的办公方式。这里记录一下使用GitHubCopilot的方法。一、购买在GitHub账号的设置里就可以看到Copilot的入口，如果没有激活过的话，会有一个免费试用期。到期了用外币信用卡付款。价格是每个月10美刀（包年则是100美刀）。如果有海外大学生学生证，可以申请教育版，免费试用。如果没有外币信用卡，可以尝试万能的某宝服务（是否有封号风险需要权衡）二、IDE插件官方就有非常详细的安装说明：GettingstartedwithGitHubCopilot(JetBrains)GettingstartedwithGi
文章目录一、什么是GithubCopilotChat二、安装使用三、如何使用1.聊天功能2.内联功能一、什么是GithubCopilotChatGitHubCopilotChat由OpenAI的GPT-4大型多模态模型提供支持，能带来更准确的代码建议、解释和指导。GitHubCopilotChat的内联功能可以帮助开发人员就特定的代码行进行聊天二、安装使用直接在应用市场搜索GitHubCopilotChat,安装就可以了。安装条件：一个有效的GitHubCopilot订阅已安装VisualStudioCode的最新版本必须使用与具有对GitHubCopilot访问权限的GitHubID相同的I
参考：Ubuntu20.04下git的安装与基本使用一、安装Git首先使用版本命令查看Ubuntu是否已经安装过gitgit--version 安装Gitsudoapt-getinstallgit二、配置Git1.配置用户名和邮箱配置用户名：gitconfig--globaluser.name"用户名"配置邮箱：gitconfig--globaluser.email"邮箱地址"2.生成git的密钥1）建立密钥文件ssh-keygen-C"邮箱地址"-trsa2）密钥文件位于主目录下（要显示隐藏文件） 3）用命令行打开id_rsa.pub文件将里面内容全部复制进入到.ssh文件夹cd~/.shh
使用GitHub的前期准备本节包含SShKey的设置，从GitHub上创建一个仓库，并clone到本地，然后对其进行更改，提交，同步到仓库。需要已经下载好了Git，并且已经创建了一个GitHub账户1.设置SSHKey1.1创建SSHKey#"your_email@wxample.com"是填写你的邮箱$ssh-keygen-trsa-C"your_email@example.com"运行这条命令，然后直接敲两次回车就可以。第一次回车是将SSH密匙存放在默认的路径下，第二次是跳过设置密码。（当然，可以设置密码，但是设置密码之后每次都需要登录验证，初期学习的时候没必要设置密码。注意，注意，注意：
Git&GitHub1版本控制工具应该具备的功能协同修改多人并行不悖的修改服务器端的同一个文件。数据备份不仅保存目录和文件的当前状态，还能够保存每一个提交过的历史状态。版本管理在保存每一个版本的文件信息的时候要做到不保存重复数据，以节约存储空间，提高运行效率。这方面SVN采用的是增量式管理的方式，而Git采取了文件系统快照的方式。权限控制对团队中参与开发的人员进行权限控制。对团队外开发者贡献的代码进行审核——Git独有。历史记录查看修改人、修改时间、修改内容、日志信息。将本地文件恢复到某一个历史状态。分支管理允许开发团队在工作过程中多条生产线同时推进任务，进一步提高效率。2版本控制简介2.1版
文章目录业务需求特点解决思路解决效果解决方案读写其他结语业务需求将12个CSV文件中的数据，共200多G，导入到ES中，要求性能好一些，速度越快越好。此处我们不讨论需求的合理性，只对处理办法进行讨论。特点单索引操作，数据量很大数据含有位置数据，可能会涉及经纬度问题需要注意导入性能与速度问题解决思路为满足业务需求，该问题可以拆分为两个部分，一个是读取，如何快速读取csv格式文件数据，内存消耗要小，读取速度要快，更要稳定。另一个是写入，写入ES如何做到写入性能最大。硬件条件：1台8C64G服务器，硬盘足够大(不过是机械的)解决效果读写速度可达5000条每秒其中读10万条每秒写大约5000条每秒解决
第1章数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。爬虫数
