草庐IT

Apache Hudi初探(一)(与flink的结合)

背景和Spark的使用方式不同,flink结合hudi的方式,是以SPI的方式,所以不需要像使用Spark的方式一样,Spark的方式如下:spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtensionspark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog(这里不包括org.apache.spark.sql.sources.DataSourceRegister)Flink结合Hudi的方式,只需要引入了对应

初探 Chatgpt,你学会了什么?

GPT是什么GPT是“GenerativePre-Training”的简称,是一种能够处理图像和文本输入并产生文本输出大型多模态模型。使用公开可用的数据(如互联网数据)和第三方提供商许可的数据,预先训练以预测文档中的下一个令牌(一个令牌可以简单理解为4个英文字符)。然后使用来自人类反馈的强化学习(RLHF)对该模型进行微调。如何训练首先,他们接受训练,使用来自互联网的大量文本数据集来预测下一个单词。然后,使用一种称为来自人类反馈的强化学习的算法,用额外的数据对模型进行微调,以产生人类贴标机喜欢的输出。具体步骤:针对大量问题生产答案,建立一个GPT模型GPT模型和多个模型一起参与对问题给出回答人

HarmonyOS初探06——使用DevEco Studio模拟器端口被占用无法启动

问题在内网环境下首次使用DevEcoStudio创建应用时,可能会报如下问题:servernotrunning;startingitattcp:5037​                        原因默认端口被占用了。需要重新指定一个​解决如何指定?在系统变量里面加一个“HDC_SERVER_PORT”,值就是你想要使用的端口。​这里,我指定使用的是8089端口,可以看到模拟器是正常启动了。应用也可以在模拟器里面运行了。参考引用本系列归档至《跟老卫学HarmonyOS开发》:https://github.com/waylau/harmonyos-tutorial参考书籍《鸿蒙Harmon

HarmonyOS初探07——使用DevEco Studio预览器

在前面的教程中,我们已经认识到了如何来创建一个最为简单的HelloWorld应用,并且通过Car模拟器成功运行了应用。效果如下:        但是使用模拟器运行了应用有一个缺点,那就是启动非常慢。如果我只是调试一个简单的界面,却要等待非常久的时间,那可能就消磨人的耐心了。此时,推荐的方式是使用预览器。如何安装预览器在使用预览器查看应用界面的UI效果前,需要确保HarmonyOSSDK>SDKTools中,已下载Previewer资源。如何使用预览器打开预览器有两种方式l  通过菜单栏,点击View>ToolWindows>Previewer,打开预览器。l  在编辑窗口右上角的侧边工具栏,点

亚马逊云科技中国峰会:初探Serverless无服务器

目录亚马逊云科技-无服务器架构ServerlessServerless的前世今生从计算、存储、Devops开始的Serverless之旅已成为云原生数据库、云原生数据分析乃至人工智能的标配ServerlesspressoWorkshop2023亚马逊云科技中国峰会峰会介绍大会亮点重磅嘉宾峰会日程你将获得我要报名2023亚马逊云科技中国峰会“Serverless无服务器”术语最早出现在2012年,这一词的出现意味着开发人员不再需要考虑那么多的物理容量或其他基础设施资源管理责任,通过消除后端基础设施的复杂性,让开发人员无需管理服务器而将注意力转移到构建和运行应用程序。Server,服务端,Serv

初探Lua脚本

1、什么是Lua Lua脚本是一个由C语言编写的小巧脚本语言,在所有脚本引擎中,Lua的速度是最快的。Lua的核心代码不过一万多行,因为是C语言编写的,因此Lua可以在几乎所有的操作系统和平台进行编译运行2、Lua适用场景1)、辑相对简单,没有复杂的数据交互,访问频次超高的接口实现2)、 lua适合的是无阻塞的,如果脚本含有文件读写,也快不到哪去常见搭配:Nginx+lua 开发高性能web应用,限流、防止sql注入、请求过滤,黑白名单限制等等等。redis+lua 实现原子操作,避免多线程数据不一致的问题3、Lua安装以及基本语法1)Lua安装教程2)Lua基本语法学过java的人,看Lua

Python数据分析初探项目 基于Python数据可视化的网易云音乐歌单分析系统 大学编程作业(TUST 天津科技大学 2022年)

Python数据分析初探项目基于Python数据可视化的网易云音乐歌单分析系统大学编程作业(TUST天津科技大学2022年)Python数据分析初探项目基于Python数据可视化的网易云音乐歌单分析系统大学编程作业(TUST天津科技大学2022年)一、项目简介二、交流学习Python数据分析初探项目基于Python数据可视化的网易云音乐歌单分析系统一、项目简介(一)项目背景(二)项目过程二、项目设计流程图(一)基于Python数据可视化的网易云音乐歌单分析系统的整体架构(二)获取歌单索引页的信息(三)获取歌单详情页的信息(四)歌曲出现次数TOP10(五)网易云音乐欧美歌单播放TOP10(六)网

InnoDB锁初探(一):锁分类和RR不同场景下的锁机制

Mysql数据库锁(Innodb)数据库锁是Mysql实现数据一致性的基础之一,是在事务的基础之上,基于MysqlServer层或存储引擎层实现的。锁日志前置条件:setGLOBALinnodb_status_output=ON;setGLOBALinnodb_status_output_locks=ON;查看语句:showengineinnodbstatus\G;锁分类表锁与行锁按照锁的粒度,可以分为表锁和行锁共享锁与排他锁共享锁1.select***lockinsharemode2.LockTable***read排他锁1.select***forupdate2.LockTable***w

HDC2021技术分论坛:跨端分布式计算技术初探

作者:zhengkai,分布式通信首席技术专家当今的移动应用都向着智能化和多样化方向发展,例如AI辅助,VR/AR应用,沉浸式游戏等。然而现实中的移动设备,因为便携性要求受限于尺寸、电池容量以及温控等要求,往往在算力、能耗以及所支持的输入输出功能上无法对智能化沉浸式体验的应用提供全方位的支持,导致很多应用场景难以得到实现。为了解决移动端算力瓶颈,HarmonyOS跨端分布式计算应运而生,给用户带来易协同、低延迟和高稳定的分布式体验。下面,我们将对跨端分布式计算技术进行详细的分析。目录一、跨端分布式算力技术介绍二、跨端分布式计算面临的挑战三、如何应对跨端分布式计算技术面临的挑战四、跨端分布式计算

HarmonyOS初探01——下载安装DevEco Studio

HUAWEIDevEcoStudio(简称DevEcoStudio)是基于IntelliJIDEACommunity开源版本打造,面向华为终端全场景多设备的一站式集成开发环境(IDE),为开发者提供工程模板创建、开发、编译、调试、发布等E2E的HarmonyOS应用开发服务。通过使用DevEcoStudio,开发者可以更高效的开发具备HarmonyOS分布式能力的应用,进而提升创新效率。因此,如果之前用IntelliJIDEA 做过开发的同学,那么对于DevEcoStudio来说也能轻松驾驭。DevEcoStudio支持Windows和Mac版本,下面演示针对Windows操作系统的软件安装方