在各种数据岗招聘中,SQL几乎成为了必备技能。有公司的地方就会有数据,有数据的地方就会有数据库,有数据库的地方就会有SQL。
SQL在数据分析中到底有多重要?这么说吧,除了Excel外,SQL是数据工作最常接触的到的工具。
虽然本质上SQL和Excel都用来处理分析数据,但不一样的是,SQL是一种查询语言,并非可视化的软件,所以学习门槛更高,需要使用者有多的逻辑思考。

当然学习SQL并非难事,对比Java、C++、Python这类编程语言,SQL的语言逻辑更为简单,你可以从SQL的3个功能来初步了解它。
(1) SQL数据定义功能:负责创建、修改、删除、索引、视图、函数、存储过程和触发器等对象。
(2)SQL数据操纵功能:负责对表进行增删改查,尤其是自定义查询,是工作中最常用的场景。
(3)SQL的数据控制功能:负责对用户的访问权限加以控制,以保证系统的安全性。
针对这3个功能,以PostgreSQL为例,我们只需要从以下4个方面来学习即可。
了解数据库,有几个重要的概念需要清楚。
首先是数据库管理系统,简称数据库,也就是DBMS,这是数据库的管理软件。
市场上有很多选择,比如MySQL、Oracle、PostgreSQL等,不同软件特性也不一样,你尽量选择主流的去学习。

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),它支持大部分的SQL标准并且提供了很多其他现代特性,如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。
同样,PostgreSQL也可以用许多方法扩展,例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。
另外,因为许可证的灵活,任何人都可以以任何目的免费使用、修改和分发PostgreSQL。
再来说说数据库,这是我们在数据库软件中创建的数据表的集合,你可以创建多个数据库,去存储不同用途的数据表,方便检索。
可以使用SQL代码或者数据库工具来创建数据库,创建的时候要注意设置好数据库权限。
在SQL语句中,使用如下语句来创建表:
CREATE DATABASE database_name
最后是数据表,这数据库中最基础的单元,数据表存储在数据库中。
在关系型数据库中,数据是以行列的形式存储在数据表中,每列都有相应的数据类型,这是在创建表的时候去设定。
在SQL语句中,使用如下语句来创建表:
CREATE TABLE <table_name> (columns_name datatype , ...)

数据表中有一些约束需要注意,比如主键约束、外键约束、非空约束、唯一性约束、默认约束等,视具体业务针对性设置。
同其他编程语言一样,SQL中有固定的数据类型和五花八门的函数,在不同的数据库软件中,数据类型和函数也会有差异。但所有关系型数据库都会遵守SQL基本语法规则,
以PostgreSQL为例,主要的数据类型包括整数类型、浮点数类型、日期时间类型、字符串类型、二进制类型、布尔类型、数组类型、几何类型、网络地址类型、JSON类型等,其中每个类型下又细分多个子类型。具体可以下图:

SQL中的函数非常之多,用来计算和修改数据,基于数据表可以得到任何你想要的分析结果。一般把SQL函数主要分为以下6大类:聚合函数、转换函数、日期时间函数、数学函数、字符串函数、系统处理函数。
除了上述函数外,PostgreSQL系统自定义了许多用于处理特殊场景的函数,比如几何函数、文本搜索函数等。下面以PostgreSQL为例,列举常见函数的用法:
聚合函数:

转换函数:

日期时间函数:



数学函数:



字符串函数:

系统函数:



还有其他诸如几何函数:


数据查询是学习SQL最核心的目的,也是广大数据分析师们最日常的工作。
select是你学习SQL数据查询的基本语句,几乎所有查询都需要用select来实现。
select查询又分为单表查询、聚合查询、连接查询、子查询、合并查询等。
单表查询(查询一张表):
SELECT ... FROM table_name
聚合查询(根据某字段聚合进行计算):
SELECT count(column_1) FROM table_name GROUP BY column_2
连接查询(通过JOIN连接多张表):
SELECT ... FROM table_name_1 LEFTJOIN tablea_name_2 ON...
子查询(对多个表进行嵌套查询)
SELECT ... FROM table_name_1
WHERE column_1 IN (SELECT column_2 FROM table_name_2)
合并查询(查询结果进行合并)
SELECT ... FROM table_name_1
UNION
SELECT ... FROM table_name_2
前面列举了几种常见查询的简单例子,在日常数据分析工作中,还会用到各种各样的查询子句。
WHERE子句(筛选查询操作)
SELECT ... FROM fdt WHERE c1 > 5
SELECT ... FROM fdt WHERE c1 IN (1, 2, 3)
SELECT ... FROM fdt WHERE c1 IN (SELECT c1 FROM t2)
SELECT ... FROM fdt WHERE c1 IN (SELECT c3 FROM t2 WHERE c2 = fdt.c1 + 10)
SELECT ... FROM fdt WHERE c1 BETWEEN (SELECT c3 FROM t2 WHERE c2 = fdt.c1 + 10) AND 100
SELECT ... FROM fdt WHERE EXISTS (SELECT c1 FROM t2 WHERE c2 > fdt.c1)
GROUP BY和HAVING子句
在通过了WHERE过滤器之后,生成的输入表可以使用GROUP BY子句进行分组,然后用HAVING子句删除一些分组行。
SELECT select_list FROM ... [WHERE ...] GROUP BY ... HAVING boolean_expression
ORDER BY子句
对查询结果进行排序操作。
SELECT ... FROM table_name
ORDER BY ...
LIMIT和OFFSET
限制查询返回的行数。
SELECT ...FROM table_name
[ LIMIT { number | ALL } ] [ OFFSET number ]
DISTINCT
去除重复项。
SELECT DISTINCT column_name FROM table_name
WITH查询
将查询语句定义为临时表。
WITH table_name AS (select ...)
除了对数据进行查询外,你还需要学会如何插入数据、导出数据、更新数据、删除数据。
这些都属于数据的操作和定义范畴,对数据管理员非常有用。
插入数据(使用INSERT语句)
INSERT INTO tableau_name VALUES (1, 'Cheese', 9.99);
更新数据(使用UPDATE语句)
UPDATE table_name SET price = 10 WHERE price = 5;
删除数据(使用DELETE语句)
删除表
DELETE FROM table_name
删除指定行
DELETE FROM table_name WHERE price = 10;
增加列(使用ALTER语句)
ALTER TABLE table_name ADD COLUMN description text;
移除列(使用ALTER DROP语句)
ALTER TABLE table_name DROP COLUMN description;
增加约束(使用ALTER...语句)
ALTER TABLE table_name ADD CHECK (name <> '');
ALTER TABLE table_name ADD CONSTRAINT some_name UNIQUE (product_no);
ALTER TABLE table_name ADD FOREIGN KEY (product_group_id) REFERENCES product_groups;
修改列的数据类型(ALTER TYPE语句)
ALTER TABLE table_name ALTER COLUMN price TYPE numeric(10,2);
重命名列(ALTER COLUMN语句)
ALTER TABLE table_name RENAME COLUMN product_no TO product_number;
重命名表(ALTER RENAME)
ALTER TABLE old_table_name RENAME TO new_table_name;

我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
总的来说,我对ruby还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/
我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为
我有一大串格式化数据(例如JSON),我想使用Psychinruby同时保留格式转储到YAML。基本上,我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是,当我使用YAML.dump时,它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量?解