当前访客身份:游客 [ 登录  | 注册加入尚学堂]
直播

easychart

拥有积分:4
这家伙太懒,还没有签名!

博客分类

笔记中心

课题中心

提问中心

答题中心

解答题中心

pig对应sql的基本命令

easychart 发表于 2年前 (2014-10-31 20:21:52)  |  评论(0)  |  阅读次数(602)| 0 人收藏此文章,   我要收藏   

1.从文件导入数据

1)Mysql (Mysql需要先创建表).

CREATE TABLE TMP_TABLE(USER VARCHAR(32),AGEINT,IS_MALE BOOLEAN);

CREATE TABLE TMP_TABLE_2(AGE INT,OPTIONSVARCHAR(50)); -- 用于Join

LOAD DATA LOCAL INFILE '/tmp/data_file_1'INTO TABLE TMP_TABLE ;

LOAD DATA LOCAL INFILE '/tmp/data_file_2'INTO TABLE TMP_TABLE_2;

2)Pig

tmp_table=LOAD '/tmp/data_file_1' USINGPigStorage('\t') AS (user:chararray, age:int,is_male:int);

tmp_table_2= LOAD '/tmp/data_file_2' USINGPigStorage('\t') AS (age:int,options:chararray);

 

2.查询整张表

1)Mysql

SELECT * FROM TMP_TABLE;

2)Pig

DUMP tmp_table;

3. 查询前50

1)Mysql

SELECT * FROM TMP_TABLE LIMIT 50;

2)Pig

tmp_table_limit = LIMIT tmp_table 50;

DUMP tmp_table_limit;

4.查询某些列

1)Mysql

SELECT USER FROM TMP_TABLE;

2)Pig

tmp_table_user = FOREACH tmp_table GENERATEuser;

DUMP tmp_table_user;

5. 给列取别名

1)Mysql

SELECT USER AS USER_NAME,AGE AS USER_AGEFROM TMP_TABLE;

2)Pig

tmp_table_column_alias = FOREACH tmp_tableGENERATE user AS user_name,age AS user_age;

DUMP tmp_table_column_alias;

6.排序

1)Mysql

SELECT * FROM TMP_TABLE ORDER BY AGE;

2)Pig

tmp_table_order = ORDER tmp_table BY ageASC;

DUMP tmp_table_order;

7.条件查询

1)Mysql

SELECT * FROM TMP_TABLE WHERE AGE>20;

2) Pig

tmp_table_where = FILTER tmp_table by age> 20;

DUMP tmp_table_where;

8.内连接InnerJoin(相等连接,自然连接)

1)Mysql

SELECT * FROM TMP_TABLE A JOIN TMP_TABLE_2B ON A.AGE=B.AGE;

2)Pig

tmp_table_inner_join = JOIN tmp_table BYage,tmp_table_2 BY age;

DUMP tmp_table_inner_join;

9.左连接LeftJoin(返回左表所有行,如果没有匹配的行则值为空)

1)Mysql

SELECT * FROM TMP_TABLE A LEFT JOINTMP_TABLE_2 B ON A.AGE=B.AGE;

2)Pig

tmp_table_left_join = JOIN tmp_table BY age LEFT OUTER,tmp_table_2 BY age;

DUMP tmp_table_left_join;

10.右连接Right Join(保留右边表所有行,没有匹配的值则为空)

1)Mysql

SELECT * FROM TMP_TABLE A RIGHT JOINTMP_TABLE_2 B ON A.AGE=B.AGE;

2)Pig

tmp_table_right_join= JOIN tmp_table BY age RIGHT OUTER,tmp_table_2 BY age;

DUMP tmp_table_right_join;

11.全连接Full Join完整外部连接返回左表和右表中的所有行

1)Mysql

SELECT * FROM TMP_TABLE A JOIN TMP_TABLE_2B ON A.AGE=B.AGE

UNION SELECT * FROM TMP_TABLE A LEFT JOINTMP_TABLE_2 B ON A.AGE=B.AGE

UNION SELECT * FROM TMP_TABLE A RIGHT JOINTMP_TABLE_2 B ON A.AGE=B.AGE;

2)Pig

tmp_table_full_join = JOIN tmp_table BY ageFULL OUTER,tmp_table_2 BY age;

DUMP tmp_table_full_join;

12.同时对多张表交叉查询(笛卡尔积)

1)Mysql

SELECT * FROM TMP_TABLE,TMP_TABLE_2;

2)Pig

tmp_table_cross = CROSStmp_table,tmp_table_2;

DUMP tmp_table_cross;

13.分组GROUP BY

1)Mysql

SELECT * FROM TMP_TABLE GROUP BY IS_MALE;

2)Pig

tmp_table_group = GROUP tmp_table BYis_male;

DUMP tmp_table_group;

14.分组并统计

1)Mysql

SELECT IS_MALE,COUNT(*) FROM TMP_TABLE GROUP BY IS_MALE;

2)Pig

tmp_table_group_count = GROUP tmp_table BYis_male;

tmp_table_group_count = FOREACHtmp_table_group_count GENERATE group,COUNT($1);//注意这是统计第一列属性。第0列属性是group名字。

DUMP tmp_table_group_count;

 

 

这里要注意:

 

15.查询去重DISTINCT

1)MYSQL

SELECT DISTINCT IS_MALE FROM TMP_TABLE;

2)Pig

tmp_table_distinct = FOREACH tmp_tableGENERATE is_male;

tmp_table_distinct = DISTINCTtmp_table_distinct;

DUMP tmp_table_distinct;

分享到:0
关注微信,跟着我们扩展技术视野。每天推送IT新技术文章,每周聚焦一门新技术。微信二维码如下:
微信公众账号:尚学堂(微信号:bjsxt-java)
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183