impala-meetup-20130820.pdf

《impala-meetup-20130820.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Parquet Update/UDFs in Impala Nong Li So:ware Engineer, Cloudera 1Agenda •Parquet •File format descripBon •Benchmark Results in Impala •Parquet 2.0 •UDF/UDAs 2Parquet 34567Data Pages •Values are stored in data pages as a triple: DefiniBon Level, RepeBBon Level and Va

2、lue. •These are stored conBguous on disk => 1 seek to read a column regardless of nesBng. •Data pages are stored with different encodings: •Bit packing and Run Length Encoding (RLE) •DicBonary for strings •Extended to all types in Parquet 1.1 •Plain (liWle endian enc

3、oding) for naBve types. 8Parquet 2.0 •AddiBonal Encodings •Group VarInt (for small ints) •Improved string storage format •Delta Encoding (for strings and ints) •AddiBonal Metadata •Sorted files •Page/Column/File StaBsBcs •Expected to further reduce on disk size and a

4、llow for skipping values on the read path. 9Hardware Setup •10 Nodes •16 Core Xeon •48 GB Ram •12 Disks •CDH4.3 •Impala 1.1 10TPC‐H lineitem table @ 1TB scale factor Size (GB) 800 700 600 500 400 300 200 100 0 Text Text w/ Lzo Seq w/ Snappy Avro w/ Snappy RcFile w/ 

5、Snappy Parquet w/ Snappy Seq w/ Gzip 11Query Times on TPC‐H lineitem table 800 700 600 500 Text Seq w/ Snappy 400 Avro w/ Snappy RcFile w/ Snappy 300 Parquet w/ Snappy 200 100 0 1 Column 3 Columns 5 Columns 16 (all) Columns 5 Columns, 3 Tpch Q1 (7 Bytes Read Q1 Clie

6、nts Columns) (GB) 12Query Times on TPCDS Queries 500 450 Average Times (Geometric Mean) 400 •Text: 224 seconds 350 •Seq Snappy: 257 seconds 300 •RC Snappy: 150 seconds Text Seq w/ Snappy 250 Seconds •Parquet: 61 seconds RC w/Snappy 200 Parquet w/Snappy 150 100 50 0 

7、Q27 Q34 Q42 Q43 Q46 Q52 Q55 Q59 Q65 Q73 Q79 Q96 13Agenda •Parquet •File format descripBon •Benchmark Results in Impala •What’s Next •UDF/UDAs (Work in Progress) 14Terminology •UDF: Tuple ‐> Scalar user‐defined funcBon •E.g. Substring •UDA/UDAF: {Tuple} ‐> Scalar user

8、‐defined aggregate funcBon •E.g. Min •UDTF: {Tuple} ‐> {Tuple}user‐defined table funcBon 15Impala 1.2 •Support Hive UDFs (java) •ExisBng hiv