Presto简介及安装部署–备忘

大数据平台 lxw1234@qq.com 5329℃ 0评论

Presto简介

Presto是一个由Facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。

presto

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。

Presto安装环境

presto-server-0.184
hadoop-2.6.0-cdh5.8.3
apache-hive-2.3.0-bin
Java8 8u92+
Python 2.4+
CentOS 64位
datadev1(coordinator)、datadev2(worker)、datadev3(worker)

配置和启动Hive Remote Service

<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.uris</name>
<value>thrift://172.16.213.16:9083</value>
</property>

cd $HIVE_HOME/bin
hive –service metastore &

 

Presto配置

下载presto-server-0.184.tar.gz并解压至/opt/presto
创建配置文件目录etc
cd /opt/presto/presto-server-0.184 && mkdir etc
cd etc

coordinator配置文件

vi config.properties

coordinator=true
node-scheduler.include-coordinator=true   ##是否允许该节点既是coordinator又是worker
http-server.http.port=9000
query.max-memory=3GB
query.max-memory-per-node=512MB
discovery-server.enabled=true
discovery.uri=http://172.16.213.16:9000

worker配置文件

vi config.properties

coordinator=false
http-server.http.port=9000
query.max-memory=512MB
discovery.uri=http://172.16.213.16:9000

node.properties

node.environment=lxw_presto_cluster
node.id=presto_datadev1
node.data-dir=/home/hadoop/presto/data

jvm.config

-server
-Xmx2G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

log.properties

com.facebook.presto=DEBUG

配置catalog

cd $PRESTO_HOME/etc
mkdir catalog
cd catalog

vi jmx.properties

connector.name=jmx

vi hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://172.16.213.16:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml, /etc/hadoop/conf/hdfs-site.xml
hive.allow-drop-table=true

Presto启动

export JAVA_HOME=/home/hadoop/jdk1.8.0_144/
export PATH=$JAVA_HOME/bin:$PATH

bin/launcher run

Presto Cli

下载presto-cli-0.184-executable.jar到$PRESTO_HOME/bin
mv presto-cli-0.184-executable.jar presto
chmod a+x presto

./presto –server localhost:9099 –catalog hive –schema default
进入Presto命令行。

presto

Presto WEB Interface

http://172.16.213.16:9099/

presto

 

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » Presto简介及安装部署–备忘

喜欢 (8)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址