微信搜索bigdata029 | 公益:全国打拐解救儿童寻亲公告平台 | 订阅本站
Kylin

Apache Kylin中对上亿字符串的精确Count_Distinct示例

Apache Kylin中对上亿字符串的精确Count_Distinct示例
上篇文章《在Apache Kylin中使用Count Distinct》中介绍了Apache Kylin中Count Distinct的实现,如果业务中能接受1.22%的误差,那么肯定首选近似算法,因为它能节省很多资源和时间。如果业务中必须使用精确去重,那么就看看本文的例子(针对...

4天前 78℃ 1喜欢

Kylin

在Apache Kylin中使用Count Distinct

在Apache Kylin中使用Count Distinct
在OLAP多维分析中,Count Distinct(去重计数)是一种非常常用的指标度量,比如一段时间内的UV、活跃用户数等等; 从1.5.3开始,Apache Kylin提供了两种Count Distinct计算方式,一种是近似的,一种是精确的,精确的Count Distinct...

5天前 87℃ 1喜欢

Hive

Java写本地ORC文件(Hive2 API)

Java写本地ORC文件(Hive2 API)
Hive2.0以后,使用了新的API来读写ORC文件(https://orc.apache.org)。 本文中的代码,在本地使用Java程序生成ORC文件,然后加载到Hive表。 代码如下: package com.lxw1234.hive.orc; import org....

1个月前 (07-25) 520℃ 1喜欢

大数据平台

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续
关键字:互联网、大数据、数据仓库、数据平台、架构 导读: 整体架构 数据采集 离线计算 实时计算 多维分析OLAP 机器学习 Ad-Hoc查询 数据可视化 上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文,已是一年前的事了,经过一年的沉淀与公司业务的发展,...

1个月前 (07-21) 1927℃ 4喜欢

大数据平台

一站式用户自助数据接入与分析平台

一站式用户自助数据接入与分析平台
一站式用户自助数据接入与分析平台,也可以当做一个提供大数据分析服务的云平台,用户可以基于平台数据仓库中已有的事实表和维度表(有访问权限),自助建立分析模型,进行OLAP分析与可视化;也可以将自己的数据接入到平台,在已接入的数据上自助建立分析模型,进行OLAP分析与可视化。对于前者...

2个月前 (07-13) 987℃ 4喜欢

Hadoop

Yarn公平调度器Fair Scheduler根据用户组分配资源池

Yarn公平调度器Fair Scheduler根据用户组分配资源池
之前有文章《Hadoop多用户资源管理–Fair Scheduler介绍与配置》介绍过在Yarn中使用Fair Scheduler根据用户名为多用户管理分配资源。文本在其基础之上,介绍根据用户组管理分配资源池的配置。 假设在生产环境Yarn中,总共有四类用户需要使用集群,开发用户...

2个月前 (06-23) 755℃ 2喜欢

Kylin

开源数据可视化工具(For Apache Kylin)使用说明

开源数据可视化工具(For Apache Kylin)使用说明
Apache Kylin,很好的解决了海量数据OLAP的底层存储与分析引擎,但还缺一个数据可视化工具,可以使用户非常方便的通过图形化分析探索海量数据,而不用写SQL。于是我们发现了Caravel。 原生的Caravel并不支持Kylin,也不支持多表关联,经过好友Rocky和我的...

2个月前 (06-20) 4305℃ 10喜欢

Kylin

开源OLAP+数据可视化工具–For Apache Kylin

开源OLAP+数据可视化工具–For Apache Kylin
关键字:caravel、olap、kylin、数据可视化 经过我和好友Rocky一段时间的修改和调试,现已将初版的Caravel For Kylin上传至Github,供大家使用,如有发现任何的问题,可通过本博客或github联系我们。 GitHub地址: https://git...

3个月前 (06-13) 2429℃ 2喜欢

Kylin

Apache Kylin中使用Streaming Table构建准实时Cube

Apache Kylin中使用Streaming Table构建准实时Cube
关键字:kylin、streaming table Kylin从1.5版本开始,引入了Streaming Table,目的是为了减低OLAP分析的延时(比如Druid、ElasticSearch都支持实时数据流)。 Streaming Table周期性的从Kafka中读取数据,根...

3个月前 (06-13) 1281℃ 4喜欢

Hive

Hive2.0中HiveServer2的WEB UI界面

Hive2.0中HiveServer2的WEB UI界面
Hive从2.0版本开始,为HiveServer2提供了一个简单的WEB UI界面,界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。 https://cwiki.apache.org/confluence/display/Hive/Setting+Up+Hiv...

3个月前 (06-01) 1373℃ 4喜欢

Hive

Hive中使用ORC遇到的protobuf版本问题

Hive中使用ORC遇到的protobuf版本问题
Hive从0.11版本开始提供了ORC的文件格式,ORC文件不仅仅是一种列式文件存储格式,最重要的是有着很高的压缩比,并且对于MapReduce 来说是可切分(Split)的。因此,在Hive中使用ORC作为表的文件存储格式,不仅可以很大程度的节省HDFS存储资源,而且对数据的查...

3个月前 (05-30) 636℃ 1喜欢

Hive

HiveServer2的高可用-HA配置

HiveServer2的高可用-HA配置
关键字:hiveserver2、ha、高可用、high availability、ZooKeeper Service Discovery 在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多: 1. 在应用端不用部署Hadoop和Hive客户端; 2....

3个月前 (05-27) 1577℃ 4喜欢