微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者
Spark

学习Spark2.0中的Structured Streaming(一)

学习Spark2.0中的Structured Streaming(一)
Spark2.0新增了Structured Streaming,它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎,使得实时流式数据计算可以和离线计算采用相同的处理方式(DataFrame&SQL)。Structured Streaming顾名思义,它将数据源和...

5个月前 (10-21) 1931℃ 6喜欢

Flume

Apache Flume 1.7发布

Apache Flume 1.7发布
时隔一年多,Flume终于发布了1.7版本,该版本中新增了 Taildir Source (Flume中的TaildirSource),另外,对与Kafka的集成上做了很多的改进和优化。 Release Notes – Flume – Version v1...

5个月前 (10-19) 1683℃ 3喜欢

大数据平台

华扬数据自助分析系统V1.0

华扬数据自助分析系统V1.0
之前介绍过的《一站式用户自助数据接入与分析平台》,经过4人/月的开发,现V1.0版本上线,供公司内部用户使用。 V1.0版本前端基于Caravel改造,查询模型数据使用的OLAP引擎有三种:Kylin、Hive+SparkSQL以及MySQL; 其中,对于事实表数据量非常小(&l...

5个月前 (10-11) 3765℃ 19喜欢

编程语言

Python从变量读取的特殊字符切分字符串问题

Python从变量读取的特殊字符切分字符串问题
数据库中使用VARCHAR类型存储分隔符,分隔符有很多种,用户自已输入的,比如逗号、TAB(\t)、^A(\001)等等。 Python从数据库中读取分隔符,然后对对应的文本进行切分。普通字符没有问题,对于特殊字符,则需要进行处理之后才能正确切分。     ...

6个月前 (09-30) 860℃ 0喜欢

Hive

几个连接HiveServer的客户端界面工具

几个连接HiveServer的客户端界面工具
Hive的官网上介绍了三个可以在Windows中通过JDBC连接HiveServer2的图形界面工具,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。之前有文章《http://lxw1234.com/archiv...

6个月前 (09-28) 3069℃ 2喜欢

HBase

HBase原理和设计

HBase原理和设计
一篇不错的介绍HBase基本原理的文章,转载自:http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ,感谢原作者。   简介 HBase —— Hadoop Database的简称,Google BigT...

6个月前 (09-19) 2279℃ 14喜欢

大数据平台

AdMaster 如何驾驭百亿级Key实时Redis 集群

AdMaster 如何驾驭百亿级Key实时Redis 集群
注:本文转载自公众号AdMaster   作为技术驱动的营销数据公司,AdMaster每天处理超过100亿的数据请求,每天对1000亿数据进行上千种维度计算,每天增加超过5T数据量,为来自各行业的客户提供7*24小时数据应用服务。在这样领先的技术布局下,无论是数据实时...

7个月前 (09-06) 1511℃ 4喜欢

Kylin

Apache Kylin中对上亿字符串的精确Count_Distinct示例

Apache Kylin中对上亿字符串的精确Count_Distinct示例
上篇文章《在Apache Kylin中使用Count Distinct》中介绍了Apache Kylin中Count Distinct的实现,如果业务中能接受1.22%的误差,那么肯定首选近似算法,因为它能节省很多资源和时间。如果业务中必须使用精确去重,那么就看看本文的例子(针对...

7个月前 (08-26) 2863℃ 11喜欢

Kylin

在Apache Kylin中使用Count Distinct

在Apache Kylin中使用Count Distinct
在OLAP多维分析中,Count Distinct(去重计数)是一种非常常用的指标度量,比如一段时间内的UV、活跃用户数等等; 从1.5.3开始,Apache Kylin提供了两种Count Distinct计算方式,一种是近似的,一种是精确的,精确的Count Distinct...

7个月前 (08-25) 1878℃ 6喜欢

Kylin

Apache Kylin使用手册和管理手册中文版

Apache Kylin使用手册和管理手册中文版
Apache Kylin使用手册和管理手册中文版,很实用。 使用手册: 链接: http://pan.baidu.com/s/1nuLz3Bz 密码: b93d 管理手册: 链接: http://pan.baidu.com/s/1skX26L3 密码: s2s4 如果觉得本博...

7个月前 (08-23) 2401℃ 11喜欢

Hive

Java写本地ORC文件(Hive2 API)

Java写本地ORC文件(Hive2 API)
Hive2.0以后,使用了新的API来读写ORC文件(https://orc.apache.org)。 本文中的代码,在本地使用Java程序生成ORC文件,然后加载到Hive表。 代码如下: package com.lxw1234.hive.orc; import org....

8个月前 (07-25) 2280℃ 2喜欢

大数据平台

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续
关键字:互联网、大数据、数据仓库、数据平台、架构 导读: 整体架构 数据采集 离线计算 实时计算 多维分析OLAP 机器学习 Ad-Hoc查询 数据可视化 上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文,已是一年前的事了,经过一年的沉淀与公司业务的发展,...

8个月前 (07-21) 5042℃ 17喜欢

大数据平台

一站式用户自助数据接入与分析平台

一站式用户自助数据接入与分析平台
一站式用户自助数据接入与分析平台,也可以当做一个提供大数据分析服务的云平台,用户可以基于平台数据仓库中已有的事实表和维度表(有访问权限),自助建立分析模型,进行OLAP分析与可视化;也可以将自己的数据接入到平台,在已接入的数据上自助建立分析模型,进行OLAP分析与可视化。对于前者...

8个月前 (07-13) 3522℃ 7喜欢