微信搜索bigdata029 | 邀请体验：数阅–数据管理、OLAP分析与可视化平台 | 联系作者：lxw1234@qq.com | 赞助作者：赞助作者

热门排行

大数据平台

写给大数据开发初学者的话3

写给大数据开发初学者的话3
如果你已经按照《写给大数据开发初学者的话2》中第三章和第四章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点： 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集； 你已经知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具； 你已...

2年前 (2016-11-23) 7267℃ 12喜欢

大数据平台

写给大数据开发初学者的话2

写给大数据开发初学者的话2
如果你已经按照《写给大数据开发初学者的话》中第一章和第二章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点： 0和Hadoop2.0的区别； MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多...

2年前 (2016-11-16) 10126℃ 33喜欢

大数据平台

写给大数据开发初学者的话

写给大数据开发初学者的话
导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第...

2年前 (2016-11-10) 27612℃ 132喜欢

Spark

学习Spark2.0中的Structured Streaming（一）

学习Spark2.0中的Structured Streaming（一）
Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方式（DataFrame&SQL）。Structured Streaming顾名思义，它将数据源和...

2年前 (2016-10-21) 7687℃ 17喜欢

Flume

Apache Flume 1.7发布

Apache Flume 1.7发布
时隔一年多，Flume终于发布了1.7版本，该版本中新增了 Taildir Source （Flume中的TaildirSource），另外，对与Kafka的集成上做了很多的改进和优化。 Release Notes – Flume – Version v1...

2年前 (2016-10-19) 4145℃ 7喜欢

大数据平台

华扬数据自助分析系统V1.0

华扬数据自助分析系统V1.0
之前介绍过的《一站式用户自助数据接入与分析平台》，经过4人/月的开发，现V1.0版本上线，供公司内部用户使用。 V1.0版本前端基于Caravel改造，查询模型数据使用的OLAP引擎有三种：Kylin、Hive+SparkSQL以及MySQL； 其中，对于事实表数据量非常小（&l...

2年前 (2016-10-11) 8596℃ 22喜欢

编程语言

Python从变量读取的特殊字符切分字符串问题

Python从变量读取的特殊字符切分字符串问题
数据库中使用VARCHAR类型存储分隔符，分隔符有很多种，用户自已输入的，比如逗号、TAB(\t)、^A(\001)等等。 Python从数据库中读取分隔符，然后对对应的文本进行切分。普通字符没有问题，对于特殊字符，则需要进行处理之后才能正确切分。     ...

2年前 (2016-09-30) 3717℃ 1喜欢

Hive

几个连接HiveServer的客户端界面工具

几个连接HiveServer的客户端界面工具
Hive的官网上介绍了三个可以在Windows中通过JDBC连接HiveServer2的图形界面工具，包括：SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。之前有文章《http://lxw1234.com/archiv...

2年前 (2016-09-28) 27133℃ 12喜欢

HBase

HBase原理和设计

HBase原理和设计
一篇不错的介绍HBase基本原理的文章，转载自：http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ，感谢原作者。   简介 HBase —— Hadoop Database的简称，Google BigT...

2年前 (2016-09-19) 6198℃ 30喜欢

大数据平台

AdMaster 如何驾驭百亿级Key实时Redis 集群

AdMaster 如何驾驭百亿级Key实时Redis 集群
注：本文转载自公众号AdMaster   作为技术驱动的营销数据公司，AdMaster每天处理超过100亿的数据请求，每天对1000亿数据进行上千种维度计算，每天增加超过5T数据量，为来自各行业的客户提供7*24小时数据应用服务。在这样领先的技术布局下，无论是数据实时...

2年前 (2016-09-06) 3130℃ 5喜欢

Kylin

Apache Kylin中对上亿字符串的精确Count_Distinct示例

Apache Kylin中对上亿字符串的精确Count_Distinct示例
上篇文章《在Apache Kylin中使用Count Distinct》中介绍了Apache Kylin中Count Distinct的实现，如果业务中能接受1.22%的误差，那么肯定首选近似算法，因为它能节省很多资源和时间。如果业务中必须使用精确去重，那么就看看本文的例子（针对...

2年前 (2016-08-26) 7039℃ 17喜欢

Kylin

在Apache Kylin中使用Count Distinct

在Apache Kylin中使用Count Distinct
在OLAP多维分析中，Count Distinct（去重计数）是一种非常常用的指标度量，比如一段时间内的UV、活跃用户数等等; 从1.5.3开始，Apache Kylin提供了两种Count Distinct计算方式，一种是近似的，一种是精确的，精确的Count Distinct...

2年前 (2016-08-25) 5679℃ 9喜欢