微信搜索bigdata029 | 邀请体验：数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者：赞助作者

热门排行

大数据平台

SQL for ElasticSearch—Crate.io简介

SQL for ElasticSearch—Crate.io简介
再次调研这个东西，是为了满足下面的需求： 一张拥有50+字段的表，记录数大概5亿-10亿；需要对每个字段进行模糊搜索，并要求即时响应结果；需要做一些简单的聚合统计； 看到这个需求，肯定想到搜索，那么就是ElasticSearch了。但ES对SQL支持太弱了，因此想使用CrateD...

9个月前 (01-11) 4127℃ 7喜欢

大数据平台

2016年大数据80篇爆款文章：这一年你追过的那些技术

2016年大数据80篇爆款文章：这一年你追过的那些技术
注：本文转自微信公众号 大数据杂谈  BigdataTina2016   2016年即将过去，各位大数据的程序员们，是否觉得这一年都不断的追着新技术跑？这个大数据公众号是今年一月底创立的，一年过去，我们积累了不少好内容。回过头来我们看看这一年的脚印，这里我按照文章内容...

9个月前 (12-23) 5450℃ 20喜欢

Hadoop

Hive、MapReduce、Spark分布式生成唯一数值型ID

Hive、MapReduce、Spark分布式生成唯一数值型ID
在实际业务场景下，经常会遇到在Hive、MapReduce、Spark中需要生成唯一的数值型ID。 一般常用的做法有： MapReduce中使用1个Reduce来生成； Hive中使用row_number分析函数来生成，其实也是1个Reduce； 借助HBase或Redis或Z...

10个月前 (12-06) 4605℃ 13喜欢

大数据平台

写给大数据开发初学者的话4

写给大数据开发初学者的话4
如果你已经按照《写给大数据开发初学者的话3》中第五章和第六章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点： 为什么Spark比MapReduce快。 使用SparkSQL代替Hive，更快的运行SQL。 使用Kafka完成数据的一次收集，多次消费架构。 自己可以...

10个月前 (11-29) 5410℃ 25喜欢

大数据平台

写给大数据开发初学者的话3

写给大数据开发初学者的话3
如果你已经按照《写给大数据开发初学者的话2》中第三章和第四章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点： 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集； 你已经知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具； 你已...

10个月前 (11-23) 5241℃ 11喜欢

大数据平台

写给大数据开发初学者的话2

写给大数据开发初学者的话2
如果你已经按照《写给大数据开发初学者的话》中第一章和第二章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点： 0和Hadoop2.0的区别； MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多...

10个月前 (11-16) 7132℃ 23喜欢

大数据平台

写给大数据开发初学者的话

写给大数据开发初学者的话
导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第...

11个月前 (11-10) 16718℃ 90喜欢

Spark

学习Spark2.0中的Structured Streaming（一）

学习Spark2.0中的Structured Streaming（一）
Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方式（DataFrame&SQL）。Structured Streaming顾名思义，它将数据源和...

11个月前 (10-21) 4259℃ 10喜欢

Flume

Apache Flume 1.7发布

Apache Flume 1.7发布
时隔一年多，Flume终于发布了1.7版本，该版本中新增了 Taildir Source （Flume中的TaildirSource），另外，对与Kafka的集成上做了很多的改进和优化。 Release Notes – Flume – Version v1...

11个月前 (10-19) 2767℃ 4喜欢

大数据平台

华扬数据自助分析系统V1.0

华扬数据自助分析系统V1.0
之前介绍过的《一站式用户自助数据接入与分析平台》，经过4人/月的开发，现V1.0版本上线，供公司内部用户使用。 V1.0版本前端基于Caravel改造，查询模型数据使用的OLAP引擎有三种：Kylin、Hive+SparkSQL以及MySQL； 其中，对于事实表数据量非常小（&l...

12个月前 (10-11) 5866℃ 21喜欢

编程语言

Python从变量读取的特殊字符切分字符串问题

Python从变量读取的特殊字符切分字符串问题
数据库中使用VARCHAR类型存储分隔符，分隔符有很多种，用户自已输入的，比如逗号、TAB(\t)、^A(\001)等等。 Python从数据库中读取分隔符，然后对对应的文本进行切分。普通字符没有问题，对于特殊字符，则需要进行处理之后才能正确切分。     ...

12个月前 (09-30) 1680℃ 0喜欢