微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

Apache Kylin v1.5.2 发布日志

Kylin lxw1234@qq.com 8300℃ 0评论

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。

下载Apache Kylin v1.5.2源代码及二进制安装包,
请访问下载页面(http://kylin.apache.org/download/).

这是一个主要的版本发布带来了更稳定,健壮及更好管理的版本,Apache Kylin社区解决了75个issue,包括Bug修复,功能增强及一些新特性等。

主要变化

新功能

改进

  • 增强邮件通知 KYLIN-869
  • HiveColumnCardinalityJob应该使用conf/kylin_job_conf.xml中的配置 KYLIN-955
  • 在非PK/FK上支持继承的维度 KYLIN-1313
  • 增强转换数据到HFile阶段的性能 KYLIN-1323
  • 抽取cube/hybrid/project相关元数据信息以便于诊断/调试/分享等用途 KYLIN-1340
  • 把RealizationCapacity从3套配置改成特定数字 KYLIN-1381
  • 更快更好的响应以应对v2存储引擎中的rpc超时异常 KYLIN-1391
  • 内存需求较大的Cube应该更智能地选择LAYER还是INMEM构建算法 KYLIN-1418
  • 在GUI上,给分区时间列添加一个”yyyy-MM-dd HH:MM:ss”选项 KYLIN-1432
  • 基于特定列进行Cuboid分片 KYLIN-1453
  • 添加超链接介绍新的Aggregation Group KYLIN-1487
  • 把查询缓存调整到查询控制器级别 KYLIN-1526
  • Hfile所有者不是hbase KYLIN-1542
  • 使hbase编码和block size像hbase压缩一样可配置 KYLIN-1544
  • 重构v2存储引擎使之对扩展更加友好 KYLIN-1561
  • 为in-memory构建任务添加并使用一个单独kylin_job_conf.xml KYLIN-1566
  • KYLIN-1557前端工作 KYLIN-1567
  • 协助利器线程在超时后自动停止 KYLIN-1578
  • IT测试如BuildCubeWithEngine等的准备阶段应该在出现异常后报错退出 KYLIN-1579
  • 在Fact distinct的MR任务中用1个字节代替8字节作为列标识符 KYLIN-1580
  • 在Cubedesc上指定Region切分size并使model中的RealizationCapacity仅仅作为提示 KYLIN-1584
  • 使MAX_HBASE_FUZZY_KEYS在GTScanRangePlanner中变得可配置KYLIN-1585
  • 在CubeDesigner显示Cube级别的配置覆盖 KYLIN-1587
  • 对于小的列族可以使用不同的block size KYLIN-1591
  • 在Rowkey面板添加”isShardBy”标志 KYLIN-1599
  • 在hbase行很大的时候不需要缩小扫描缓存 KYLIN-1601
  • 用户应该可以到处hbase使用情况协助诊断 KYLIN-1602
  • 为诊断工具添加更多信息 KYLIN-1614
  • 在协处理器中使用1级deflate压缩 KYLIN-1621
  • 使数据采样时hll精度可配置 KYLIN-1623
  • 当有十亿数据规模时HyperLogLogPlusCounter会变得不精确 KYLIN-1624
  • GC日志在重启后覆盖老文件 KYLIN-1625
  • 添加调试接口以导出二进制cube存储情况以助于未来分析 KYLIN-1627

Bug

  • 时间戳字段的列宽太小 KYLIN-989
  • cube数据在purge后没有更新 KYLIN-1197
  • 不能在配置中获取超过一个的系统管理员邮箱 KYLIN-1305
  • 应该检查并确保topn度量必须指定两个参数 KYLIN-1551
  • HybridInstance#init()中进行非安全性的初始化 KYLIN-1563
  • 在GUI中添加一个自定义聚合时选择一个列 KYLIN-1569
  • QueryService#getMetadata()存在没有关闭的ResultSet KYLIN-1574
  • 在Job engine中执行MR任务时报出NPE KYLIN-1581
  • 当编辑Cube时聚合组信息会变空 KYLIN-1593
  • 度量列可以出现在filter/groupby中 KYLIN-1595
  • 字符串编码不一致导致UT失败 KYLIN-1596
  • 在windows开发机不能完整执行单元测试 KYLIN-1598
  • 部署协处理器时会出现hdfs并发写问题 KYLIN-1604
  • Cube已经就绪但是insight中的表没有记录 KYLIN-1612
  • 单元测试’HiveCmdBuilderTest’在’testBeeline’失败 KYLIN-1615
  • 因topn度量引起的找不到realization KYLIN-1619
  • sql无法执行并报出topn错误 KYLIN-1622
  • TopN界面,”group by”列不能使用一个维度列 KYLIN-1631
  • SSHClient#scpFileToLocal()有未关闭的OutputStream KYLIN-1634
  • 样例Cube构建出错 KYLIN-1637
  • ToolUtil#getHBaseMetaStoreId()中有未关闭的HBaseAdmin KYLIN-1638
  • MapReduceExecutable.java中使用了错误的日志记录 KYLIN-1639
  • Kylin的hll计数器把null当做一个有效值 KYLIN-1643
  • Purge一个cube并再次构建,起始日期没有被更新 KYLIN-1647
  • java.io.IOException: Filesystem closed – 在Cube构建第二步(MapR) KYLIN-1650
  • 函数名’getKylinPropertiesAsInputSteam’拼写错误 KYLIN-1655
  • Streaming/kafka配置和表名不匹配 KYLIN-1660
  • 表名在和/tables/tableName做请求映射时被截断 KYLIN-1662
  • 在添加steam表时应该检查project选择 KYLIN-1666
  • Streaming表名应该遵从”DB.TABLE”格式 KYLIN-1667
  • 确保1.5.2和1.5.1的元数据兼容 KYLIN-1673
  • 元数据清理工具只清理了FINISHED和DISCARD的任务,但是一个任务的正确状态是SUCCEED KYLIN-1678
  • 当使用Statement时sql中包含问号会报错 KYLIN-1685
  • 结果显示表格中有非法字符 KYLIN-1688
  • KylinConfigExt在存储到文件时丢失基本信息 KYLIN-1721
  • IntegerDimEnc在协处理器中有序列化异常 KYLIN-1722

升级

该版本的数据与元数据与v1.5.1完全兼容,但也许需要更新HBase协处理器.

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » Apache Kylin v1.5.2 发布日志

喜欢 (0)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址