微信搜索bigdata029 | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 订阅本站 | 赞助作者:赞助作者

 分类:编程语言

Linux下Python通过pyodbc连接SQLServer

Linux下Python通过pyodbc连接SQLServer
Linux下Python通过pyodbc连接SQLServer, Mark一下。 安装unixODBC yum install unixODBC* 安装freetds yum install freetds* 检查安装列表 [root@getway ~]# rpm -qa | g...

2个月前 (11-17) 438℃ 0喜欢

java 中 16 进制 HEX 中文解码

java 中 16 进制 HEX 中文解码
Mark一下。 对于“\xE4\xBD\xBF\xE5\xBE\x92\xE8\xA1\x8C\xE8\x80\x85”这种编码格式的中文,shell中直接使用echo -e “\xE4\xBD\xBF\xE5\xBE\x92\xE8\xA1\x8C\xE8\x80\...

3个月前 (10-28) 509℃ 0喜欢

Python从变量读取的特殊字符切分字符串问题

Python从变量读取的特殊字符切分字符串问题
数据库中使用VARCHAR类型存储分隔符,分隔符有很多种,用户自已输入的,比如逗号、TAB(\t)、^A(\001)等等。 Python从数据库中读取分隔符,然后对对应的文本进行切分。普通字符没有问题,对于特殊字符,则需要进行处理之后才能正确切分。     ...

4个月前 (09-30) 677℃ 0喜欢

Java写本地ORC文件(Hive2 API)

Java写本地ORC文件(Hive2 API)
Hive2.0以后,使用了新的API来读写ORC文件(https://orc.apache.org)。 本文中的代码,在本地使用Java程序生成ORC文件,然后加载到Hive表。 代码如下: package com.lxw1234.hive.orc; import org....

6个月前 (07-25) 1825℃ 1喜欢

常用的正则表达式

常用的正则表达式
1 . 校验密码强度 密码的强度必须是包含大小写字母和数字的组合,不能使用特殊字符,长度在8-10之间。 ^(?=.*\\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$ 2. 校验中文 字符串仅能是中文。 ^[\\u4e00-\\u9fa5]{0,}$ ...

9个月前 (04-26) 1072℃ 2喜欢

Linux Shell中使用awk完成两个文件的关联Join

Linux Shell中使用awk完成两个文件的关联Join
关键字:shell、awk、join Shell中的awk命令是非常强大的,有很多书籍专门介绍awk的。本文介绍的只是其中很小的一个点,使用awk命令完成两个文件的关联join。 先看看awk中的两个自身变量,NR和FNR。 awk可以指定同时读取多个文件,按照指定的先后顺序,逐...

11个月前 (03-11) 2168℃ 8喜欢

Scala基于Akka的Remote Actor实现的简单RPC

Scala基于Akka的Remote Actor实现的简单RPC
关键字:spark、scala、rpc、akka、remote actor Spark中的RPC是使用Akka实现的,Akka的设计目标就是为分布式,Actor之间的交互都是通过消息,并且所有动作都是异步的。 在Spark应用程序中会有需要实现RPC的功能,比如:从一个一直运行的...

11个月前 (03-03) 3769℃ 5喜欢

大数据去重统计之BloomFilter

大数据去重统计之BloomFilter
关键字:海量数据去重、BloomFilter 今天尝试了使用Bloom filter对大量数据的去重计数,记录一下。 Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%...

1年前 (2015-12-09) 4268℃ 3喜欢

使用Log4j将程序日志实时写入Kafka

使用Log4j将程序日志实时写入Kafka
关键字:log4j、Kafka、KafkaLog4jAppender 很多应用程序使用Log4j记录日志,如何使用Kafka实时的收集与存储这些Log4j产生的日志呢?一种方案是使用其他组件(比如Flume,或者自己开发程序)实时监控这些日志文件,然后发送至Kafka。而另外一种...

1年前 (2015-11-30) 6120℃ 6喜欢

Java API 读取Hive Orc文件

Java API 读取Hive Orc文件
关键字:Hive Orc、Java API 读取Hive OrcFile Orc是Hive特有的一种列式存储的文件格式,它有着非常高的压缩比和读取效率,因此很快取代了之前的RCFile,成为Hive中非常常用的一种文件格式。 在实际业务场景中,可能需要使用Java API,或者M...

1年前 (2015-08-18) 3786℃ 5喜欢

Java中ArrayList和HashMap的排序

Java中ArrayList和HashMap的排序
关键字:ArrayList排序、HashMap排序、集合排序、升序、降序、key排序、value排序 最近在需求中经常需要对Java的集合,特别是Map根据key或者value进行升序降序排序,在这里整理记录一下,对java不熟,用于以后备查。 主要使用Collections提供...

1年前 (2015-08-18) 5428℃ 2喜欢

中文分词工具-IKAnalyzer下载及使用

中文分词工具-IKAnalyzer下载及使用
关键字:中文分词、IKAnalyzer 最近有个需求,需要对爬到的网页内容进行分词,以前没做过这个,随便找了找中文分词工具,貌似IKAnalyzer评价不错,因此就下来试试,在这里记录一下使用方法,备查。 关于IKAnalyzer的介绍,网上很多,搜一下就知道了。下载地址见文章最...

2年前 (2015-07-22) 7122℃ 10喜欢

Java实现的双向Map,支持重复Value

Java实现的双向Map,支持重复Value
关键字:Java双向Map、DualHashBidiMap 项目中有个需求,需要根据即时修改Map结构中的Value值,比如,将Map中所有value=V1的记录改成value=V2,key保持不变。 数据量比较大,遍历Map性能太差,这就需要根据Value先找到Key,然后去修...

2年前 (2015-07-14) 1688℃ 0喜欢