转载

Linkis 0.9.2 版本发布

什么是Linkis ?

Linkis 是微众银行自研的一个打通了多个计算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis 0.9.2发布，主要优化了部署和启动脚本，并对hadoop和HttpClient的依赖进行了优化。

特性增强

[ Linkis-193 ] 部署增强：脚本会自动识别是单机部署还是分布式部署，单机部署和启动时，不再使用 SSH 和 SCP 。
[ Linkis-194 ] 环境检查：在安装 Linkis 之前先检查依赖的所有 Linux 命令和环境，如果检查失败，则直接退出安装部署 。
[ Linkis-195 ] 服务检测：在 start-all 脚本里面对服务是否正常启动进行检查，如果服务不正常则给出错误日志。
[ Linkis-191 ] 依赖优化：将 hadoop 相关工具类从公共 core/common 模块移到单独的 core/hadoop-common 模块，减少包冲突问题 .
[ Linkis-192 ] 依赖优化： core/common 模块不再依赖 httpclient 相关 jar 包，统一移到 core/linkis-httpclient 模块 .
[ Linkis-196 ] 统一分配Linkis各个服务的端口，从9100开始分配.
[ Linkis-197 ] Linkis支持通过配置SERVER_HEAP_SIZE环境变量，统一指定所有微服务的堆内存大小.
[ Linkis-198 ] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外，新增一种通过参数配置的方式获取。
[ Linkis-199 ] 统一微服务的启动脚本，方便后续统一修改.
[ Linkis-200 ] 将公共依赖的模块放到public-module，减少包冲突和降低安装包大小.
[ Linkis-201 ] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.
[ Linkis-208 ] 在安装脚本中新增haoop/hive/spark版本兼容性检测，如果版本不兼容，会提醒用户是否选择继续安装.
[ Linkis-221 ] 增强Linkis-RM模块，使RM可以获取更多hadoop版本的Yarn队列信息.
[ Linkis-174 ] 增强metadata模块，使metadata支持访问postgresql类型的hive元数据库.

Bug修复

[ Linkis-175 ] 将yarn的默认队列从ide修改为default.
[ Linkis-202 ] 移除Entrance错误码功能对hdfs的依赖，使精简版可以完全不依赖hadoop.
[ Linkis-205 ] SQL注释优化，在--后面加空格.
[ Linkis-210 ] 修复BML访问hdfs的权限问题.
[ Linkis-218 ] 从start和install脚本中移除yum命令，兼容更多的unix系统.
[ Linkis-226 ] 优化metadata模块，使引入的hive包，排除对Jackson包的依赖，降低包冲突风险.
[ Linkis-229 ] 排除公共依赖public-module中的Jasper包，降低包冲突风险.
[ Linkis-143 ] Linkis的配置文件增加对中文配置的支持.

贡献者

最后但是最重要的一点是，如果没有以下贡献者不可能发布此版本，在此感谢各位社区的贡献者 !
排名不分先后 ( 按字母排序 ) ：
allwefantasy : 增加了 MLSQL 引擎 .
chenxi0599 : 修复 filesystem 在日志打印错误问题 .
hj2016 : 解决当 Yarn 为 Capacity 调度获取最大资源时，由于 maxEffectiveCapacity 参数不存在导致的 bug.
houjunxiong : 增强模块 metadata 对 hive 的元数据库类型为 postgresql 的支持 .
Just-do-it-Fan : 增加 ResourceManager 模块对 Yarn 的 Capacity 调度支持 .
leisore : 修复 start 和 stop 脚本命名问题 .
liangqilang : 修复 httpclient 下载文件抛 NullPointException 的 bug 和增加流传输下载结果集功能，等多个特性 .
nimuyuhan : 修复配置文件不支持中文 bug.
patinousward : 修复多个 bug ，并在 metadata 模块中增加建表功能 .
wForget ：提供了 linkis 的 CDH5.7.6 可用的发布版本 .
zhanghaicheng1 : 增加部署安装问题文档 .