Linkis 0.9.2 版本发布

什么是Linkis ?

Linkis
是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。

特性增强



  • [
    Linkis-193

    部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用
    SSH

    SCP



  • [
    Linkis-194

    环境检查:在安装
    Linkis
    之前先检查依赖的所有
    Linux
    命令和环境,如果检查失败,则直接退出安装部署



  • [
    Linkis-195

    服务检测:在
    start-all
    脚本里面对服务是否正常启动进行检查,如果服务不正常则给出错误日志



  • [
    Linkis-191

    依赖优化:将
    hadoop
    相关工具类从公共
    core/common
    模块移到单独的
    core/hadoop-common
    模块,减少包冲突问题
    .



  • [
    Linkis-192

    依赖优化:
    core/common
    模块不再依赖
    httpclient
    相关
    jar
    包,统一移到
    core/linkis-httpclient
    模块
    .



  • [
    Linkis-196

    ] 统一分配Linkis各个服务的端口,从9100开始分配.



  • [
    Linkis-197

    ] Linkis支持通过配置SERVER_HEAP_SIZE环境变量,统一指定所有微服务的堆内存大小.



  • [
    Linkis-198

    ] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外,新增一种通过参数配置的方式获取。



  • [
    Linkis-199

    ] 统一微服务的启动脚本,方便后续统一修改.



  • [
    Linkis-200

    ] 将公共依赖的模块放到public-module,减少包冲突和降低安装包大小.



  • [
    Linkis-201

    ] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.



  • [
    Linkis-208

     ] 在安装脚本中新增haoop/hive/spark版本兼容性检测,如果版本不兼容,会提醒用户是否选择继续安装.



  • [
    Linkis-221

     ] 增强Linkis-RM模块,使RM可以获取更多hadoop版本的Yarn队列信息.



  • [
    Linkis-174

     ] 增强metadata模块,使metadata支持访问postgresql类型的hive元数据库.

Bug修复



  • [
    Linkis-175

    ] 将yarn的默认队列从ide修改为default.



  • [
    Linkis-202

    ] 移除Entrance错误码功能对hdfs的依赖,使精简版可以完全不依赖hadoop.



  • [
    Linkis-205

    ] SQL注释优化,在–后面加空格.



  • [
    Linkis-210

    ] 修复BML访问hdfs的权限问题.



  • [
    Linkis-218

    ] 从start和install脚本中移除yum命令,兼容更多的unix系统.



  • [
    Linkis-226

    ] 优化metadata模块,使引入的hive包,排除对Jackson包的依赖,降低包冲突风险.



  • [
    Linkis-229

    ] 排除公共依赖public-module中的Jasper包,降低包冲突风险.



  • [
    Linkis-143

    ] Linkis的配置文件增加对中文配置的支持.

贡献者


最后但是最重要的一点是,如果没有以下贡献者不可能发布此版本,在此感谢各位社区的贡献者


!




排名不分先后


(


按字母排序


)






allwefantasy


:


增加了


MLSQL


引擎


.



chenxi0599


:


修复


filesystem


在日志打印错误问题


.



hj2016


:


解决当


Yarn





Capacity


调度获取最大资源时,由于


maxEffectiveCapacity


参数不存在导致的


bug.



houjunxiong


:


增强模块


metadata





hive


的元数据库类型为


postgresql


的支持


.



Just-do-it-Fan


:


增加


ResourceManager


模块对


Yarn





Capacity


调度支持


.



leisore


:


修复


start





stop


脚本命名问题


.



liangqilang


:


修复


httpclient


下载文件抛


NullPointException





bug


和增加流传输下载结果集功能,等多个特性


.



nimuyuhan


:


修复配置文件不支持中文


bug.



patinousward


:


修复多个


bug


,并在


metadata


模块中增加建表功能


.



wForget


:提供了


linkis





CDH5.7.6


可用的发布版本


.



zhanghaicheng1


:


增加部署安装问题文档


.

原文 

https://www.oschina.net/news/112439/linkis-0-9-2-released

本站部分文章源于互联网,本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供。如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。

PS:推荐一个微信公众号: askHarries 或者qq群:474807195,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多

转载请注明原文出处:Harries Blog™ » Linkis 0.9.2 版本发布

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址