flink SQL 实现mysql同步数据到starrocks 大数据

flink SQL 实现mysql同步数据到starrocks

一、业务场景 以商品累计销量实时榜单为例,存储在 MySQL 中的原始订单表,通过 Flink 处理计算出产品销量的实时排行,并实时同步至 StarRocks 的主键模型表中。最终用户可以通过可视化工具连接StarRocks查看到实时刷新的榜单。 二、mysql和starrocks表结构和数据 mysql CREATE TABLE `orders` ( `order_id` bigin...
阅读全文
UData+StarRocks在京东物流的实践 大数据

UData+StarRocks在京东物流的实践

1 背景 数据服务与数据分析场景是数据团队在数据应用上两个大的方向,行业内大家有可能会遇到下面的问题: 1.1 数据服务 烟囱式开发模式:每来一个需求开发一个数据服务,数据服务无法复用,难以平台化,技术上无法积累 服务维护难度大:当开发了大量数据服务后,后期维护是大问题,尤其是618、双11大促期间,在没有统一的监控、限流、灾备方案的情况下一个人维护上百个数据服务是一件很痛苦的事,...
阅读全文
starrocks创建mysql外部表 大数据

starrocks创建mysql外部表

一.starrocks为什么需要需要建立mysql外部表 StarRocks 支持以外部表 (External Table) 的形式,接入其他数据源。外部表指的是保存在其他数据源中的数据表,而 StartRocks 只保存表对应的元数据,并直接向外部表所在数据源发起查询。目前 StarRocks 已支持的第三方数据源包括 MySQL、StarRocks、Elasticsearch、Apache ...
阅读全文
seatunnel基于flink快速入门 大数据

seatunnel基于flink快速入门

第一步:安装seatunnel和插件 部署seatunnel 第二步:部署和配置flink 下载 https://flink.apache.org/downloads/,这里选择flink-1.17.2-bin-scala_2.12.tgz 解压 $ tar -xzf flink-*.tgz 浏览目录 cd flink-* && ls -l 启动flink ...
阅读全文
基于seatunnel-engine快速开始任务 大数据

基于seatunnel-engine快速开始任务

第一步:部署seatunnel和插件 详解《seatunnel部署》 第二步:通过job定义文件编排任务 文件目录:config/v2.batch.config.template,下面是例子 env { execution.parallelism = 1 job.mode = "BATCH" } source { FakeSource { result_table_...
阅读全文
seatunnel部署 大数据

seatunnel部署

第一步:准备环境 Java (Java 8 or 11, 推荐版本大于等于 Java 8 ) 配置 JAVA_HOME 第二步:下载seatunnel export version="2.3.3" wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.t...
阅读全文
Flink基于两阶段聚合及Roaringbitmap的实时去重方案 大数据

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

去重是大数据计算中的常见场景,本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合,以及位图(Bitmap)的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案,并在最后与其他方案进行了对比。 大数据去重的两种思路 我们知道,离线大数据计算有很多框架,如hive、spark-sql、clickhouse、impala、kylin、presto等等,各个框架在处...
阅读全文
ES多字段匹配查询时的权重控制 后端

ES多字段匹配查询时的权重控制

一、场景说明 我们在使用ES进行查询时常常遇到这样的场景:需要根据用户输入的查询关键字同时去匹配多个字段,并且希望对匹配字段的权重做不同的设置,比如同时去匹配公司名称和公司简介,这里一般需要提升公司名称匹配的权重,这样得出的相关性评分才会更准确。 在ES中,我们可以通过boost参数来控制多字段查询的权重。 二、权重参数boost 官网链接 boost是一个用来修改文档的相关性的参数...
阅读全文
通过导入实现数据变更 大数据

通过导入实现数据变更

StarRocks 的主键模型支持通过 Stream Load、Broker Load 或 Routine Load 导入作业,对 StarRocks 表进行数据变更,包括插入、更新和删除数据。不支持通过 Spark Load 导入作业或 INSERT 语句对 StarRocks 表进行数据变更。 StarRocks 还支持部分更新 (Partial Update) 和条件更新 (Condi...
阅读全文
Loading...