在并发一致性控制场景中，我们常常用for update悲观锁来进行一致性的保证，但是如果不了解它的机制，就进行使用，很容易出现事故，比如for update进行了锁表导致其他请求只能等待，从而拖垮系统，因此了解它的原理是非常必要的，下面我们通过一系列示例进行测试，来看看到底是什么场景下锁表什么场景下锁行 验证 示例说明 创建一个账户表，插入基础数据，以唯一索引、普通索引、主键、普通字段4 个维度进行select ... for update查询，查看是进行锁表还是锁行 表创建 创建一个账户表，指定account_n…
在我们基于k8s部署了微服务服务之后，为了更好排查系统异常或者监控系统运行情况，都会接入日志系统进行在线日志查询，比如常见的 有ELK、EFK、Loki。虽然这些日志系统都可以对系统进行日志收集和展现，但是只是部署一个内部单体应用或者就是懒不想部署这些，觉得引入这些日志系统有点资源浪费。那么有没有简单查看 K8S 中多个 Pod 中的日志工具？只要能想到的，别人肯定也想到了，今天就分享两款超好用的多容器实时日志查看工具 Kubetail 和 Stern。 Kubetail Kubetail 是一个Shell脚本，很…
在我们系统部署到 k8s 以后，开发测试模式也会有一定变化，下面是一些常见的问题，如果处理不好，直接影响我们的效率 本地服务如何访问k8s里面的服务进行功能测试？ 本地如何快速访问集群中资源，比如访问某个微服务的 swagger？ 如何把集群里面流量转发到本地服务，进行功能测试？ 如何临时快速部署一个服务到 k8s 里面进行功能验证？ 以上问题，我相信大多数开发者都会遇到过，而且常用的方式应该是把服务部署到 k8s中在进行测试，这种方式虽然简单，但是效率很低，因为我们的系统还在单元测试，遇到的bug会比较多，每次改…
背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支撑满足以上需求 基于上述需求和痛点，决定提供一个灵活的多维实时查询和分析平台，帮助业务线做精细化运营。 业务分析 现有业务数据有以下特点，查询多、更新少，基本不会更新1 个月以前的数据，但是查询范围较大，有时需要查询几年前的数据，而且数据会以年、月等不同维度统计来进行增长分析 因此以上场景使用 OLTP 引擎不…
今天给大家分享一个阿里开源的数据同步工具DataX，在Github拥有14.8k的star，非常受欢迎，官网地址：https://github.com/alibaba/DataX 什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本，使用Java 语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M…
Loki 是什么？ Loki是由Grafana Labs开源的一个水平可扩展、高可用性，多租户的日志聚合系统的日志聚合系统。它的设计初衷是为了解决在大规模分布式系统中，处理海量日志的问题。Loki采用了分布式的架构，并且与Prometheus、Grafana密切集成，可以快速地处理大规模的日志数据。该项目受 Prometheus 启发 Promtail是代理，负责收集日志并将其发送给 Loki 。 Loki 是主服务器，负责存储日志和处理查询。 Grafana则 用于 UI 展示。 与ELK相比优势在哪里？ ELK…
K8s 是一个开源容器编排平台，可自动执行容器化应用程序的部署、扩展和管理。近年来，K8s 已成为采用云原生架构和容器化技术的组织的标准。 但是由于K8s的复杂性，因此诞生很多工具来简化使用的门槛。大多数公司使用的两个工具是Kustomize （K8s 的配置管理器）和Helm （K8s 的包管理器） 在本文中，我们将讨论 Helm 和 Kustomize、它们可以做什么、如何使用它们以及这些工具之间有什么区别。 Kustomize Helm 操作方法 overlays templating 使用成本 简单 复杂 …
当我们使用 Mysql数据库到达一定量级以后，性能就会逐步下降，而解决此类问题，常用的手段就是引入数据库中间件进行分库分表处理，比如使用 Mycat、ShadingShpere、tddl，但是这种都是过去式了，现在使用分布式数据库可以避免分库分表 为什么不建议分库分表呢？ 分库分表以后，会面临以下问题 分页问题，例如：使用传统写法，随着页数过大性能会急剧下降 分布式事务问题 数据迁移问题，例如：需要把现有数据通过分配算法导入到所有的分库中 数据扩容问题，分库分表的数据总有一天也会到达极限，需要增大分片 开发模式变化…
今天给各位分享一个非常牛的实时分析型数据库Apache Doris，几乎国内的一二线大厂都在使用它做数据分析，如下图，这只是一小部分 同时我司也在使用它，他目前支撑了我们亿级业务数据的多维实时查询分析，而且性能很不错 Doris 介绍 官方地址：https://doris.apache.org/ Apache Doris源于百度2008年启动的产品Palo在2018年捐献给Apache基金会，是一个基于 MPP 架构的高性能、实时的分析型数据库，他非常简单易用，而且性能还不错，仅需亚秒级响应时间即可获得查询结果，不…
.jpg)