在我们基于k8s部署了微服务服务之后，为了更好排查系统异常或者监控系统运行情况，都会接入日志系统进行在线日志查询，比如常见的 有ELK、EFK、Loki。虽然这些日志系统都可以对系统进行日志收集和展现，但是只是部署一个内部单体应用或者就是懒不想部署这些，觉得引入这些日志系统有点资源浪费。那么有没有简单查看 K8S 中多个 Pod 中的日志工具？只要能想到的，别人肯定也想到了，今天就分享两款超好用的多容器实时日志查看工具 Kubetail 和 Stern。 Kubetail Kubetail 是一个Shell脚本，很…
在我们系统部署到 k8s 以后，开发测试模式也会有一定变化，下面是一些常见的问题，如果处理不好，直接影响我们的效率 本地服务如何访问k8s里面的服务进行功能测试？ 本地如何快速访问集群中资源，比如访问某个微服务的 swagger？ 如何把集群里面流量转发到本地服务，进行功能测试？ 如何临时快速部署一个服务到 k8s 里面进行功能验证？ 以上问题，我相信大多数开发者都会遇到过，而且常用的方式应该是把服务部署到 k8s中在进行测试，这种方式虽然简单，但是效率很低，因为我们的系统还在单元测试，遇到的bug会比较多，每次改…
背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支撑满足以上需求 基于上述需求和痛点，决定提供一个灵活的多维实时查询和分析平台，帮助业务线做精细化运营。 业务分析 现有业务数据有以下特点，查询多、更新少，基本不会更新1 个月以前的数据，但是查询范围较大，有时需要查询几年前的数据，而且数据会以年、月等不同维度统计来进行增长分析 因此以上场景使用 OLTP 引擎不…
今天给大家分享一个阿里开源的数据同步工具DataX，在Github拥有14.8k的star，非常受欢迎，官网地址：https://github.com/alibaba/DataX 什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本，使用Java 语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M…
.jpg)