参考资料： 《ClickHouse原理解析与应用实战》 原始链接： https://ld246.com/article/1517214401442 一、介绍 Buffer，指把数据先写入内存 Buffer 表，再周期性的刷入磁盘表中。读取数据时，会同时从 Buffer 表和磁盘表读取。 Buffer表引擎完全使用内存装载数据，不支持文件的持久化存储，所以当服务重启之后，表内的数据会被清空。Buffer表引擎不是为了面向查询场景而设计的，它的作用是充当缓冲区的角色。假设有这样一种场景，我们需要将数据写入目标Merge…
刚用，拿来存储物联网数据，一个坑一个坑踩。 一、分区方面 1.1 分区数量过多问题 分区策略：终端ID+年月日 数据测试阶段，很快超过十万个分区后，数据无法插入： 解决方法：分区策略：终端ID+年月 1.2 同分区多个分区目录问题 以为max_parts_in_total 已经解决了，但是很快又报错max_parts_in_total错误。 排查后发现，分区出现列表，导致分区数量激增，最多一个分区裂变为28个分区目录，占用了分区数量。具体看下图（1,201911）产生了多个分区目录。 阅读《ClickHouse原理…
一、介绍 参考《ClickHouse原理解析与应用实战》图书，作者：朱凯。 二、使用入门 2.1目录结构 核心目录 （1）/etc/clickhouse-server：服务端的配置文件目录，包括全局配置config.xml和用户配置users.xml等。（2）/var/lib/clickhouse：默认的数据存储目录（通常会修改默认路径配置，将数据保存到大容量磁盘挂载的路径）。（3）/var/log/clickhouse-server：默认保存日志的目录（通常会修改路径配置，将日志保存到大容量磁盘挂载的路径）。 配…
以前用迅雷5，但很多CDN链接都下载不了。突然发现Internet Download Manager很好用，Edge、Chrome均可集成，并且自动识别内部链接，实现下载。故记录
特殊场景特殊应用，计划将kettle数据流分发写入至redis中，遂自定义插件。 版本 JDK: 1.8 Kettle：9.2 IDEA: 2021.1 DevOs: Windows11 x64 一、环境搭建 Kettle下载： 地址：https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/plugins/ 经过测试可直接打包且运行的demo: https://github.com/DanielYWoo/pentaho-di-redis-plugin/ …
以前常用frp做临时穿透，但现在frp常被查杀，所以现在偶尔用linux服务器+xshell或finalshell做临时穿透。 例如这个场景：需要临时在成都调用北京的API，北京和成都同时连接某个linux，采用隧道方式，即可实现临时调试。 下图xshell做北京临时被穿透端： 下图finalshell做成都穿透端： 隧道名词解释： 本地类型：通过xshell本地端口调用远程某端口； 远程类型：将xshell本地端口映射成远程linux内部端口。
