Hadoop集群安装
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特…
Centos服务器性能瓶颈定位分析【硬件篇】
最近一直在用朋友买的ks-le [配置：4c 32G 4T 100M] 做实验，包括k8s/kafka/hadoop等一些实验，使用PVE开出三台 2c4g100g SATA3 配置，其中一台最近登录ssh都会很卡，借此机会聊聊Centos服务器性能瓶颈定位分析，分别从 系统负载/CPU/内存/硬盘/网络 方面进行分析，用到的命令 sar 。 1、小知识点：…
Kafka-3.1.0集群搭建(Kraft模式)
以前写过一篇Kafka结合zookeeper组件集群，最近Kafka发布了3.x版本，不在需要zookeeper也可以完成集群搭建，测试一下。 kafka分布式消息队列部署 zookeeper单机和集群部署 1、服务器环境 2、安装JDK，JDK会提供 jps 命令，来查看相关的Kafka进程 ps -ef |grep kafka 一样 yum instal…
MySQL升级报错解决办法
前两天看到MariaDB发布了10.8RC1就更新源把博客的MariaDB从10.7升级到10.8RC，博客正常访问，也没在意，今天发现VPS硬盘使用率大幅上升，然后就排查了一下，发现是MariaDB错误日志比较大。 1、排查思路：先用du -h统计磁盘使用率，再用 du -h --max-depth / 逐级定位文件和目录，发现是MariaDB错误日志比较…
Debian11配置静态IPV6地址与apt包管理工具使用
debian11出来也很久了，就买个一只只有IPV6得0.49欧元/月的小鸡，装了个debian11体验一下 Debian和Redhat系得包管理工具不一样，网卡设置也不一样，Debian系包管理工具为apt对应Redhat系的yum，Debian系的dpkg对应Redhat系的rpm root@debian11:~# cat /etc/network/in…
使用Dockerfile定制ATS的docker镜像
在CDN技术中比较常见的软件有ATS，varnish和squid三款，以前博客写了一篇关于varnish的博文，参考：如何建立Varnish CDN集群 ，使用Varnish从内存加速你的WordPress网站，今天用ansible的playbook功能批量部署ATS缓存（四台小鸡） 参考：https://qing.su/article/traffic-se…
kafka分布式消息队列部署
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的…
zookeeper单机和集群部署
官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制。 一、zookeeper单机部署 1、依赖环境，zook…
多线程下载工具mwget和axel安装使用
在Centos中常用的下载工具无非只有wget和curl，基于单线程要想获得更快的下载的速度充分的享受G口带宽的快感，则需要用到mwget和axel 1、mwget安装与使用： ###mwget官方地址：http://sourceforge.net/projects/kmphpfm/?source=dlp ###依赖包：yum install gcc gcc…
Clickhouse概述安装使用与性能测试
自从ClickHouse2016年6月15日开源后，ClickHouse中文社区随后成立。中文开源组开始以易观，海康威视,美团，新浪，京东,58,腾讯,酷狗音乐和俄罗斯开源社区等人员组成，随着开源社区的不断活跃，陆续有神州数码，青云，PingCAP，中软国际等公司成员加入以及其他公司成员加入。 Clickhouse官方网站：https://clickhous…
使用bind部署DNS主从分运营商解析域名
以前博文写过几篇假设DNS服务的博文，今天结合ATS和分运营商解析域名，实现建议CDN功能 利用NSD配置DNS主从解析域名及报错处理 利用powerdns自建DNS服务器 基于运营商的分布式DNS搭建 自建DNS权威服务器全过程（多域名解析） 假定： 主DNS节点的IP为1.1.1.1 从DNS节点的IP为2.2.2.2 WWW节点的IP为3.3.3.3 …
使用ansible的playbook批量部署Apache Traffic Server[4只小鸡]
在CDN技术中比较常见的软件有ATS，varnish和squid三款，以前博客写了一篇关于varnish的博文，参考：如何建立Varnish CDN集群 ，使用Varnish从内存加速你的WordPress网站，今天用ansible的playbook功能批量部署ATS缓存（四台小鸡） 参考：https://qing.su/article/traffic-se…
本站CDN由CdnTiger提供
本站DNS解析由FoundDNS提供
