Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File…
最近一直在用朋友买的ks-le [配置:4c 32G 4T 100M] 做实验,包括k8s/kafka/hadoop等一些实验,使用PVE开出三台 2c4g100g SATA3 配置,其中一台最近登录ssh都会很卡,借此机会聊聊Centos服务器性能瓶颈定位分析,分别从 系统负载/CPU/内存/硬盘/网络 方面进行分析…
以前写过一篇Kafka结合zookeeper组件集群,最近Kafka发布了3.x版本,不在需要zookeeper也可以完成集群搭建,测试一下。 kafka分布式消息队列部署 zookeeper单机和集群部署 1、服务器环境 2、安装JDK,JDK会提供 jps 命令,来查看相关的Kafka进程 ps -ef |grep…
前两天看到MariaDB发布了10.8RC1就更新源把博客的MariaDB从10.7升级到10.8RC,博客正常访问,也没在意,今天发现VPS硬盘使用率大幅上升,然后就排查了一下,发现是MariaDB错误日志比较大。 1、排查思路:先用du -h统计磁盘使用率,再用 du -h --max-depth / 逐级定位文件…
debian11出来也很久了,就买个一只只有IPV6得0.49欧元/月的小鸡,装了个debian11体验一下 Debian和Redhat系得包管理工具不一样,网卡设置也不一样,Debian系包管理工具为apt对应Redhat系的yum,Debian系的dpkg对应Redhat系的rpm root@debian11:~#…
在CDN技术中比较常见的软件有ATS,varnish和squid三款,以前博客写了一篇关于varnish的博文,参考:如何建立Varnish CDN集群 ,使用Varnish从内存加速你的WordPress网站,今天用ansible的playbook功能批量部署ATS缓存(四台小鸡) 参考:https://qing.s…
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日…
官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 上面的解释有点抽象,简单来说zookeeper=文件系统+监听通知机制。 一、zooke…
在Centos中常用的下载工具无非只有wget和curl,基于单线程要想获得更快的下载的速度充分的享受G口带宽的快感,则需要用到mwget和axel 1、mwget安装与使用: ###mwget官方地址:http://sourceforge.net/projects/kmphpfm/?source=dlp ###依赖包…
自从ClickHouse2016年6月15日开源后,ClickHouse中文社区随后成立。中文开源组开始以易观,海康威视,美团,新浪,京东,58,腾讯,酷狗音乐和俄罗斯开源社区等人员组成,随着开源社区的不断活跃,陆续有神州数码,青云,PingCAP,中软国际等公司成员加入以及其他公司成员加入。 Clickhouse官方…
以前博文写过几篇假设DNS服务的博文,今天结合ATS和分运营商解析域名,实现建议CDN功能 利用NSD配置DNS主从解析域名及报错处理 利用powerdns自建DNS服务器 基于运营商的分布式DNS搭建 自建DNS权威服务器全过程(多域名解析) 假定: 主DNS节点的IP为1.1.1.1 从DNS节点的IP为2.2.2…
在CDN技术中比较常见的软件有ATS,varnish和squid三款,以前博客写了一篇关于varnish的博文,参考:如何建立Varnish CDN集群 ,使用Varnish从内存加速你的WordPress网站,今天用ansible的playbook功能批量部署ATS缓存(四台小鸡) 参考:https://qing.s…