HBase配置 通过查阅相关资料，基于已建立的hadoop集群，完成个人服务器的hbase搭建，具体配置如下：  <property>    <name>hbase.rootdir</name>    <value>hdfs://master:9000/hbase</value> </property> <property>   <name>hbas…

本文主要针对的是单节点单Broker的部署 准备工作：安装zookeeper 1. kafka在使用时依赖于zookeeper，所以需要先按照好，如果有了可以直接进行下一步。 2. 通过链接下载zookeeper，并把压缩包传上服务器 3. 解压zookeeper tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz 4. 然后添加环境变量： # Zookeepe…

由于项目需求，要通过Flume读取数据源的log，并将日志数据写入Kafka，因此简单做了对接的记录。 配置阶段 kafka配置好，监听接口9092 flume配置如下： agent.sources = r1agent.sinks = k1agent.channels = c1​​# netcat 监听端口agent.sources.r1.type = netcatagent.sources.r1…

Byobu是一个易于使用的tmux（或screen）终端多路复用器包装器。通常用byobu来在linux上实现窗口管理，使得在单个终端中能使用多个命令。 安装方法 # ubuntu的安装方法 sudo apt-get install byobu # CentOS的安装方法 yum -y install epel-release yum -y install byobu 配置命令 只在安装后用，一般…

由于最近的项目需要，要实现端口的映射，通过公网IP访问服务器的内网提供的服务，因此写下该文章记录整个过程。在这个过程中，我尝试了如何配置iptables，结果发现服务器用的是ufw实现linux服务器的防火墙，又转而去配置ufw的转发。也因此文章中两种方法都会记录，但是一定记得在实现端口映射的时候，一定要注意自己的服务器用的是哪种方式！！！ 允许服务器进行转发 首先是基础配置，这里两种方法使用的操…

近期由于项目需要，得在Maven项目中引入GitHub上的工具包，但是该包如果直接在Maven中添加，会出现401报错，说是没有认证权限。 了解到需要在GitHub上创建个人的访问远程仓库的Token，然后利用Token完成认证，官方步骤可以参考： Working with the Apache Maven registry - GitHub Docs 下面简单说一下具体的步骤： 创建个人Toke…

近期由于一些科研任务的需要，以及希望强化一下计算机网络的基础知识（其他知识也打算后续慢慢补上），决定开个新坑，跟着 Beej's Guide to Network Programming 这本书来做一些简单的网络编程。网络编程主要是以C为主，因此需要在Linux上编译代码，有一个很方便的方法就是直接用VSCode连接虚拟机，通过VSCode实现在虚拟机上的编程，因此便有了该配置环境的记录。 下面记…

今天突然发现博客之前所有页面的url都是带有中文且带有时间的，感觉不太好，于是就去修改了固定链接，结果一改固定链接就疯狂报错。上网去找什么301重定向插件，结果完全不好使，报什么“无法访问到网站的API”之类的问题，于是只好另辟蹊径，看看能不能直接通过改网站配置修复这个问题。 结果找到了比较不错的方法，直接将修改伪静态。由于我使用的是宝塔，所以比较方便，不使用宝塔的话可以直接去服务器上的网站根目录…

之前在新建基于Springboot+MyBatis-Plus+MySQL框架的项目时，都是照着网上的博文一步一步搭建的博客，但是总感觉搭建时会出现各种各样的问题，于是决定自己记录一下完整的搭建过程，方便以后新建项目时进行参考。 具体需要的工具如下： 一个配置好的MySQL数据库 IDEA（申请的学生的免费版） 第一步：新建项目 如下图所示，选择Spring Initializr以创建基于Sprin…

常规操作 # 查看所有容器 docker ps -a # 进入容器 docker attach 容器ID #不建议，用这种方式退出容器会直接关闭 docker exec -it 容器ID /bin/bash 将一个容器的端口映射到服务器 # 先停止容器 docker stop container-name # 将容器commit为一个镜像 docker commit container-name …