Mac单机安装Apache Pulsar

发表于 | 分类于 ， ，

本文记录一下 Mac 本机安装 Pulsar 的过程。单机安装 Pulsar， ZooKeeper 和 BookKeeper 会和 Pulsar 运行在同一个 JVM 进程中。

环境

Mac：10.15.7
JDK：1.8.0_151
Pulsar：2.7.2

本机单机安装 Pulsar

下载并解压

从官网下载解压到某个目录下：

  • bin：pulsar 的命令行
  • conf：pulsar 的配置文件，包括 broker、 ZooKeeper 的配置文件等
  • examples：pulsar functions 示例 jar 包
  • lib：pulsar 的依赖包目录
  • license：license 文件

并在 /etc/profile 设置环境变量：

1
2
export PULSAR_HOME=/usr/local/pulsar
export PATH=$PATH:$PULSAR_HOME/bin

使环境变量生效：

1
source /etc/profile

修改 Pulsar 配置

修改 pulsar_env.sh 文件

默认的 JVM 内存为 2G，可以通过更改配置项：PULSAR_MEM 

1
2
# Extra options to be passed to the jvm
PULSAR_MEM=${PULSAR_MEM:-"-Xms2g -Xmx2g -XX:MaxDirectMemorySize=4g"}

安装内置 Connectors

1
2
3
4
5
cd $PULSAR_HOME

mkdir connectors

mv pulsar-io-aerospike-2.7.2.nar $PULSAR_HOME/connectors

安装 tiered storage offloaders

1
2
3
4
5
6
7
cd $PULSAR_HOME

mkdir offloaders

tar xvfz apache-pulsar-offloaders-2.7.2-bin.tar.gz

mv apache-pulsar-offloaders-2.7.2/offloaders $PULSAR_HOME/offloaders

启动 pulsar 服务

前台 standalone 启动 pulsar：

1
$PULSAR_HOME/bin/pulsar standalone

后台 standalone 启动 pulsar：

1
$PULSAR_HOME/bin/pulsar-daemon start standalone

运行 pulsar 之后会在 pulsar 安装目录下生成以下 3 个目录：

  • data： ZooKeeper 和 BookKeeper 的数据存储目录
  • instances： pulsar functions 生成的实例
  • logs： 安装启动日志文件目录

使用 pulsar 客户端

消费数据

  • 消费 pulsar 数据命令行，topic 名称为 my-topic，订阅名称为 first-subscription：
1
2
3
$PULSAR_HOME/bin/pulsar-client consume my-topic -s "first-subscription"

18:43:27.492 [pulsar-client-io-1-1] INFO  org.apache.pulsar.client.impl.ConsumerImpl - [my-topic][first-subscription] Subscribing to topic on cnx [id: 0xb385e78b, L:/127.0.0.1:58963 - R:localhost/127.0.0.1:6650], consumerId 0

生产数据

  • 向 my-topic 中生产一条数据为 “hello-pulsar”：
1
2
3
$PULSAR_HOME/bin/pulsar-client produce my-topic --messages "hello-pulsar"

18:43:53.354 [main] INFO  org.apache.pulsar.client.cli.PulsarClientTool - 1 messages successfully produced

此时，pulsar consume 命令窗口会消费到数据：

1
2
----- got message -----
key:[null], properties:[], content:hello-pulsar

关闭 pulsar 服务

前台 standalone 启动的 pulsar：

1
Ctrl + C

后台 standalone 启动的 pulsar：

1
$PULSAR_HOME/bin/pulsar-daemon stop standalone

参考资料

Pulsar 官网
Pulsar-安装部署 简书
Pulsar 安装包下载地址
Pulsar-2.7.2 Connectors 安装包下载地址
Pulsar-2.7.2 tiered storage offloaders 安装包下载地址