【原创】erlang 模块之 epmd-白红宇

什么是 epmd ？

在《Erlang/OTP 并发编程实战》中，对 epmd 有如下描述：

epmd 代表 Erlang 端口映射守护进程（Erlang Port Mapper Daemon）。

每启动一个节点，都会检查本地机器上是否运行着 epmd ，如果没有，节点就会自行启动 epmd 。

epmd 会追踪在本地机器上运行的每个节点，并记录分配给它们的端口。

当一台机器上的 Erlang 节点试图与某远程节点通信时，本地的 epmd 就会联络远程机器上的 epmd（默认使用 TCP/IP 端口 4369），询问在远程机器上有没有叫相应名字的节点。如果有，远程的 epmd 就会回复一个端口号，通过该端口便可直接与远程节点通信。

epmd 不会自动搜索其他 epmd ，只有在某个节点主动搜寻其他节点时通信才能建立。

在《Learn You Some Erlang for Great Good!》中有如下描述：

When you start a node, you give it a name, and it will connect to an application called Erlang Port Mapper Daemon (EPMD), which will run on each of the computers that are part of your Erlang cluster. EPMD will act as a name server that lets nodes register themselves, contact other nodes by name rather than port numbers, and warn you about any name clashes.

If you need to go through a firewall with distributed Erlang (and do not want to tunnel), you will likely want to open a few ports here and there for Erlang communication. In this case, you should open port 4369, the default port for EPMD. It’s a good idea to use this port, because it has been officially registered for EPMD by Ericsson. This means that any standards-compliant operating system you use will have that port free, ready for EPMD.

Erlang 中和 epmd 相关的文件

在 otp_src_xxx\erts\epmd\ 中，实现了 epmd 服务程序和 epmd 命令行程序。

【epmd.c】

函数 epmd_dbg 是对函数 epmd 的封装，便于在 debug 模式下使用 epmd ；

给出了如何在 linux 和 windows 上实现 daemon 函数，以及与 syslog 的配合；

【epmd.h】

定义了 epmd 所采用协议的消息编码（C语言侧定义）。

【epmd_int.h】

针对跨平台函数和变量进行定义。

【epmd_cli.c】

实现了 epmd 命令行功能所需的的 API 调用。

【epmd_srv.c】

基于 select 实现了 epmd 服务程序的事件驱动主循环；实现了针对上述 epmd 协议的解析。服务模型为一问一答式。

通过对 select 超时时间的约束（最大 5s），模拟了 busy server 的 delay_accept 和 delay_write 功能。

在 otp_src_xxx\lib\kernel\src\ 中，在 erlang 代码层面实现了与 epmd 服务程序的协议交互。

【erl_epmd.erl】

基于 gen_server 行为模式、采用 TCP socket 方式与本地或远端 epmd 进行协议通信的实现。

【erl_epmd.hrl】

定义了 epmd 所使用协议的消息编码（Erlang 语言侧定义）。

在 otp_src_xxx\lib\erl_interface\src\epmd\ 中，与 erlang 层实现对应的底层 C 实现。

【ei_epmd.h】

常量定义。

【epmd_port.c】

通过 TCP socket 连接本地或远端 epmd ，并通过协议 EPMD_PORT2_REQ 获取 the distribution port of another node 。

【epmd_publish.c】

通过协议 EPMD_ALIVE2_REQ 向隐藏 node 发布自身的 listen port 和 alive name。

【epmd_unpublish.c】

通过协议 EPMD_STOP_REQ 停止指定名字的 node。

EPMD Protocol

erts-5.9.2 中的内容

erts-7.1 中的内容

实验分析

节点注册

注册信息查询

杀掉 epmd

整个实验抓包

实验操作步骤

初始状态，没有启动 epmd 和任何 erlang 程序

[root@Betty ~]# [root@Betty ~]# ps aux|grep epmdroot      6843  0.0  0.0 103252   852 pts/2    S+   14:45   0:00 grep epmd[root@Betty ~]# [root@Betty ~]# ps aux|grep beamroot      6845  0.0  0.0 103252   848 pts/2    S+   14:45   0:00 grep beam[root@Betty ~]#

在另一个窗口启动分布式 erlang 节点 a

[root@Betty ~]# [root@Betty ~]# erl -sname aErlang/OTP 17 [erts-6.0] [source] [64-bit] [smp:4:4] [async-threads:10] [hipe] [kernel-poll:false]Eshell V6.0  (abort with ^G)(a@Betty)1>

重新查看，发现此时 epmd 已经随之启动

[root@Betty ~]# [root@Betty ~]# ps aux|grep epmdroot      6855  0.0  0.0  10828   392 ?        S    14:45   0:00 /usr/local/lib/erlang/erts-6.0/bin/epmd -daemonroot      6878  0.0  0.0 103252   848 pts/2    S+   14:45   0:00 grep epmd[root@Betty ~]# [root@Betty ~]# ps aux|grep beamroot      6849  0.6  0.4 744584 16652 pts/4    Sl+  14:45   0:00 /usr/local/lib/erlang/erts-6.0/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -sname aroot      6880  0.0  0.0 103252   848 pts/2    S+   14:46   0:00 grep beam[root@Betty ~]#

查看节点注册信息

[root@Betty ~]# [root@Betty ~]# epmd -namesepmd: up and running on port 4369 with data:name a at port 34919[root@Betty ~]#

在 erlang shell 中查看本地注册信息

(a@Betty)1> (a@Betty)1> erl_epmd:names().{ok,[{
    "a",34919}]}(a@Betty)2>

查看另一台主机 YOYO 上 epmd 的注册信息，此时会报错（因为 YOYO 主机上此时 epmd 尚未运行）

(a@Betty)2> erl_epmd:names("YOYO").{
    error,address}(a@Betty)3>

主机 YOYO 尚未运行 epmd 时的状态

[root@YOYO ~]# [root@YOYO ~]# ps aux|grep epmdroot      7620  0.0  0.0 103256   848 pts/2    S+   14:47   0:00 grep epmd[root@YOYO ~]# [root@YOYO ~]# ps aux|grep beamroot      7622  0.0  0.0 103256   848 pts/2    S+   14:47   0:00 grep beam[root@YOYO ~]#

启动分布式 erlang 节点 b

[root@YOYO ~]# [root@YOYO ~]# erl -sname b    Erlang/OTP 17 [erts-6.0] [source] [64-bit] [smp:2:2] [async-threads:10] [hipe] [kernel-poll:false]Eshell V6.0  (abort with ^G)(b@YOYO)1>

此时状态变为

[root@YOYO ~]# [root@YOYO ~]# ps aux|grep epmdroot      7629  0.0  0.0  10828   392 ?        S    14:47   0:00 /usr/local/lib/erlang/erts-6.0/bin/epmd -daemonroot      7650  0.0  0.0 103256   848 pts/2    S+   14:47   0:00 grep epmd[root@YOYO ~]# [root@YOYO ~]# ps aux|grep beamroot      7623  3.0  0.4 589900 16720 pts/1    Sl+  14:47   0:00 /usr/local/lib/erlang/erts-6.0/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -sname broot      7652  0.0  0.0 103256   844 pts/2    S+   14:47   0:00 grep beam[root@YOYO ~]# [root@YOYO ~]# epmd -namesepmd: up and running on port 4369 with data:name b at port 40969[root@YOYO ~]#

在主机 Betty 的 erlang shell 中重新查询主机 YOYO 上 epmd 的注册信息，此时可以获得 b 的注册内容

(a@Betty)3> (a@Betty)3> erl_epmd:names("YOYO").{ok,[{
    "b",40969}]}(a@Betty)4>

在主机 YOYO 上的 erlang shell 里反向查询 Betty 主机上 epmd 的注册信息

(b@YOYO)1> (b@YOYO)1> erl_epmd:names().{
    ok,[{"b",40969}]}(b@YOYO)2> erl_epmd:names("Betty").{
    ok,[{"a",34919}]}(b@YOYO)3>

终止主机 Betty 上 erlang 节点 a 的运行

(a@Betty)4> (a@Betty)4> BREAK: (a)bort (c)ontinue (p)roc info (i)nfo (l)oaded       (v)ersion (k)ill (D)b-tables (d)istribution^C[root@Betty ~]# [root@Betty ~]#

查看此时状态

[root@Betty ~]# [root@Betty ~]# ps aux|grep beamroot      6890  0.0  0.0 103252   852 pts/2    S+   14:49   0:00 grep beam[root@Betty ~]# [root@Betty ~]# ps aux|grep epmdroot      6855  0.0  0.0  10828   424 ?        S    14:45   0:00 /usr/local/lib/erlang/erts-6.0/bin/epmd -daemonroot      6893  0.0  0.0 103252   852 pts/2    S+   14:49   0:00 grep epmd[root@Betty ~]# [root@Betty ~]# epmd -namesepmd: up and running on port 4369 with data:[root@Betty ~]#

杀死 epmd

[root@Betty ~]# epmd -killKilled[root@Betty ~]# [root@Betty ~]# [root@Betty ~]# ps aux|grep epmdroot      6897  0.0  0.0 103252   852 pts/2    S+   14:49   0:00 grep epmd[root@Betty ~]#