docker--网络第二次课--my version

目录

• 创建一个点到点连接
• 自定义域名解析系统和主机名
• docker中的容器互联--linking系统
  • 容器互联
• 不同容器之间的通信
• pipework可以在下面用三个场景来使用和工作原理
  • 将Docker容器配置到本地网络环境中
    • pipework工作原理分析
  • 单主机docker容器vlan划分
  • 多主机docker容器的vlan划分

none 模式

启动一个运行 /bin/bash的容器，并指定 --net=none

[root@daring ~]# docker run -it --net=none docker.io/centos:centos6 /bin/bash
[root@72cd0690ff5f /]# ifconfig
lo        Link encap:Local Loopback  
      inet addr:127.0.0.1  Mask:255.0.0.0
      inet6 addr: ::1/128 Scope:Host
      UP LOOPBACK RUNNING  MTU:65536  Metric:1
      RX packets:0 errors:0 dropped:0 overruns:0 frame:0
      TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
      collisions:0 txqueuelen:0 
      RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

再开启一个新的终端，查找这个容器的进程 id ，然后创建它的命名空间，后面的 ip netns 会用到

[root@daring ~]# pid=$(docker inspect -f '{{.State.Pid}}' 72cd0690ff5f)
[root@daring ~]# echo $pid
19328
[root@daring ~]# mkdir -p /var/run/netns
[root@daring ~]# ln -s /proc/$pid/ns/net /var/run/netns/$pid
[root@daring ~]# ls /var/run/netns/$pid
/var/run/netns/19328

检查桥接网卡的 ip 和子网掩码

[root@daring ~]# ip addr show docker0
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
    link/ether 02:42:ed:11:8d:ff brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 scope global docker0
       valid_lft forever preferred_lft forever

创建一对” peer“接口 A 和 B ，绑定 A 到网桥，并启用它

[root@daring ~]# ip link add A type veth peer name B
[root@daring ~]# brctl addif docker0 A 
[root@daring ~]# ip link set A up
[root@daring ~]# ifconfig 
A: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        ether 8e:53:0f:7a:6f:9e  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
...//省略

将 B 放到容器的网络命名空间，命名为 eth0, 配置一个空闲的 ip

[root@daring ~]# ip link set B netns $pid
[root@daring ~]# ip netns exec $pid ip link set dev B name eth0
[root@daring ~]# ip netns exec $pid ip link set eth0 up
[root@daring ~]# ip netns exec $pid ip addr add 172.17.0.100/16 dev eth0
[root@daring ~]# ip netns exec $pid ip route add default via 172.17.0.1

自此，你又可以像平常一样使用网络了

[root@72cd0690ff5f /]# ifconfig 
eth0      Link encap:Ethernet  HWaddr 02:8B:98:11:0A:FC  
          inet addr:172.17.0.100  Bcast:0.0.0.0  Mask:255.255.0.0
          inet6 addr: fe80::8b:98ff:fe11:afc/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:16 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1296 (1.2 KiB)  TX bytes:648 (648.0 b)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

[root@72cd0690ff5f /]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.17.0.1      0.0.0.0         UG    0      0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 eth0
[root@72cd0690ff5f /]# nslookup www.baidu.com
Server:        192.168.142.2
Address:    192.168.142.2#53

Non-authoritative answer:
www.baidu.com    canonical name = www.a.shifen.com.
Name:    www.a.shifen.com
Address: 61.135.169.125
Name:    www.a.shifen.com
Address: 61.135.169.121

当你退出容器后， docker 清空容器，容器的 eth0 随网络命名空间一起被摧毁， A 接口也被自动从docker0 取消注册。不用其他命令，所有东西都被清理掉了！工作中可以使用脚本来实现。

注意 ip netns exec 命令，它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用，因为统一的安全策略， docker 限制容器进程配置自己的网络。使用 ip netns exec 可以让我们不用设置 --privileged=true 就可以完成一些可能带来危险的操作。

创建一个点到点连接

回顶部

默认情况下，Docker 会将所有容器连接到由 docker0 提供的虚拟子网中。 用户有时候需要两个容器之间可以直连通信，而不用通过主机网桥进行桥接。 解决办法很简单：创建一对 peer 接口，分别放到两个容器中，配置成点到点链路类型即可。

首先启动 2 个容器：

[root@daring ~]# docker run -i -t --rm --net=none docker.io/centos:latest 
[root@760b02050ac9 /]#

[root@daring ~]# docker run -i -t --rm --net=none docker.io/centos:latest 
[root@bb7cb7810c8d /]#

找到进程号，然后创建网络名字空间的跟踪文件。

[root@daring ~]# docker inspect -f '{{.State.Pid}}' 760b02050ac9
3884
[root@daring ~]# docker inspect -f '{{.State.Pid}}' bb7cb7810c8d
3988
[root@daring ~]# mkdir -p /var/run/netns
[root@daring ~]# ln -s /proc/3884/ns/net /var/run/netns/3884
[root@daring ~]# ln -s /proc/3988/ns/net /var/run/netns/3988

创建一对 peer 接口，然后配置路由

[root@daring ~]# ip link add A type veth peer name B
[root@daring ~]# ip link set A  netns 3884
[root@daring ~]# ip netns exec 3884 ip addr add 10.1.1.1/32 dev A
[root@daring ~]# ip netns exec 3884 ip link set A up
[root@daring ~]# ip netns exec 3884 ip route add 10.1.1.2/32 dev A
[root@daring ~]# ip link set B netns 3988
[root@daring ~]# ip netns exec 3988 ip addr add 10.1.1.2/32 dev B
[root@daring ~]# ip netns exec 3988 ip link set B up
[root@daring ~]# ip netns exec 3988 ip route add 10.1.1.1/32 dev B

现在这 2 个容器就可以相互 ping 通，并成功建立连接。点到点链路不需要子网和子网掩码

[root@760b02050ac9 /]# ping 10.1.1.2 
PING 10.1.1.2 (10.1.1.2) 56(84) bytes of data.
64 bytes from 10.1.1.2: icmp_seq=1 ttl=64 time=0.120 ms
64 bytes from 10.1.1.2: icmp_seq=2 ttl=64 time=0.082 ms
64 bytes from 10.1.1.2: icmp_seq=3 ttl=64 time=0.082 ms
64 bytes from 10.1.1.2: icmp_seq=4 ttl=64 time=0.074 ms
^C
--- 10.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3000ms
rtt min/avg/max/mdev = 0.074/0.089/0.120/0.020 ms
[root@760b02050ac9 /]# ping 10.1.1.1
PING 10.1.1.1 (10.1.1.1) 56(84) bytes of data.
64 bytes from 10.1.1.1: icmp_seq=1 ttl=64 time=0.028 ms
64 bytes from 10.1.1.1: icmp_seq=2 ttl=64 time=0.086 ms
64 bytes from 10.1.1.1: icmp_seq=3 ttl=64 time=0.071 ms
^C
--- 10.1.1.1 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2009ms
rtt min/avg/max/mdev = 0.028/0.061/0.086/0.026 ms

自定义域名解析系统和主机名

回顶部

Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和 DNS 配置呢？秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。

在容器中使用 mount 命令可以看到挂载信息：注（mount命令软件包util-linux）

# df

[root@dbserver /]# df 
...//省略
/dev/mapper/centos-root
                      18307072 3872888  14434184  22% /etc/resolv.conf
/dev/mapper/centos-root
                      18307072 3872888  14434184  22% /etc/hostname
/dev/mapper/centos-root
                      18307072 3872888  14434184  22% /etc/hosts
...//省略

这种机制可以让宿主主机 DNS 信息发生更新后，所有 Docker 容器的 dns 配置通过/etc/resolv.conf文件立刻得到更新。 如果用户想要手动指定容器的配置，可以利用下面的选项。 -h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到，既不会在 docker ps中显示，也不会在其他的容器的 /etc/hosts 看到。

[root@daring ~]# docker run -it --hostname dbserver --name dbserver docker.io/centos:centos6 
[root@dbserver /]# hostname
dbserver
[root@dbserver /]# cat /etc/hostname 
dbserver
[root@dbserver /]# cat /etc/resolv.conf 
# Generated by NetworkManager
search localdomain
nameserver 192.168.142.2
[root@dbserver /]# cat /etc/hosts
127.0.0.1    localhost
::1    localhost ip6-localhost ip6-loopback
fe00::0    ip6-localnet
ff00::0    ip6-mcastprefix
ff02::1    ip6-allnodes
ff02::2    ip6-allrouters
172.17.0.2    dbserver

--link=CONTAINER_NAME:ALIAS选项会在创建容器的时候，添加一个其他容器的主机名到 /etc/hosts文件中，让新容器的进程可以使用主机名 ALIAS 就可以连接它。 --dns=IP_ADDRESS 添加 DNS 服务器到容器的 /etc/resolv.conf中，让容器用这个服务器来解析所有不在 /etc/hosts 中的主机名。 --dns-search=DOMAIN设定容器的搜索域，当设定搜索域为 .example.com 时，在搜索一个名为 host的主机时， DNS 不仅搜索 host，还会搜索 host.example.com。注意：如果没有上述最后 2 个选项，Docker 会默认用主机上的 /etc/resolv.conf来配置容器。 具体其他选项可以查看docker run --help帮助

docker中的容器互联--linking系统

回顶部

docker 有一个 linking 系统可以连接多个容器。它会创建一对父子关系，父容器可以看到所选择的子容器的信息。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息

自定义容器的命名

linking系统依据容器的名称来执行，因此，首先需要自定义一个好记的容器命名。当我们创建容器的时候，系统会随机分配一个名字。当然我们也可以自己来命名容器，这样做有 2 个好处：

• 当我们自己指定名称的时候，比较好记，比如一个 web 应用我们可以给它起名叫 web
• 当我们要连接其他容器时候，可以作为一个有用的参考点，比如连接 web 容器到 db 容器

使用 --name 标记可以为容器自定义命名。使用 docker ps 来验证设定的命名，也可以使用 docker inspect 来查看容器的名字docker inspect -f "{{ .Name }}" 容器id

注意：容器的名称是唯一的。如果已经命名了一个叫 web 的容器，当你要再次使用 web 这个名称的时候，需要先用 docker rm 来删除之前创建的同名容器。 在执行 docker run 的时候如果添加 --rm 标记，则容器在终止后会立刻删除。注意， --rm 和 -d 参数不能同时使用。

容器互联

回顶部

使用--link参数可以让容器之间安全的进行交互。

下面先创建一个新的数据库容器。

docker run -dit --name dbserver镜像id

[root@daring ~]# docker run -dit --name dbserver docker.io/centos:centos6 
b44e8b089e0a156857f61697ceed805f0f45d6519dcfec72df8e1d3fc619716e
[root@daring ~]# docker ps 
CONTAINER ID        IMAGE                      COMMAND             CREATED             STATUS              PORTS               NAMES
b44e8b089e0a        docker.io/centos:centos6   "/bin/bash"         3 seconds ago       Up 1 seconds                            dbserver
[root@daring ~]#

然后创建一个新的 web 容器，并将它连接到 db 容器

[root@daring ~]# docker run -dit -P --name web --link dbserver:db docker.io/centos:centos6 
308f1e3dcf12e9772c3d73201314d47dc344eaa94d32ed7785788cc62e44d248

--link 标记的格式： --link name:alias，

• name 是我们要链接的容器的名称，
• alias 是这个链接的别名。

使用docker ps --no-trunc来查看容器的连接

[root@daring ~]# docker ps --no-trunc
CONTAINER ID                                                       IMAGE                      COMMAND             CREATED             STATUS              PORTS               NAMES
308f1e3dcf12e9772c3d73201314d47dc344eaa94d32ed7785788cc62e44d248   docker.io/centos:centos6   "/bin/bash"         53 seconds ago      Up 52 seconds                           web
b44e8b089e0a156857f61697ceed805f0f45d6519dcfec72df8e1d3fc619716e   docker.io/centos:centos6   "/bin/bash"         2 minutes ago       Up 2 minutes                            dbserver,web/db

我们可以看到我们命名的容器， dbserver 和 web ， dbserver 容器的 names 列有 dbserver 也有 web/dbserver 。这表示 web 容器链接到 db 容器，他们是一个父子关系。在这个 link 中， 2 个容器中有一对父子关系。 docker 在 2 个容器之间创建了一个安全的连接，而且不用映射dbserver容器的端口到宿主主机上。所以在启动 db 容器的时候也不用-p 和-P 标记。使用 link 之后我们就可以不用暴露数据库端口到网络上。

注意：你可以链接多个子容器到父容器，比如我们可以链接多个 web 到 db 容器上。

Docker 会添加子容器的 host 信息到父容器的 /etc/hosts 的文件。

下面是父容器 web 的 hosts 文件

[root@daring ~]# docker attach web
[root@308f1e3dcf12 /]# cat /etc/hosts
127.0.0.1    localhost
::1    localhost ip6-localhost ip6-loopback
fe00::0    ip6-localnet
ff00::0    ip6-mcastprefix
ff02::1    ip6-allnodes
ff02::2    ip6-allrouters
172.17.0.2    db b44e8b089e0a dbserver
172.17.0.3    308f1e3dcf12

这里有 2 个 hosts，第一个是 web 容器，web 容器用 id 作为他的主机名，第二个是 dbserver 容器的 ip 和主机名。可以在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。 注意：官方的镜像默认没有安装 ping，需要自行安装，软件包名iputils

[root@daring ~]# which ping
/usr/bin/ping
[root@daring ~]# rpm -qf /usr/bin/ping
iputils-20121221-7.el7.x86_64

用 ping 来测试db容器，

[root@308f1e3dcf12 /]# ping dbserver
PING db (172.17.0.2) 56(84) bytes of data.
64 bytes from db (172.17.0.2): icmp_seq=1 ttl=64 time=0.077 ms
64 bytes from db (172.17.0.2): icmp_seq=2 ttl=64 time=0.097 ms
64 bytes from db (172.17.0.2): icmp_seq=3 ttl=64 time=0.253 ms
64 bytes from db (172.17.0.2): icmp_seq=4 ttl=64 time=0.073 ms
64 bytes from db (172.17.0.2): icmp_seq=5 ttl=64 time=0.120 ms
64 bytes from db (172.17.0.2): icmp_seq=6 ttl=64 time=0.097 ms
...//省略

附：在bridge模式下，连在同一网桥上的容器可以相互通信（若出于安全考虑，也可以禁止它们之间通信，方法是在DOCKER_OPTS变量中设置--icc=false，这样只有使用--link才能使两个容器通信）。

多台物理主机之间的容器互联（暴露容器到真实网络中）

docker 默认的桥接网卡是 docker0 。它只会在本机桥接所有的容器网卡，举例来说容器的虚拟网卡在主机上看一般叫做 vethxxx，而 docker 只是把所有这些网卡桥接在一起，如下：

[root@daring ~]# brctl show
bridge name    bridge id        STP enabled    interfaces
docker0        8000.0242a06cd6d0    no        veth33d6c01
                                              veth742d5c7

这样就可以把这个网络看成是一个私有的网络，通过 nat 连接外网，如果要让外网连接到容器中，就需要做端口映射，即-p参数。 如果在企业内部应用，或则做多个物理主机的集群，可能需要将多个物理主机的容器组到一个物理网络中来，那么就需要将这个网桥桥接到我们指定的网卡上。

主机 A 和主机 B 的网卡一都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就相当于在同一个物理网络中了，而容器一、容器三、容器四也在同一物理网络中了，他们之间可以相互通信，而且可以跟同一 vlan 中的其他物理机器互联。 这样就直接把容器暴露到物理网络上了，多台物理主机的容器也可以相互联网了。需要注意的是，这样就需要自己来保证容器的网络安全了。

不同容器之间的通信

回顶部

不同容器之间的通信可以借助于 pipework 这个工具

pipework是由Docker的工程师Jérôme Petazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。 下载地址

unzip  pipework-master.zip
cp  -p  /root/pipework-master/pipework  /usr/local/bin/

安装相应依赖软件

yum install bridge-utils -y

[root@daring ~]# rpm -qa | grep bridge-utils
bridge-utils-1.5-9.el7.x86_64

配置桥接网络

[root@daring network-scripts]# cd /etc/sysconfig/network-scripts/
[root@daring network-scripts]# vi ifcfg-eno16777728
[root@daring network-scripts]# cat ifcfg-eno16777728 
TYPE=Ethernet
BOOTPROTO=none
NM_CONTROLLED=no
HWADDR=00:0c:29:c4:bc:5d
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777728
UUID=4778be1c-5a9a-4f0d-a6ed-e558a5adf1fc
DEVICE=eno16777728
BRIDGE="br0"
ONBOOT=yes

[root@daring network-scripts]# vi ifcfg-br0
[root@daring network-scripts]# cat ifcfg-br0
DEVICE=br0
BOOTPROTO=static
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Bridge
IPADDR=192.168.142.181 
NETMASK=255.255.255.0

重启network服务

[root@daring ~]# systemctl restart network
[root@daring ~]# ifconfig 
br0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.142.181  netmask 255.255.255.0  broadcast 192.168.142.255
        inet6 fe80::20c:29ff:fec4:bc5d  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:c4:bc:5d  txqueuelen 0  (Ethernet)
        RX packets 20  bytes 1380 (1.3 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 22  bytes 1900 (1.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 0.0.0.0
        ether 02:42:ed:11:8d:ff  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eno16777728: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet6 fe80::20c:29ff:fec4:bc5d  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:c4:bc:5d  txqueuelen 1000  (Ethernet)
        RX packets 1171  bytes 101678 (99.2 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 642  bytes 94200 (91.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 0  (Local Loopback)
        RX packets 8  bytes 680 (680.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 8  bytes 680 (680.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

把 docker 的桥接指定为 br0，这样跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就可以通信了。

CentOS 7/RHEL 7系统

回顶部

修改/etc/sysconfig/docker

[root@daring ~]# systemctl stop docker
[root@daring ~]# systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
   Active: inactive (dead) since Thu 2016-08-04 17:37:59 CST; 5s ago
...//省略

[root@daring ~]# cat /etc/sysconfig/docker | grep -v "#" | grep -v "^$"
OPTIONS='--selinux-enabled --log-driver=journald -b=br0 '
DOCKER_CERT_PATH=/etc/docker

[root@daring ~]# systemctl start docker
[root@daring ~]# systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2016-08-04 17:40:53 CST; 4s ago
...//省略

pipework 语法

把 docker 默认桥接指定到了 br0，则最好在创建容器的时候加上--net=none，防止自动分配的 IP 在局域网中有冲突。

[root@daring ~]# pipework 
Syntax:
pipework <hostinterface> [-i containerinterface] [-l localinterfacename] <guest> <ipaddr>/<subnet>[@default_gateway] [macaddr][@vlan]
pipework <hostinterface> [-i containerinterface] [-l localinterfacename] <guest> dhcp [macaddr][@vlan]
pipework route <guest> <route_command>
pipework --wait [-i containerinterface]

使用镜像运行一个容器

[root@daring ~]# docker run -dit --net=none centos:http 
f081e7812629ce6dc4436ffe047c503fac767c786aa0591437a5065003dba229
[root@daring ~]# docker ps 
CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS              PORTS               NAMES
f081e7812629        centos:http         "/bin/bash /run.sh"   17 seconds ago      Up 14 seconds                           elegant_poitras

注：默认不指定网卡设备名，则默认添加为 eth1

[root@daring ~]# pipework br0 -i eth0 f081e7812629 192.168.142.10/24@192.168.142.254

注：另外 pipework 不能添加静态路由，如果有需求则可以在 run 的时候加上 --privileged=true 权限在容器中手动添加，但这种安全性有缺陷，可以通过 ip netns 操作

[root@daring ~]# ssh admin@192.168.142.10
The authenticity of host '192.168.142.10 (192.168.142.10)' can't be established.
RSA key fingerprint is 70:8d:e2:a3:b3:26:b0:91:9c:d0:df:7e:a8:de:8b:91.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.142.10' (RSA) to the list of known hosts.
admin@192.168.142.10's password: 
[admin@f081e7812629 ~]$ ifconfig
eth0      Link encap:Ethernet  HWaddr 3E:51:DB:9A:5A:76  
          inet addr:192.168.142.10  Bcast:192.168.142.255  Mask:255.255.255.0
          inet6 addr: fe80::3c51:dbff:fe9a:5a76/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:66 errors:0 dropped:0 overruns:0 frame:0
          TX packets:43 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:8041 (7.8 KiB)  TX bytes:6043 (5.9 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

[admin@f081e7812629 ~]$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.142.254 0.0.0.0         UG    0      0        0 eth0
192.168.142.0   0.0.0.0         255.255.255.0   U     0      0        0 eth0

访问容器提供的web服务：

使用ip netns添加静态路由，避免创建容器使用--privileged=true选项造成一些不必要的安全问题：

[root@daring ~]# docker inspect -f '{{.State.Pid}}' f081e7812629
13037
[root@daring ~]# ln -s /proc/13037/ns/net /var/run/netns/13037
[root@daring ~]# ip netns exec 13037 ip route add 192.168.0.0/16 dev eth0 via 192.168.142.254
[root@daring ~]# ip netns exec 13037 ip route 
default via 192.168.142.254 dev eth0 
192.168.0.0/16 via 192.168.142.254 dev eth0 
192.168.142.0/24 dev eth0  proto kernel  scope link  src 192.168.142.10

进入容器查看路由记录：

[admin@f081e7812629 ~]$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.142.254 0.0.0.0         UG    0      0        0 eth0
192.168.0.0     192.168.142.254 255.255.0.0     UG    0      0        0 eth0
192.168.142.0   0.0.0.0         255.255.255.0   U     0      0        0 eth0

在其它宿主机进行相应的配置，新建容器并使用 pipework 添加虚拟网卡桥接到 br0，测试通信情况即可。 注：可以删除 docker0，直接把 docker 的桥接指定为 br0。也可以保留使用默认的配置，这样单主机容器之间的通信可以通过 docker0，而跨主机不同容器之间通过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就可以通信了。

扩展：

pipework可以在下面用三个场景来使用和工作原理

将docker容器配置到本地网络环境中

回顶部

为了使本地网络中的机器和Docker容器更方便的通信，我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现，我们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就可以了。 下面我们来操作一下，我主机A地址为192.168.1.102/24,网关为192.168.1.1,需要给Docker容器的地址配置为192.168.1.150/24。在主机A上做如下操作：

安装pipework

下载地址

unzip  pipework-master.zip
cp  -p  /root/pipework-master/pipework  /usr/local/bin/

启动Docker容器。

docker run -itd --name test1 镜像 /bin/bash

配置容器网络，并连到网桥br0上。网关在IP地址后面加@指定。

pipework br0 test1 192.168.1.150/24@192.168.1.1

将主机enp0s3桥接到br0上，并把enp0s3的IP配置在br0上。

ip addr add 192.168.1.102/24 dev br0
ip addr del 192.168.1.102/24 dev enp0s3
brctl addif br0 enp0s3
ip route del default
ip route add default via 192.168.1.1 dev br0 

注：如果是远程操作，中间网络会断掉，所以放在一条命令中执行。

ip addr add 192.168.1.102/24 dev br0; \ ip addr del 192.168.1.102/24 dev enp0s3; \ brctl addif br0 enp0s3; \ ip route del default; \ ip route add default via 192.168.1.1 dev br0 

完成上述步骤后，我们发现Docker容器已经可以使用新的IP和主机网络里的机器相互通信了。

进入容器内部查看容器的地址：

pipework工作原理分析

回顶部

那么容器到底发生了哪些变化呢？我们docker attach到test1上，发现容器中多了一块eth1的网卡，并且配置了192.168.1.150/24的IP，而且默认路由也改为了192.168.1.1。这些都是pipework帮我们配置的。

• 首先pipework检查是否存在br0网桥，若不存在，就自己创建。
• 创建veth pair设备，用于为容器提供网卡并连接到br0网桥。
• 使用docker inspect找到容器在主机中的PID，然后通过PID将容器的网络命名空间链接到/var/run/netns/目录下。这么做的目的是，方便在主机上使用ip netns命令配置容器的网络。因为，在Docker容器中，我们没有权限配置网络环境。
• 将之前创建的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1，可以通过pipework的-i参数修改该名称。
• 然后就是配置新网卡的IP。若在IP地址的后面加上网关地址，那么pipework会重新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去，而不是通过eth0和docker0。(若想完全抛弃自带的网络设置，在启动容器的时候可以指定--net=none) 以上就是pipework配置Docker网络的过程，这和Docker的bridge模式有着相似的步骤。事实上，Docker在实现上也采用了相同的底层机制。

通过源代码，可以看出，pipework通过封装Linux上的ip、brctl等命令，简化了在复杂场景下对容器连接的操作命令，为我们配置复杂的网络拓扑提供了一个强有力的工具。当然，如果想了解底层的操作，我们也可以直接使用这些Linux命令来完成工作，甚至可以根据自己的需求，添加额外的功能。

单主机docker容器vlan划分

回顶部

pipework不仅可以使用Linux bridge连接Docker容器，还可以与OpenVswitch结合，实现Docker容器的VLAN划分。下面，就来简单演示一下，在单机环境下，如何实现Docker容器间的二层隔离。 为了演示隔离效果，我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络，有不同的广播域。

在主机A上创建4个Docker容器，test1、test2、test3、test4

docker run -itd --name test1 ubuntu /bin/bash 
docker run -itd --name test2 ubuntu /bin/bash 
docker run -itd --name test3 ubuntu /bin/bash
docker run -itd --name test4 ubuntu /bin/bash

将test1，test2划分到一个vlan中，vlan在mac地址后加@指定，此处mac地址省略。

pipework ovs0 test1 192.168.0.1/24 @100
pipework ovs0 test2 192.168.0.2/24 @100

将test3，test4划分到另一个vlan中

pipework ovs0 test3 192.168.0.3/24 @200
pipework ovs0 test4 192.168.0.4/24 @200

完成上述操作后，使用docker attach连到容器中，然后用ping命令测试连通性，发现test1和test2可以相互通信，但与test3和test4隔离。这样，一个简单的VLAN隔离容器网络就已经完成。

由于OpenVswitch本身支持VLAN功能，所以这里pipework所做的工作和之前介绍的基本一样，只不过将Linux bridge替换成了OpenVswitch，在将veth pair的一端加入ovs0网桥时，指定了tag。底层操作如下： ovs-vsctl add-port ovs0 veth* tag=100

多主机docker容器的vlan划分

回顶部

上面介绍完了单主机上VLAN的隔离，下面我们将情况延伸到多主机的情况。有了前面两个例子做铺垫，这个也就不难了。为了实现这个目的，我们把宿主机上的网卡桥接到各自的OVS网桥上，然后再为容器配置IP和VLAN就可以了。我们实验环境如下，主机A和B各有一块网卡enp0s3，IP地址分别为10.10.101.105/24、10.10.101.106/24。在主机A上创建两个容器test1、test2，分别在VLAN 100和VLAN 200上。在主机B上创建test3、test4，分别在VLAN 100和VLAN 200 上。最终，test1可以和test3通信，test2可以和test4通信。

拓扑图如下所示

在主机A上

创建Docker容器

docker run -itd --name test1 ubuntu /bin/bash 
docker run -itd --name test2 ubuntu /bin/bash

划分VLAN

pipework ovs0 test1 192.168.0.1/24 @100 
pipework ovs0 test2 192.168.0.2/24 @200

将eth0桥接到ovs0上

ip addr add 10.10.101.105/24 dev ovs0
ip addr del 10.10.101.105/24 dev eth0;
ovs-vsctl add-port ovs0 eth0
ip route del default
ip route add default gw 10.10.101.254 dev ovs0

在主机B上

创建Docker容器

docker run -itd --name test3 ubuntu /bin/bash 
docker run -itd --name test4 ubuntu /bin/bash

划分VLAN

pipework ovs0 test1 192.168.0.3/24 @100 
pipework ovs0 test2 192.168.0.4/24 @200

将eth0桥接到ovs0上

ip addr add 10.10.101.106/24 dev ovs0
ip addr del 10.10.101.106/24 dev eth0;
ovs-vsctl add-port ovs0 eth0
ip route del default
ip route add default gw 10.10.101.254 dev ovs0

完成上面的步骤后，主机A上的test1和主机B上的test3容器就划分到了一个VLAN中，并且与主机A上的test2和主机B上的test4隔离（主机eth0网卡需要设置为混杂模式，连接主机的交换机端口应设置为trunk模式，即允许VLAN 100和VLAN 200的包通过）。

注：除此之外，pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过，pipework有一个缺陷，就是配置的容器在关掉重启后，之前的设置会丢失。

其中promisc表示网卡混杂模式

其他参数的含义：

设置网卡工作模式

#ifconfig 网卡名 promisc 设置混杂
#ifconfig 网卡名 -promisc　取消混杂

网卡工作模式有4种，分别是：

• 广播(Broadcast)模式
• 多播(Multicast)模式
• 单播模式（Unicast）
• 混杂模式（Promiscuous）

在混杂模式下的网卡能够接收一切通过它的数据，而不管该数据目的地址是否是它。如果通过程序将网卡的工作模式设置为 “混杂模式”，那么网卡将接受所有流经它的数据帧，这实际上就是Sniffer工作的基本原理：让网卡接收一切他所能接收的数据。Sniffer就是一种 能将本地网卡状态设成混杂（promiscuous）状态的软件，当网卡处于这种"混杂"方式时，它对所有遇到的每一个数据帧都 产生一个硬件中断以便提醒操作系统处理流经该物理媒体上的每一个报文包。可见，Sniffer工作在网络环境中的底层，它会拦截所有的正在网络上传送的数据，并且通过相应的软件处理，可以实时分析这些数据的内容，进而分析所处的网络状态和整体布局。

回顶部