¶一、简介
Docker是一个开源的应用容器引擎,它是由 Go 语言 开发实现的轻量级容器技术,它是基于 Linux
内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它隔离的进程,因此也称其为容器。
¶二、概念
¶1. 概要理解
Docker支持安装各种软件并做好配置后编译成镜像,最终可以直接运行镜像产生一个或多个运行于宿主机内核上的容器。为了形象的理解容器,可以简单的理解它为运行在操作系统上的独立沙箱系统,这些沙箱系统内部的文件系统和Linux的非常相似,事实上确是如此,因为Docker就是融合了Linux内核而实现的虚拟化技术,由于具有沙箱的特性,所以各个容器之间是隔离运行的、独立的、互不影响的,程序员甚至不用担心容器内部损坏或者崩溃导致宿主机出错,因为只要删除掉这些有问题的容器,而再运行相关的镜像又会得到全新的容器了,只要不进行数据挂载,整个过程甚至干净不留残余。
¶2. 核心内容
docker主机(Host):或者称为docker宿主机,即安装了Docker程序的机器。
docker客户端(Client):连接docker主机进行操作的程序。
docker镜像(Images):是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。镜像不包含任何动态数据,其内容在构建之后也不会被改变。
docker容器(Container):运行镜像后产生的实例称为容器,实质是运行于独立的 命名空间的进程。
docker仓库(Registry):集中存储、分发镜像的仓库服务系统,作用是允许用户上传、下载并管理镜像,包括公有仓库和私有仓库。
¶3. 对比传统虚拟机
特性 | 虚拟机的架构 | 容器的架构 |
---|---|---|
启动 | 分钟级 | 秒级 |
性能 | 弱于原生 | 接近原生 |
硬盘使用 | 一般为GB | 一般为MB |
系统支持量 | 一般几十个 | 单机上千个容器 |
虚拟机的架构: 每个虚拟机都包括应用程序、必要的二进制文件和库以及一个完整的客户操作系统(Guest OS),尽管它们被分离,它们共享并利用主机的硬件资源,将近需要十几个 GB 的大小。
容器的架构: 容器包括应用程序及其所有的依赖,但与其他容器共享内核。它们以独立的用户空间进程形式运行在宿主机操作系统上。他们也不依赖于任何特定的基础设施,Docker 容器可以运行在任何计算机上,任何基础设施和任何云上。
¶4. 优势
(1)快速的启动时间
由于Docker容器直接运行于宿主内核,无需启动完整的操作系统即可运行,因此可以做到秒级、甚至毫秒级的启动时间,这大大的节约了开发、测试、部署的时间。
(2)一致的运行环境
开发过程中一个常见的问题是环境一致性问题。由于不同物理机的开发环境不一致,经常出现安装了相同的软件但却有不同的运行效果现象,甚至有的环境下还会出现bug。而 Docker
的镜像提供了除内核外完整的运行时环境,确保了应用运行环境一致性,以至于不会再出现 “这段代码在我机器上没问题啊” 这类的问题。
(3)持续交付和部署
Docker可以一次创建或配置镜像,而可以在任意地方正常运行。即"一处构建,到处运行"。
(4)更方便的迁移
Docker
可以在很多平台上运行,无论是物理机、虚拟机、公有云、私有云,甚至是笔记本,其运行结果是一致的。因此用户可以很轻易的将在一个平台上运行的应用,迁移到另一个平台上,而不用担心运行环境的变化导致应用无法正常运行的情况。
(5)更轻量的维护和扩展
Docker
使用的分层存储以及镜像的技术,使得应用重复部分的复用更为容易,也使得应用的维护更新更加简单,基于基础镜像进一步扩展镜像也变得非常简单。此外,Docker
团队同各个开源项目团队一起维护了一大批高质量的 官方镜像,既可以直接在生产环境使用,又可以作为基础进一步定制,大大的降低了应用服务的镜像制作成本。
¶5. 分层存储
因为镜像包含操作系统完整的 root
文件系统,其体积往往是庞大的,因此在 Docker 设计时,就充分利用 Union FS 的技术,将其设计为分层存储的架构。所以严格来说,镜像并非是像一个 ISO 那样的打包文件,镜像只是一个虚拟的概念,其实际体现并非由一个文件组成,而是由一组文件系统组成,或者说,由多层文件系统联合组成。
镜像构建时,会一层层构建,前一层是后一层的基础。每一层构建完就不会再发生改变,后一层上的任何改变只发生在自己这一层。比如,删除前一层文件的操作,实际不是真的删除前一层的文件,而是仅在当前层标记为该文件已删除。在最终容器运行的时候,虽然不会看到这个文件,但是实际上该文件会一直跟随镜像。因此,在构建镜像的时候,需要额外小心,每一层尽量只包含该层需要添加的东西,任何额外的东西应该在该层构建结束前清理掉。
分层存储的特征还使得镜像的复用、定制变的更为容易。甚至可以用之前构建好的镜像作为基础层,然后进一步添加新的层,以定制自己所需的内容,构建新的镜像。
¶6. 容器存储层
镜像使用的是分层存储,容器也是如此。每一个容器运行时,是以镜像为基础层,在其上创建一个当前容器的存储层,我们可以称这个为容器运行时读写而准备的存储层为 容器存储层。
¶7. 数据卷
数据卷
是一个可供一个或多个容器使用的特殊目录,当容器内部的目录(文件)映射到宿主机的某目录(文件)时,那么就称这个宿主机的目录(文件)为数据卷。它绕过 UFS,可以提供很多有用的特性,如下:
数据卷
可以在容器之间共享和重用- 对
数据卷
的修改会立马生效 - 对
数据卷
的更新,不会影响镜像 数据卷
默认会一直存在,即使容器被删除
注意:
数据卷
的使用,类似于 Linux 下对目录或文件进行 mount,镜像中的被指定为挂载点的目录中的文件会隐藏掉,能显示看的是挂载的数据卷
。
按照 Docker 最佳实践的要求,容器不应该向其存储层内写入任何数据,容器存储层要保持无状态化。所有的文件写入操作,都应该使用 数据卷(Volume)、或者绑定宿主目录,在这些位置的读写会跳过容器存储层,直接对宿主(或网络存储)发生读写,其性能和稳定性更高。
数据卷的生存周期独立于容器,容器消亡,数据卷不会消亡。因此,使用数据卷后,容器删除或者重新运行之后,数据却不会丢失。
¶三、安装Docker
Docker 分为 CE 和 EE 两大版本。CE 即社区版,EE 即企业版,强调安全,付费使用。
¶1. 安装旧版本
centos7默认yum源头安装的Docker版本就是旧版本,旧版本的Docker称为 docker 或 docker-engine ,由于不在维护,故建议跳过直接安装新版本。
1 | 1、检查内核版本,必须是3.10及以上 |
¶2. 安装新版本
1 | #卸载旧版本,如果已安装这些程序,请卸载它们以及相关的依赖项 |
更多内容:
查看所有仓库中所有docker版本:
yum list docker-ce --showduplicates | sort -r
安装指定版本:比如
sudo yum install docker-ce-17.12.0.ce
新版docker安装好后命令自动补全会有些缺失,所以可以选择安装命令补全依赖工具。
1 | docker自动补齐需要依赖工具bash-complete,安装好后会得到文件为 /usr/share/bash-completion/bash_completion |
¶3. 内网环境集群安装
¶(1)yum离线安装
如果内网中有一台服务器能够访问外网,可使用一下方式安装:
1 | 在内网中可访问外网的服务器中下载清华的镜像源文件(要求这台服务器依软件赖环境纯净,最好没有安装过任何软件。目的是这台服务器的所有软件依赖一定要在其他内网服务器中都存在。) |
¶(2)完全离线安装
如果内网中所有服务器都不能访问外网,可使用一下方式安装:
下载安装包
在客户机中访问docker官网下载安装包:
安装包各版本下载地址:https://download.docker.com/linux/static/stable/x86_64/
这里下载的版本是:https://download.docker.com/linux/static/stable/x86_64/docker-19.03.5.tgz
安装运行
下载好安装包后通过ftp等客户端工具上传安装包到目标服务器,然后通过ssh客户端工具登录到该目标服务器执行如下命令:
1 | 解压安装压缩包 |
配置开机启动
1 | 关闭selinux策略 |
配置docker.socket
1 | vi /etc/systemd/system/docker.socket |
1 | [Unit] |
配置docker.service
1 | vi /etc/systemd/system/docker.service |
1 | [Unit] |
启动服务
1 | systemctl daemon-reload |
¶4. 修改 Docker 的默认存储路径
Docker 默认安装的情况下,会使用 /var/lib/docker/ 目录作为存储目录,用以存放拉取的镜像和创建的容器等。不过由于此目录一般都位于系统盘,遇到系统盘比较小,而镜像和容器多了后就容易尴尬,这里说明一下如何修改 Docker 的存储目录。
1 | 可通过如下命令查看Docker的默认存储路径 |
假设/data1
目录挂载点的磁盘空间比较大,需要将Docker的存储路径改为改目录,则可通过如下操作修改:
1 | vi /etc/docker/daemon.json |
1 | { |
1 | 然后重启 docker 服务 |
¶四、镜像下载加速
鉴于国内网络问题,Docker默认是从官方Docker Hub拉取 Docker 镜像十分缓慢,我们可以需要配置加速器来解决。
测速:https://github.com/docker-practice/docker-registry-cn-mirror-test/actions
编辑 /etc/docker/daemon.json
(Linux) 或者 %programdata%\docker\config\daemon.json
(Windows) 来配置 Daemon(如果文件不存在请新建该文件)。
1 | vim /etc/docker/daemon.json |
添加以下内容:
1 | { |
可以配置多个加速镜像。由于镜像服务可能出现宕机,建议同时配置多个加速镜像。
1 | 重新加载配制 |
如果方便建议使用aliyun的镜像
地址:https://cr.console.aliyun.com/cn-shenzhen/instances/mirrors
¶五、镜像操作
1 | 检索 (去https://hub.docker.com上查看镜像的详细信息。eg:docker search redis) |
镜像导出并导入案例:
1 | 例如,以下导出方式将会让docker load导入时的镜像没有名字(即<none>) |
¶六、容器操作
¶1. 操作命令
1 | 运行并创建一个容器 |
小案例:
1 | docker pull hello-world |
¶2. 时间同步问题
1 | #为了保证容器和宿主机之间的时间同步 |
¶七、docker网络
Docker默认提供了3种网络模式,生成容器时不指定网络模式下默认使用bridge桥接模式。
¶1. host模式
容器不会创建自己的网卡,配置 IP 等,而是使用宿主机的 IP 和端口
1 | docker run -d --name 容器名称 --net=host 镜像名称 |
¶2. container模式
容器不会创建自己的网卡,配置 IP 等,而是和一个指定的容器共享 IP和端口
1 | docker run -d --name 容器名称 --net=container:容器名称或容器id 镜像名称 |
¶3. none模式
关闭网络功能,不进行任何网络设置
1 | docker run -d --name 容器名称 --net=none 镜像名称 |
¶4. bridge模式
为每一个容器分配、设置 IP 等,并将容器连接到 docker0
虚拟网桥上,默认模式。
当Docker进程启动时,会在主机上创建一个名为docker0的虚拟网桥(网卡/路由器),此主机上启动的Docker容器都会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。
宿主机和Docker容器之间是可以进行网络连接的,同样的,Docker容器和容器之间只要是在一个虚拟网桥下,那么也可以直接进行网络连接。
1 | 通过--net=bridge显示指定,默认就是bridge,也可以不设置 |
¶5. 自定义网络
1 | #自定义创建名称为mynet的网络 |
- 默认docker0是无法Ping通容器名,而自定义网络可以Ping通容器名,推荐使用自定义网络
- 在多个微服务部署到docker时,通过自定义网络方便统一的网络配置。
参考:https://blog.csdn.net/CSDN1csdn1/article/details/123961079
¶八、构建自定义镜像
¶方式1:上传程序到vps后构建
需求:构建一个能在tomcat容器里运行的war包程序镜像,并通过镜像创建一个实例容器。
由于依赖于tomcat容器,故需要先拉去tomcat镜像到本地。tomcat镜像主页:https://c.163yun.com/hub#/library/repository/info?repoId=3105
¶(1)拉取tomcat镜像到宿主机
1 | docker pull hub.c.163.com/library/tomcat:latest |
¶(2)上传war包
创建一个webdemo项目,并在这个webdemo
项目的资源路径里添加一个index.jsp页面。
1 | <html> |
然后打包得到webdemo.war
文件。并上传这个webdemo.war
文件到vps的/root/project
目录
¶(3)编写Dockerfile
文件
1 | 在/root/project下编写一个Dockerfile文件 |
1 | #继承于某个镜像 |
¶(4)构建生成镜像
1 | 在Dockerfile文件所在的目录,即/root/project里执行如下命令 |
¶(5)查看本地镜像仓库是否构建成功
1 | docker images |
1 | REPOSITORY TAG IMAGE ID CREATED SIZE |
¶(6)通过构建的镜像实例化一个容器并运行
1 | docker run -d -p 8080:8080 webdemo:latest |
¶(7)访问测试
访问index.jsp:http://192.168.222.131:8080/webdemo/index.jsp
¶(8)其他
在用-d
指定为后台启动的情况下,可以使用以下命令查看容器实时的日志情况:
1 | docker logs -f 容器名称或者容器id |
¶方式2:通过idea插件连接vps构建
¶(1)配置docker允许外网访问
在vps中配置docker允许外网访问
1 | vim /usr/lib/systemd/system/docker.service |
在ExecStart
属性原来值的最后追加
1 | -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock |
新版Docker CE配置如下
1 | .... |
旧版Docker配置如下:
1 | [Service] |
¶(2)重新加载配置并重启Docker
1 | systemctl daemon-reload |
¶(3)启动防火墙并开放2375端口
开放了防火墙2375端口用于远程连接
1 | service firewalld start |
- 不需要另外开放容器映射到宿主机的端口。
- 经操作发现,如果使用vmware的linux作为vps,不能直接关闭防火墙,开放相应的端口即可。
¶(4)创建一个springboot项目
pom.xml
1 | "1.0" encoding="UTF-8" xml version= |
DemoApplication.java
1 | package com.example.demo; |
application.yml
1 | server: |
Dockerfile
1 | FROM openjdk:8u212-jre |
¶(5)编译项目生成jar包
¶(6)配置远程docker插件连接
默认新版的idea自带有这个插件,如果没有直接到插件中心安装即可。
¶(7)然后配置DockerFile
¶(8)运行docker插件
运行插件部署镜像到vps,并通过镜像创建一个实例容器
¶(9)访问测试
最后访问: http://192.168.222.132:8080/hello
¶九、docker compose
¶1. 简介
Compose项目是 Docker 官方的开源项目,负责实现对 Docker 容器集群的快速编排。
地址:https://github.com/docker/compose
使用一个 Dockerfile
模板文件,可以让用户很方便的定义一个单独的应用容器。然而,在日常工作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。Compose
允许用户通过一个单独的 docker-compose.yml
模板文件来定义一组相关联的应用容器为一个项目。
¶2. 安装
在 Linux 上的也安装十分简单,从 官方 GitHub Release 处直接下载编译好的二进制文件即可。
例如,在 Linux 64 位系统上直接下载对应的二进制包。
1 | $ sudo curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose |
因为 Docker Compose 存放在 GitHub,可能网络不太稳定。你也可以通过执行下面的命令,高速安装 Compose。该加速通道由
DaoCloud
提供:http://get.daocloud.io/#install-compose
1 | sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose |
¶3. 卸载
如果是二进制包方式安装的,删除二进制文件即可。
1 | $ sudo rm /usr/local/bin/docker-compose |
¶4. 编排文件
在任意目录创建compose编排配置文件:docker-compose.yml
1 | ## docker-compose.yml文件的版本 |
下面是compose编排配置文件中使用到的mysql配置文件:my.cnf
1 | [mysql] |
¶5. 操作命令
在docker-compose.yml
所在的目录执行如下命令
1 | 尝试自动完成包括构建镜像,(重新)创建服务,启动服务,并关联服务相关容器的一系列操作。相关的服务都将会被自动启动,除非已经处于运行状态。 |
¶十、Docker Swarm
Docker Swarm 是 Docker 的集群管理工具,或者说是资源管理工具。swarm 集群由管理节点(manager)和工作节点(work node)构成。
swarm mananger:负责整个集群的管理工作包括集群配置、服务管理等所有跟集群有关的工作。
work node:即图中的 available node,主要负责运行相应的服务来执行任务(task)。
注意:跟集群管理有关的任何操作,都是在管理节点上操作的。
准备6台linux服务器
manager-1:192.168.99.101
manager-2:192.168.99.102
manager-3:192.168.99.103
worker-1:192.168.99.201
worker-2:192.168.99.202
worker-3:192.168.99.203
¶1. 关闭所有服务器的防火墙
1 | service firewalld stop |
¶2. 初始化 swarm 集群
进行初始化的这台机器,就是集群的管理节点。
1 | docker swarm init --advertise-addr 192.168.68.101 |
eg:
1 | [root@localhost ~]# docker swarm init --advertise-addr 192.168.68.101 |
¶3. 添加worker节点
在manager节点下生成worker令牌,以让其他worker服务器加入
1 | docker swarm join-token worker |
eg:
1 | [root@localhost ~]# docker swarm join-token worker |
然后在三台worker节点运行:
1 | docker swarm join \ |
¶4. 添加manager节点
在manager节点下生成manager令牌,以让其他manager服务器加入
1 | docker swarm join-token manager |
eg:
1 | [root@localhost ~]# docker swarm join-token manager |
然后在三台manager节点运行如下命令:
1 | docker swarm join \ |
¶5. 查看所有管理的节点
manager-1运行命令查看所有管理的节点
1 | docker node ls |
eg:
1 | [root@localhost ~]# docker node ls |
¶6. 创建集群服务
1 | docker service create -p 80:80 --name my-nginx nginx |
这时候将会在任意节点中选择一台通过docker创建nginx服务。我们可以在集群下任意一台服务器(manager或者worker节点)访问nginx服务都能访问到,因为swarm创建的服务使用的是swarm集群网络。
¶7. 查看服务集群情况
1 | docker service ls |
eg:
1 | [root@localhost ~]# docker service ls |
REPLICAS:副本数量
¶8. 集群服务扩容
对my-nginx服务扩容为5个
第一种方式:
1 | docker service update --replicas 5 my-nginx |
eg:
1 | [root@localhost ~]# docker service update --replicas 5 my-nginx |
第二种方式:
1 | docker service scale my-nginx=5 |
1 | [root@localhost ~]# docker service scale my-nginx=5 |
update更多的应用场景在于image的升级导致的运行中的服务需要更新等等
¶9. 删除集群服务
1 | docker service rm my-nginx |
这时候所有副本都会被删除
¶10. 修改服务
比如修改nginx服务镜像版本为1.9.5
1 | docker service update --image nginx:1.9.5 my-nginx |
1 | [root@localhost ~]# docker service ps my-nginx |
¶11. 服务回滚
1 | docker service update --rollback |
¶十一、综合案例
步骤:软件镜像(安装程序)—> 运行镜像 —> 产生一个容器(正在运行的软件)。
¶1. 安装nginx
1 | 拉取(下载)镜像 |
¶2. 安装tomcat
1 | 1、搜索镜像 |
更多命令参看https://docs.docker.com/engine/reference/commandline/docker/可以参考每一个镜像的文档
¶3. 安装mysql
(1)获取镜像
1 | docker pull mysql |
(2)启动镜像
1 | 简单方式 |
几个其他的高级操作
1 | docker run --name mysql03 -v /conf/mysql:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag |
¶mysql完整案例
1 | docker pull mysql:5.7 |
1 | ## my.cnf |
1 | 运行mysql实例 |
¶4. 安装rabbitmq
(1)获取镜像
1 | #该版本包含了web控制页面 |
(2)运行镜像
1 | #方式一:默认用户名和密码都是guest |
(3)访问rabbitmq管理页面页面 http://ip:15672
¶5. 安装redis
创建redis配置文件
1 | mkdir /home/redis/conf/ /home/redis/data/ -p |
1 | 节点端口 |
该原始文件可从官网下载
bind 127.0.0.1 #注释掉这部分,这是限制redis只能本地访问
protected-mode no #默认yes,开启保护模式,限制为本地访问
daemonize no#默认no,改为yes意为以守护进程方式启动,可后台运行,除非kill进程,改为yes会使配置文件方式启动redis失败
databases 16 #数据库个数(可选),我修改了这个只是查看是否生效。。
dir ./ #输入本地redis数据库存放文件夹(可选)
appendonly yes #redis持久化(可选)
requirepass 密码 #配置redis访问密码
运行redis镜像
1 | docker pull redis:5.0.7 |
配置防火墙
1 | firewall-cmd --permanent --add-port=6379/tcp |
¶6. 安装zookeeper
1 | docker run -d --name zookeeper --restart always -e JVMFLAGS="-Xmx1024m" -p 2181:2181 zookeeper |
¶7. 安装kafka
提前安装并启动zookeeper
1 | KAFKA_ADVERTISED_LISTENERS:外部代理地址(服务器物理机对外ip); |
¶8. 安装ubuntu
1 | -i 表示 interactive 可交互的,变即可以从标准输入与容器交互。-t 表示给容器分配一个虚拟终端。-d 这个参数表示的是在后台运行,即 –deamon。-v 挂载容器目录到宿主机指定目录 |
¶9. 安装centos
1 | docker pull centos:centos7 |
¶十二、问题排错
(1)Error response from daemon: oci runtime error: container_linux.go:247: start....
,原因是系统和docker版本不兼容。解决:执行yum update
(2)rying to pull repository docker.io/library/mysql ... Get https://registry-1.
。解决:执行以下命令:
1 | yum install bind-utils #安装dig工具 |
(3)[root@izuf6dskn3b7v2sly08bqtz ~]# docker pull mysql Using default tag: latest Trying to pull repository docker.io/library/mysql ... Get https://registry-1.docker.io/v2/: x509: certificate is valid for *.theranest.com, theranest.com, not registry-1.docker.io
解决:镜像加速解决
(3)执行docker-compose up -d
后出现错误:ERROR: Failed to Setup IP tables: Unable to enable SKIP DNAT rule: (iptables failed: iptables --wait -t nat -I DOCKER -i br-950144d461c2 -j RETURN: iptables: No chain/target/match by that name. (exit status 1))
重启docker试试
1 | systemctl stop docker |