使用 Docker Buildx 构建多种系统架构镜像
1. 工具说明 安装 Docker >= 19.03: 该 Docker 版本包含 buildx。 安装 buildx: https://github.com/docker/buildx#in Linux kernel >= 4.8: 自该Linux内核版本 binfmt_misc 支持 fix-binary (F) flag。fix_binary 标志允许内核在容器或chroot内使用binfmt_misc注册的二进制格式处理程序,即使该处理程序二进制文件不是该容器或chroot内可见的文件系统的一部分。
Docker Buildx 是一个 docker CLI 插件,其扩展了 docker 命令,支持 Moby BuildKit 提供的功能。提供了与 docker build 相同的用户体验,并增加了许多新功能。
BuildKit 是下一代的镜像构建组件,主要特点有很多,本文主要使用其可以编译多种系统架构的特性。
网址:https://github.com/moby/buildkit
需要注意的是,该功能仅适用于 Docker v19.03+ 版本。
本文将讲解如何使用 Buildx 构建多种系统架构的镜像。
在开始之前,已经默认你在 Linux 系统(各大发行版)下安装好了 64 位的 Docker。
在写本文时,使用的Docker版本号是 19.03.11。
root@i-3uavns2y:~# docker version Client: Docker Engine - Community Version: 19.03.11 API version: 1.40 Go version: go1.13.10 Git commit: 42e35e61f3&nbs使用p;Built: Mon Jun 1 09:13:48 2020 OS/Arch: linux/amd64 Experimental: true Server: Docker Engine - Community Engine: Version: 19.03.11 API version: 1.40 (minimum version 1.12) Go version: go1.13.10 Git commit: 42e35e61f3 Built: Mon Jun 1 09:12:26 2020 OS/Arch: linu Dx/amd64 Experimental: false containerd: Version: 1.2.13 GitCommit: 7ad184331fa3e55e52b890ea95e65ba581ae3429 runc: Version: 1.0.0-rc10 GitCommit: dc9208a3303feef5b3839f4323d9beb36df0a9dd docker-init: Version: 0.18.0 GitCommit: fec3683 root@i-3uavns2y:~# uname -a Linux i-3uavns2y 4.15.0-55-generic #60-Ubuntu SMP Tue Jul 2 18:22:20 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux&nbsocp; 2. 运行原理
Buildx 本质上调用了 buildkit 的 api,构建是在 buildkit 的环境中进行的。是否支持多架构,取决于 buildkit 的环境,如果需要 buildkit 支持多架构,需要在宿主机执行(当然这个不是必须的,按构建的需求进行控制)
BuildKit 旨在为多个平台进行构建,而不仅适用于调用构建的用户碰巧运行的体系结构和操作系统。
调用构建时,您可以设置--platform标志以指定构建输出的目标平台(例如linux/amd64,linux/arm64、 或 darwin/amd64)。
当当前构建器实例由docker-container或 kubernetes驱动程序支持时,您可以一起指定多个平台。在这种情况下,它会构建一个清单列表,其中包含所有指定架构的类型。当你在docker run or 中使用这个镜像时docker service,Docker 会根据节点的平台选择正确的镜像。
您可以使用 Buildx 和 Dockerfiles 支持的三种不同策略构建多平台镜像:
1 在内核中使用 QEMU 仿真支持
2 使用相同的构建器实例在多个本机节点上构建
3 使用 Dockerfile 中的一个阶段交叉编译到不同的架构
如果您的节点已经支持 QEMU,那么 QEMU 是最简单的入门方式(例如,如果您使用的是 Docker Desktop)。它不需要对 Dockerfile 进行任何更改,并且 BuildKit 会自动检测可用的二级架构。当 BuildKit 需要为不同的架构运行二进制文件时,它会通过在binfmt_misc 处理程序中注册的二进制文件自动加载它。
要使binfmt_misc在主机操作系统上注册的 QEMU 二进制文件在容器内透明地工作,它们必须使用该fix_binary 标志进行注册。这需要内核 >= 4.8 和 binfmt-support >= 2.1.7。您可以通过检查在/proc/sys/fs/binfmt_misc/qemu-*是否有内容来检查是否正确注册。虽然 Docker Desktop 预先配置了binfmt_misc对其他平台的支持,但对于其他安装,它可能需要使用tonistiigi/binfmt 镜像进行安装。
root@i-tpmja312:~# docker run --privileged --rm tkeonistiigi/binfmt --install all root@i-tpmja312:~# ls /proc/sys/fs/binfmt_misc/qemu-* /proc/sys/fs/binfmt_misc/qemu-aarch64 /proc/sys/fs/binfmt_misc/qemu-ppc64le /proc/sys/fs/binfmt_misc/qemu-arm /proc/sys/fs/binfmt_misc/qemu-riscv64 /proc/sys/fs/binfmt_misc/qemu-mips64 /proc/sys/fs/binfmt_misc/qemu-s390x /proc/sys/fs/binfmt_misc/qemu-mips64el
使用多个原生节点可以更好地支持 QEMU 无法处理的更复杂的情况,并且通常具有更好的性能。您可以使用该--append标志向构建器实例添加其他节点。
2. 启用 Buildx
Docker在19.03引入了一个新的特性,使得Docker可以构建不同CPU体系结构的镜像,比如ARM镜像,这是不必引入模拟器的情况下,Docker自身所提供的原生统一构建机制,但是使用时需要进行设定才能进行使用。(从 v20.10 版本开始,Docker CLI 所有实验特性的命令均默认开启,无需再进行配置或设置系统环境变量。)
buildx 命令属于实验特性,因此首先需要开启该特性。
问题现象
直接使用时可能会出现如下问题,因为没开启实验特性
root@i-3uavns2y:~# docker buildx version docker: 'buildx' is not a docker command. See 'docker --help' 永久开启 dockerd 的实验特性
编辑 ~/.dockerr /config.json 文件,新增如下内容(以下的演示适用于事先不存在 .docker 目录的情况下),使用 docker version 命令查看版本信息,配置生效后可以看到 Server: Docker Engine 中有 Experimental: true :
root@i-3uavns2y:~# mkdir ~/.docker root@i-3uavns2y:~# cat > ~/.docker/config.json <Linux/macOS 下或者通过设置环境变量的方式(不推荐):
$ export DOCKER_CLI_EXPERIMENTAL=enabled $ docker buildx version github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7 3. 新建 builder 实例
在 Docker 19.03+ 版本中可以使用 docker buildx build 命令使用 BuildKit 构建镜像。该命令支持 --platform 参数可以同时构建支持多种系统架构的 Docker 镜像,大大简化了构建步骤。
Docker 在 Linux 系统架构下是不支持 arm 架构镜像,因此我们可以运行一个新的容器让其支持该特性,Docker 桌面版则无需进行此项设置(mac系统)。
在内核中使用 QEMU 仿真支持来进行多架构镜像构建
# 安装模拟器(用于多平台镜像构建) $ docker run --rm --privileged tonistiigi/binfmt:latest --install all
注:docker/binfmt 可以参考网址:https://hub.docker.com/r/docker/binfmt/tags 获取最新镜像
由于 Docker 默认的 builder 实例不支持同时指定多个 --platform,我们必须首先创建一个新的 builder 实例。同时由于国内拉取Bu镜像较缓慢,我们可以使用配置了 镜像加速地址 dockerpracticesig/buildkit:master 镜像替换官方镜像
如果你有私有的镜像加速器,可以基于 https://github.com/docker-practice/buildx 构建自己的 buildkit 镜像并使用它。
# 适用于国内环境 root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master # 适用于腾讯云环境(腾讯云主机、coding.net 持续集成) root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master-tencent # 使用默认镜像 root@i-3uavns2y:~# docker buildx create --name mybuilder --driver docker-container # 使用新创建好的 builder 实例 root@i-3uavns2y:~# docker buildx use mybuilder
查看已有的 builder 实例
root@i-tpmja312:~# docker buildx ls NAME/NODE &ilnbsp;DRIVER/ENDPOINT STATUS PLATFORMS mybuilder * docker-container mybuilder0 unix:///var/run/docker.sock inactive default docker default default running linux/amd64, linux/386 4. 新建 Dockerfile 文件
要想构建多种系统架构的镜像,还需要一个支持的 Dockerfile 文件,这里面多架构镜像最主要的就是基础镜像和安装的软件都需要支持多架构
以下是一个示例的 Dockerfile 文件,该 Dockerfile 文件内容如下:
mkdir ~/demo cd ~/demo cat > Dockerfile < /os.txt CMD cat /os.txt EOF
$TARGETPLATFORM 是内置变量,由 --platform 参数来指定其值。
由于是基于 alpine 的镜像来制作的,而 alpine 是支持以下 7 种系统架构的,因此我们制作的镜像也就跟着支持这 7 种系统架构。
linux/amd64, linux/arm/v6, linux/arm/v7, dx;linux/arm64/v8, linux/386, linux/ppc64le, linux/s390x
更友好一点的架构名称如下:
amd64, arm32v6, arm32v7, arm64v8, i386, ppc64le, s390x
这里穿插一句吐槽,简单统计了一下,ARM 的系统架构有如下各种简称:
arm64, armv8l, arm64v8, aarch64 arm, arm32, arm32v7, armv7, armv7l, armhf arm32v6, armv6, armv6l, arm32v5, armv5, armv5l, armel, aarch32
而对比 Intel 和 AMD 的就简单多了:
x86, 386, i386, i686 x86_64, x64, amd64 5. 构建镜像
docker buildx build 的具体参数含义,参考下面的官方文档
https://docs.docker.com/engine/reference/commandline/buildx_build/
使用 $ docker buildx build 命令构建镜像,注意将 myusername 替换为自己的 Docker Hub 用户名。--push 参数表示将构建好的镜像推送到 Docker 仓库。再来构建一个多系统架构镜像,并将构建好的镜像推送到 Docker 仓库(也就是 hub.docker.com)。在此操作之前,你需要事先注册一个账号(演示过程省略),并登录。
登录命令如下:
root@i-tpmja312:~/demo# docker login
输入你的用户名和密码即可登录。
注意,以下演示的命令中 tag 的前面是我的用户名 doubledong,如果你想制作自己的镜像,请自行替换为你自己的用户名。
使用 --push 参数构建好的镜像推送到 Docker 仓 构库。
构建命令如下:
在本地构建支持 7 种 platform 的镜像
root@i-tpmja312:~/demo# docker buildx build --platform linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/386,linux/ppc64le,linux/s390x -t doubledong/hello . --push # 查看镜像信息 root@i-tpmja312:~/demo# docker buildx imagetools inspect doubledong/hello Name: docker.io/doubledong/hello:latest MediaType: application/vnd.docker.distribution.manifest.list.v2+json Digest: sha256:7fd51fbd9f5a478c751ab2138d87341da7937b82bbf2362b23d474727b2c7234 Manifests: Name: docker.io/doubledong/hello:latest@sha256:564098e26174ef2142fbb8bf21d3e57bc2cb31e31933e6e23c5ee8a7bea05219 MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/amd64 &nbs建多p; Name: docker.io/doubledong/hello:latest@sha256:d378c84bcd8bce4b5d771be692bd251a8cb3bbaca9f203d20a5da6989d42c614 MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/arm/v6 Name: docker.io/doubledong/hello:latest@sha256:1968399b3651bbcb0dc6218e6dfcb261995723decf39b9c80327624409158ff5 MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/arm/v7 Name: docker.io/doubledong/hello:latest@sha256:62ac2af6e39ab10e77d83114931ff1abe449c30a86d0bf590d4bbf71836dcec1 MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/arm64 Name: &nb种系sp;docker.io/doubledong/hello:latest@sha256:3ef9adac67717528ca95f89c184830aa072da155fc17e2a7e95dd9433d9aab51 MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/386 Name: docker.io/doubledong/hello:latest@sha256:67e4c3e5c7eca8af5909373446e9e5fa6d1083223b3766bb8e9e6f41c01ca43b MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/ppc64le Name: docker.io/doubledong/hello:latest@sha256:f3dc2d058e4915a61281d945ae92e77b44e2b81a601c63470ce1912e4e29c53e MediaType: application/vnd.docker.distribution.manifest.v2+json Platform: linux/s390x
.命令执行成功后,你就会在 Docker Hub 看到你上传的镜像啦。示例图如下:
做完上面的那一步,实际上是把构建好的镜像放在了本地路径下,此时我们再来查看一下已有的 builder 实例。
root@i-tpmja312:~/d统架emo# docker buildx ls NAME/NODE DRIVER/ENDPOINT STATUS PLATFORMS mybuilder * docker-container mybuilder0 unix:///var/run/docker.sock running linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/mips64le, linux/mips64, linux/arm/v7, linux/arm/v6 default docker default default running linux/amd64, linux/386
你会发现 mybuilder 下存在 8 种支持的架构(riscv64 目前还用不上,但是已经支持)。
此时查看一下 docker image 的运行情况,会发现存在一个名为 buildx_buildkit_mybuilder0 的容器在运行。
这是刚才在本地构建时,自动创建的,切记不要将其停止,也不要删除。
root@i-tpmja312:~/demo# docker p构镜s -as|grep buildx_buildkit e274b21faea2 moby/buildkit:buildx-stable-1 "buildkitd" 7 minutes ago Up 7 minutes buildx_buildkit_mybuilder0 &nb使用sp; 0B (virtual 144MB) 6. 写在最后
在制作多系统架构的 Docker 镜像时,建议使用 CPU 比较强或者多核心的 vps 来构建,否则会非常耗时,本篇文章主要讲的是手动进行多架构镜像的构建,也可以是用cicd工具来自动化进行构建,后续文章进行说明
参考链接:
https://yeasy.gitbook.io/docker_practice/image/manifest
https://github.com/docker/buildx#installing
本文转载自微信公众号「 运维开发故事」
-
和GPT聊天就能修图?Adobe联手OpenAI,Photoshop正式接入ChatGPT,创意门槛再降低!标签: 00后 豆包 腾讯元宝 泡泡玛特阿里云通义千问开源72B、1.8B两款大语言模型 并首度开源音频大模型标签: Maxgent 田值 王慧文 FCOS定了!张勇发全员信:阿里云将分拆上市Sora2史诗更新!免费用户可生成15秒视频,Pro 用户升级至25秒苹果连续12年蝉联全球最具价值品牌,报告揭示信任与设计重于 AI 狂热GPT-5偏见测试结果公布:500问验证客观性飞跃,情感化问题仍是挑战标签: 智冉医疗 Neuralink 脑机接口 侵入式Meta 与 UCSD 推出 DeepConf:AI 推理准确率达 99.9%,计算成本降低 85%
- ·标签: 红果短剧 王凯沐 徐轸轸 字节跳动
- ·对冲基金敦促英特尔进行重大分拆:剥离芯片制造业务加强竞争力
- ·谷歌DeepMind 发布 VaultGemma 具备差分隐私能力
- ·华人博士生首次尝试用两个Transformer构建一个GAN
- ·标签: 鑫华半导体 招商证券 独角兽企业 IPO辅导
- ·2021年对身份管理的期望
- ·标签: SensorTower AppMagic 移动应用情报 游戏数据分析
- ·标签: 摩尔线程 MTTS5000 GPU AI
- ·外媒:亚马逊和谷歌赢得日本政府云计算合同
- ·如何制定一个成功的数据科学培训计划
- ·标签: 瑞芯微 RK3588 RK182X AIoT
- ·标签: 长安马自达 邓智涛 叶沛 长安汽车
- ·Twitter正在测试新版电子商务功能
- ·Anthropic 推出 Claude “skills” 功能,提升 AI 工作效率
- ·标签: MCU 智能家电 芯片 中微半导体 消费电子
- ·标签: 融泰药业 中信证券 港股IPO 医药服务
- ·阿里云连续四个季度增速上涨,新战略见成效?
- ·火山引擎、阿里云、腾讯云联合发布“超低延时”直播技术标准
- ·云安全日报220614:IBM i操作系统发现HTTP请求走私攻击漏洞,需要尽快升级
- ·云计算核心技术Docker教程:Docker Hub为Docker Hub启用双重身份验证
- ·巨大争议之下 纽约警方将其配备的机器狗退回波士顿动力
- ·标签: 安世半导体 闻泰科技 张学政 芯片出口
- ·谷歌证实包括Gmail在内的大批服务中断
- ·英特尔复苏计划导致利润承压 数据中心业务疲软引发担忧
- ·VAST重磅发布Tripo 3.0!AI 3D建模新王者诞生,4000万数据集震撼全球
- ·云安全日报210122:华为云虚拟化平台发现远程代码执行漏洞,需要尽快升级
- ·https://www.vietnamconsulate-sf.org/?action=CHECK&s=谷歌霸屏业务【tg:seogoogle987】,2yo
- ·https://www.metaltix.com/?view=tours&filter=search&q=谷歌霸屏业务【tg:seogoogle987】,Ggl
- ·https://www.impactpool.org/search/?type=79&q=谷歌霸屏业务【tg:seogoogle987】ZNQ
- ·https://www.pmindia.gov.in/en/?s=谷歌霸屏业务【tg:seogoogle987】,mNN
- ·https://www.selfsufficientish.com/main/?s=谷歌霸屏业务【tg:seogoogle987】,i88
- ·https://www.ons.gov.uk/search?q=谷歌霸屏业务【tg:seogoogle987】,JXF
- ·https://hsmoa.com/search?query=谷歌霸屏业务【tg:seogoogle987】EDJ
- ·https://search.danawa.com/dsearch.php?query=谷歌霸屏业务【tg:seogoogle987】UUe
- ·https://www.abbreviations.com/谷歌霸屏业务【tg:seogoogle987】FB2
- ·https://www.swecobelgium.be/?page=9&s=谷歌霸屏业务【tg:seogoogle987】,Hzf
- ·Vercel v0工具推出图像编辑新功能:设计模式下轻松重生与提示优化
- ·标签: 腾讯元宝 AI拜年图片 低俗输出 模型异常
- ·华为硬核上新:Pura90 系列领衔,AI眼镜与阔折叠手机齐亮相
- ·Anthropic为Claude推出Skills功能:支持自定义技能包和代码执行,提升工作流自动化能力
- ·标签: 奥克斯电气 家用空调 中央空调 财报
- ·云计算核心技术Docker教程:Docker配置 GitHub 操作
- ·标签: World Labs 李飞飞 Marble 大型世界模型
- ·浜戣�绠楀紑鍙戯細Python鍐呯疆鍑芥暟-iter() 鍑芥暟璇﹁В
- ·啥也不是这句话是什么梗
- ·云计算不相信小厂
