流 年

在 Ai 项目中经过会有 .onnx 格式的模型文件，那么它到底是干什么的呢？

了解这个首先要了解 ONNX 是什么。

ONNX

ONNX（即开放神经网络交换）是一种用于深度学习模型的开源标准，用来表示深度学习模型的开放格式。所谓开放就是 ONNX 定义了一组与环境、平台均无关的标准格式，来增强各种 AI 模型的可交互性。是由 Facebook 和 Microsoft 共同开发的，目的是让研究人员和工程师更容易在不同的深度学习框架和硬件平台之间迁移模型。

ONNX 的主要优点之一是它允许轻松地从一个框架（例如 PyTorch ）导出模型，并导入到另一个框架（例如 TensorFlow）中。这对于想要尝试不同框架来训练和部署模型的研究人员，或者需要在不同硬件平台上部署模型的工程师特别有吸引力。

……

前几天的折腾中，终于把基于英伟达 GPU 的 CUDA 计算引擎推理模型环境搭建起来， 相比 CPU 一下子快了不少。

在解读 roop 项目源码时，发现它其实引用了一个开源人脸识别库 InsightFace ， 查资料发现背后的团队竟然是国人主导的，并且这个开源项目在github上的关注度非常高， 突然很惊讶，原来国内的人脸识别技术还是全球领先的。

分析源码，整个换脸过程大概分为几个步骤：

• 将视频按帧数要求切成图片
• 对每一张图片进行处理：检测出其中的人脸及其特征，等待程模型推理；在该阶段使用经典的面部处理库insightface进行面部的检测和特征识别；
• 发现存在的源脸和需要更换的目标脸后，针对每一帧进行换脸模型（Inswapper128）的推理，并且引入图像处理（插值&缝合边缘的高斯模糊&…）和面部修复模型（GFPGAN/CodeFormer）来提高最终产生的图像质量；
• 用ffmpeg工具命令将换脸后的图片合成成视频;

……

有了英伟达显卡终于可以作一些开源Ai项目的研究测试了。 今天准备对大名鼎鼎的 roop （视频人脸替换）项目做一下效果测试。

环境搭建

首先要安装 Anaconda：安装笔记

为了 python的依赖下载更快，配置国内更新源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --set show_channel_urls yes

……

因为很多 Ai 模型基于英伟达显卡的 cuda，之前的电脑都没有英伟达显卡，所以最近特意买了 一款英伟达显卡的笔记本捣腾。

前几天笔记本刚买回来，为了节省时间直接把 nuc（inter显卡）mini主机的 ssd 硬盘插过来， 但安装 nvidia 时一直报错，可能因为原系统依赖各种不匹配导致的，于是最终还是重装了 ubuntu 系统。

今天终于在新安装的 ubuntu22.04 版本系统下将它搞定了。

安装步骤

首先去官网下载驱动程序：nvidia

如下图，选择对应的显卡型号（例如我笔记本为 Rtx4060 ）：

……

因2024年要加入公司的运维组了，最近必须提前预习一下 docker swarm 模式下常见的命令以及部署方法等，故整理了一些资料。

什么是Swarm

Swarm这个名称特别贴切。在Wiki中解释道：

Swarm behavior是指动物的群集行为。比如我们常见的蜂群，鱼群，秋天往南飞的雁群都可以称作Swarm behavior。

Swarm通过把多个Docker Engine聚集在一起，形成一个大的docker-engine，对外提供容器的集群服务。同时这个集群对外提供Swarm API，用户可以像使用Docker Engine一样使用Docker集群。

……