Perlmutter

如果这是您第一次在 Perlmutter 上构建 MFIX-Exa，请先查看下面的常规说明和 基础知识 部分。

  • 本系统的文档可以在 这里 找到。

  • Perlmutter 可以从安装有 ssh 客户端的系统访问。这些连接同样适用于 NETL 的 SciLAN 和 Joule：

    ssh <username>@perlmutter-p1.nersc.gov
ssh <username>@saul-p1.nersc.gov

    使用您的 Iris 密码 + (Google) 验证器密码登录。

  • 这些说明在登录节点上使用 -j8 CPUs 构建 MFIX-Exa。 如果流量较高，您可能需要降低此值； 或者如果您在计算节点上进行交互，您可能希望增加此值。

  • cmake 指令编译到 build 目录。 gmake 指令编译到 exec 目录。

  • 对于依赖项，假设您已设置以下环境变量：

    export HYPRE_INSTALL_DIR=$HOME/<path/to/my/hypre-install-dir>
export CSG_INSTALL_DIR=$HOME/<path/to/my/csg-dep-install-dir>
export CSG_LIB_DIR=$HOME/<path/to/my/csg-lib-install-dir>
export ASCENT_INSTALL_DIR=$HOME/<path/to/my/ascent-install-dir>

    到您有读写权限的路径，比如对应您账户的 $SCRATCH 空间中。 如果您希望使用可选依赖项构建 MFIX-Exa，您需要记住这些路径。

  • 构建 mfix 可执行文件（使用 cmake）后，您可以通过在 build 目录中执行以下命令来构建 PIC-to-DEM 重启应用程序

    cmake --build . --target pic2dem

警告

目前，带有 hypre 支持的 cmake GPU 构建 可以链接但不能运行。我们仍在调查，但建议目前在 Perlmutter 上使用 gmake。

基础知识

源代码

构建之前，请首先按照 MFIX-Exa 网站 上的说明获取源代码的副本。

模块

下面的所有构建说明都已使用以下模块和环境助手测试过

module load PrgEnv-gnu/8.3.3
module load cmake/3.22.0

export CC=cc
export CXX=CC
export FC=ftn

启用 GPU 的构建还需要

module load cudatoolkit/11.5

export CUDACXX=$(which nvcc)
export CUDAHOSTCXX=CC

export MPICH_GPU_SUPPORT_ENABLED=1
export CRAY_ACCEL_TARGET=nvidia80

利用外部依赖项的完整构建，还需要设置某些环境变量，如下所述。

构建 MFIX-Exa

以下命令是超级构建指令，即 AMReX 作为 MFIX-Exa 构建过程的一部分构建。 要使用 hypre、csg 和/或 ascent 依赖项构建 MFIX-Exa， 您首先需要构建和安装这些库及其依赖项。 下面提供了构建必要依赖项的说明， 并且应该首先成功安装。有两种主要的代码构建方法 cmake 和 gmake，它们分别在下面提供。

cmake

cmake -DMFIX_MPI=yes \
      -DMFIX_OMP=no \
      -DMFIX_GPU_BACKEND=NONE \
      -DAMReX_TINY_PROFILE=no \
      -DMFIX_CSG=no \
      -DMFIX_HYPRE=no \
      -DCMAKE_BUILD_TYPE=Release \
      ../
make -j8

gmake

make -C exec -j8 \
     COMP=gnu \
     USE_MPI=TRUE \
     USE_OMP=FALSE \
     USE_CUDA=FALSE \
     USE_TINY_PROFILE=FALSE \
     USE_CSG=FALSE \
     USE_HYPRE=FALSE \
     DEBUG=FALSE

可选构建依赖

在遵循上述完整构建说明之前，需要构建和安装以下依赖项。

  1. HYPRE

    git clone https://github.com/hypre-space/hypre.git
pushd hypre/src/
git checkout v2.26.0
./configure --prefix=$HYPRE_INSTALL_DIR --with-MPI
make -j8 install
popd

  2. Catch2

    git clone --depth 1 --branch v2.13.7 https://github.com/catchorg/Catch2
pushd Catch2/
cmake -S . -B build -DCMAKE_INSTALL_PREFIX=$CSG_INSTALL_DIR
cd build/
make -j8 install
popd

  3. GMP

    wget --no-check-certificate https://ftp.gnu.org/gnu/gmp/gmp-6.2.1.tar.xz
tar -xf gmp-6.2.1.tar.xz
pushd gmp-6.2.1
./configure --prefix=$CSG_INSTALL_DIR
make -j8 install
popd

  4. MPFR

    wget --no-check-certificate https://ftp.gnu.org/gnu/mpfr/mpfr-4.1.0.tar.xz
tar -xf mpfr-4.1.0.tar.xz
pushd mpfr-4.1.0/
./configure --with-gmp=$CSG_INSTALL_DIR --prefix=$CSG_INSTALL_DIR
make -j8 install
popd

  5. Boost

    wget https://boostorg.jfrog.io/artifactory/main/release/1.81.0/source/boost_1_81_0.tar.gz
tar -zxvf boost_1_81_0.tar.gz
pushd boost_1_81_0/
./bootstrap.sh
./b2 install --prefix=$CSG_INSTALL_DIR
popd

  6. CGAL

    git clone --depth 1 --branch v5.3 https://github.com/CGAL/cgal
pushd cgal/
cmake -S . -B build -DCMAKE_INSTALL_PREFIX=$CSG_INSTALL_DIR \
                    -DCMAKE_C_COMPILER=$(which cc) \
                    -DCMAKE_CXX_COMPILER=$(which CC)
cd build/
make -j8 install
popd

  7. PEGTL

    git clone --branch 3.2.2 https://github.com/taocpp/PEGTL
pushd PEGTL/
cmake -S . -B build -DCMAKE_INSTALL_PREFIX=$CSG_INSTALL_DIR
cd build/
make -j8 install
popd

  8. CSG EB 库 (gmake)

    对于 gmake 安装说明，您需要使用 cmake 或 gmake 将 libcsgeb 安装到 $CSG_LIB_DIR：

    cd subprojects/csg-eb

export CMAKE_PREFIX_PATH=$CMAKE_PREFIX_PATH:$CSG_INSTALL_DIR

cmake -S . -B build -DCMAKE_INSTALL_PREFIX=$CSG_LIB_DIR \
                    -DCMAKE_BUILD_TYPE=Release

cd build
make -j8 install

  9. Conduit

    git clone --recursive https://github.com/LLNL/conduit.git
pushd conduit/
git checkout v0.8.4
mkdir build && cd build
cmake -S ../src -DCMAKE_INSTALL_PREFIX=$ASCENT_INSTALL_DIR \
      -DENABLE_OPENMP=OFF \
      -DENABLE_MPI=ON \
      -DENABLE_CUDA=OFF \
      -DCMAKE_BUILD_TYPE=Release
make -j8 install
popd

  10. Vtk-m

    git clone --branch master https://gitlab.kitware.com/vtk/vtk-m.git
pushd vtk-m/
git checkout v1.9.0
mkdir build && cd build/
cmake -S ../ -DCMAKE_INSTALL_PREFIX=$ASCENT_INSTALL_DIR \
      -DVTKm_ENABLE_OPENMP=OFF \
      -DVTKm_ENABLE_MPI=ON \
      -DVTKm_ENABLE_CUDA=OFF \
      -DVTKm_USE_64BIT_IDS=OFF \
      -DVTKm_USE_DOUBLE_PRECISION=ON \
      -DVTKm_USE_DEFAULT_TYPES_FOR_ASCENT=ON \
      -DVTKm_NO_DEPRECATED_VIRTUAL=ON \
      -DCMAKE_BUILD_TYPE=Release
make -j8 install
popd

  11. Ascent

    git clone --recursive https://github.com/Alpine-DAV/ascent.git
pushd ascent
git checkout v0.9.0
mkdir build && cd build/
cmake -S ../src -DCMAKE_INSTALL_PREFIX=$ASCENT_INSTALL_DIR \
      -DCONDUIT_DIR=$ASCENT_INSTALL_DIR \
      -DVTKM_DIR=$ASCENT_INSTALL_DIR \
      -DENABLE_VTKH=ON \
      -DENABLE_FORTRAN=OFF \
      -DENABLE_PYTHON=OFF \
      -DENABLE_DOCS=OFF \
      -DBUILD_SHARED_LIBS=ON \
      -DCMAKE_BUILD_TYPE=Release \
      -DENABLE_GTEST=OFF \
      -DENABLE_TESTS=OFF
make -j8 install
popd

运行作业

常用的 Slurm 命令：

  • sinfo 查看可用/已分配的资源

  • sbatch runit_cpu.sh 提交一个 CPU 作业到队列

  • squeue -u USER 检查用户 USER 的作业状态

  • squeue -p PARTITION 检查分区 PARTITION 的作业状态

  • scancel JOBID 终止 ID 为 JOBID 的作业

  • salloc –nodes 1 –qos interactive –time 01:00:00 –constraint gpu –gpus 4 –account=<ACCOUNT> 获取 1 个 GPU 节点（最多 1 小时）

示例运行脚本：

#!/bin/bash
#SBATCH --job-name run-mfix-exa
#SBATCH -o stdout.%x-%j
#SBATCH -e stderr.%x-%j
#SBATCH --account=<ACCOUNT>
#SBATCH --qos=<QOS>
#SBATCH --constraint=cpu
#SBATCH --time=00:02:00
#SBATCH --nodes=2
#SBATCH --ntasks-per-node=16

# 加载用于构建的模块
module load PrgEnv-gnu/8.3.3
module load cmake/3.22.0

srun -n 32 --cpu-bind=cores -c 16 ./mfix inputs > screen.txt