xyliucd的个人博客分享 http://blog.sciencenet.cn/u/xyliucd

博文

Intel+MKL编译vasp-5.3.5

已有 4963 次阅读 2020-6-25 23:07 |个人分类:超算技术|系统分类:科研笔记| vasp, 编译, 超算

vasp的编译既简单又复杂——很容易得到执行文件(简单),但是计算速度如何又另说了(真不是夸张)。笔者经过GNU编译的各种坑,最后测试还是Intel编译的并行版本速度最快。以下以5.3.5版本为例,说一下使用Intel Parallel Studio 2017的编译过程*。

*注:参考https://software.intel.com/content/www/us/en/develop/articles/building-vasp-with-intel-mkl-and-intel-compilers.html


系统:CentOS 7

编译环境:Intel parallel studio 2017

其他说明:将vasp.5.3.5.tar.gz和vasp.5.lib.tar.gz放在同一目录下。


Step 1:编译vasp.lib

$ tar -vxf vasp.5.lib.tgz
$ cd vasp.5.lib

修改makefile.linux_ifc_P4的编译器如下:

CPP     = icc -E -P -C $*.F >$*.f
FC=ifort

然后编译vasp.lib,编译完成后回到上级目录:

$ make -f makefile.linux_ifc_P4

$ cd ..


Step 2: 编译vasp-5.3.5

解压:

$ tar -vxf  vasp.5.3.5.tar.gz
$ cd vasp.5.3

在makefile.linux_ifc_P4基础上修改,笔者这里直接贴出修改后的结果,可以直接拷贝做成一个新的makefile.intel2017:

.SUFFIXES: .inc .f .f90 .F
SUFFIX=.f90
FC=mpiifort 
FCL=$(FC)
CPP_ =  ./preprocess <$*.F | /usr/bin/cpp -P -C -traditional >$*$(SUFFIX)
CPP_=fpp -f_com=no -free -w0 $*.F $*$(SUFFIX) 
FFLAGS = -FR -names lowercase -assume byterecl -I$(MKLROOT)/include/fftw
OFLAG=-O2 -xHost
OFLAG_HIGH = $(OFLAG)
OBJ_HIGH = 
OBJ_NOOPT = 
DEBUG  = -FR -O0
INLINE = $(OFLAG)
MKL_PATH=$(MKLROOT)/lib/intel64
MKL_FFTW_PATH=$(MKLROOT)/interfaces/fftw3xf/
BLAS= -mkl=cluster 
LAPACK=
LIB  = -L../vasp.5.lib -ldmy \
     ../vasp.5.lib/linpack_double.o $(LAPACK) \
     $(BLAS)
LINK =
CPP    = $(CPP_) -DMPI  -DHOST=\"LinuxIFC\" -DIFC \
     -DCACHE_SIZE=32000 -DPGF90 -Davoidalloc -DNGZhalf \
     -DMPI_BLOCK=64000 -Duse_collective -DscaLAPACK  -DMKL_ILP64
FFT3D   = fftmpiw.o fftmpi_map.o  fftw3d.o  fft3dlib.o  /opt/intel/mkl/lib/intel64/libfftw2xf_double_intel.a
INCS = -I$(MKLROOT)/include/fftw 
BASIC=   symmetry.o symlib.o   lattlib.o  random.o   
SOURCE=  base.o     mpi.o      smart_allocate.o      xml.o  \
         constant.o jacobi.o   main_mpi.o  scala.o   \
         asa.o      lattice.o  poscar.o   ini.o  mgrid.o  xclib.o  vdw_nl.o  xclib_grad.o \
         radial.o   pseudo.o   gridq.o     ebs.o  \
         mkpoints.o wave.o     wave_mpi.o  wave_high.o  spinsym.o \
         $(BASIC)   nonl.o     nonlr.o    nonl_high.o dfast.o    choleski2.o \
         mix.o      hamil.o    xcgrad.o   xcspin.o    potex1.o   potex2.o  \
         constrmag.o cl_shift.o relativistic.o LDApU.o \
         paw_base.o metagga.o  egrad.o    pawsym.o   pawfock.o  pawlhf.o   rhfatm.o  hyperfine.o paw.o   \
         mkpoints_full.o       charge.o   Lebedev-Laikov.o  stockholder.o dipol.o    pot.o \
         dos.o      elf.o      tet.o      tetweight.o hamil_rot.o \
         chain.o    dyna.o     k-proj.o    sphpro.o    us.o  core_rel.o \
         aedens.o   wavpre.o   wavpre_noio.o broyden.o \
         dynbr.o    hamil_high.o  rmm-diis.o reader.o   writer.o   tutor.o xml_writer.o \
         brent.o    stufak.o   fileio.o   opergrid.o stepver.o  \
         chgloc.o   fast_aug.o fock_multipole.o  fock.o  mkpoints_change.o sym_grad.o \
         mymath.o   internals.o npt_dynamics.o   dynconstr.o dimer_heyden.o dvvtrajectory.o subdftd3.o \
         vdwforcefield.o nmr.o      pead.o     subrot.o   subrot_scf.o  paircorrection.o \
         force.o    pwlhf.o    gw_model.o optreal.o  steep.o    davidson.o  david_inner.o \
         electron.o rot.o  electron_all.o shm.o    pardens.o  \
         optics.o   constr_cell_relax.o   stm.o    finite_diff.o elpol.o    \
         hamil_lr.o rmm-diis_lr.o  subrot_cluster.o subrot_lr.o \
         lr_helper.o hamil_lrf.o   elinear_response.o ilinear_response.o \
         linear_optics.o \
         setlocalpp.o  wannier.o electron_OEP.o electron_lhf.o twoelectron4o.o \
         gauss_quad.o m_unirnk.o minimax_tabs.o minimax.o \
         mlwf.o     ratpol.o screened_2e.o wave_cacher.o chi_base.o wpot.o \
         local_field.o ump2.o ump2kpar.o fcidump.o ump2no.o \
         bse_te.o bse.o acfdt.o chi.o sydmat.o \
         lcao_bare.o wnpr.o dmft.o \
         rmm-diis_mlr.o  linear_response_NMR.o wannier_interpol.o linear_response.o  auger.o getshmem.o \
         dmatrix.o
vasp: $(SOURCE) $(FFT3D) $(INC) main.o 
        rm -f vasp
        $(FCL) -o vasp main.o  $(SOURCE)   $(FFT3D) $(LIB) $(LINK)
makeparam: $(SOURCE) $(FFT3D) makeparam.o main.F $(INC)
        $(FCL) -o makeparam  $(LINK) makeparam.o $(SOURCE) $(FFT3D) $(LIB)
zgemmtest: zgemmtest.o base.o random.o $(INC)
        $(FCL) -o zgemmtest $(LINK) zgemmtest.o random.o base.o $(LIB)
dgemmtest: dgemmtest.o base.o random.o $(INC)
        $(FCL) -o dgemmtest $(LINK) dgemmtest.o random.o base.o $(LIB) 
ffttest: base.o smart_allocate.o mpi.o mgrid.o random.o ffttest.o $(FFT3D) $(INC)
        $(FCL) -o ffttest $(LINK) ffttest.o mpi.o mgrid.o random.o smart_allocate.o base.o $(FFT3D) $(LIB)
kpoints: $(SOURCE) $(FFT3D) makekpoints.o main.F $(INC)
        $(FCL) -o kpoints $(LINK) makekpoints.o $(SOURCE) $(FFT3D) $(LIB)
clean:  
        -rm -f *.g *.f *.o *.L *.mod ; touch *.F
main.o: main$(SUFFIX)
        $(FC) $(FFLAGS)$(DEBUG)  $(INCS) -c main$(SUFFIX)
xcgrad.o: xcgrad$(SUFFIX)
        $(FC) $(FFLAGS) $(INLINE)  $(INCS) -c xcgrad$(SUFFIX)
xcspin.o: xcspin$(SUFFIX)
        $(FC) $(FFLAGS) $(INLINE)  $(INCS) -c xcspin$(SUFFIX)
makeparam.o: makeparam$(SUFFIX)
        $(FC) $(FFLAGS)$(DEBUG)  $(INCS) -c makeparam$(SUFFIX)
makeparam$(SUFFIX): makeparam.F main.F 
base.o: base.inc base.F
mgrid.o: mgrid.inc mgrid.F
constant.o: constant.inc constant.F
lattice.o: lattice.inc lattice.F
setex.o: setexm.inc setex.F
pseudo.o: pseudo.inc pseudo.F
mkpoints.o: mkpoints.inc mkpoints.F
wave.o: wave.F
nonl.o: nonl.inc nonl.F
nonlr.o: nonlr.inc nonlr.F
$(OBJ_HIGH):
        $(CPP)
        $(FC) $(FFLAGS) $(OFLAG_HIGH) $(INCS) -c $*$(SUFFIX)
$(OBJ_NOOPT):
        $(CPP)
        $(FC) $(FFLAGS) $(INCS) -c $*$(SUFFIX)
fft3dlib_f77.o: fft3dlib_f77.F
        $(CPP)
        $(F77) $(FFLAGS_F77) -c $*$(SUFFIX)
.F.o:
        $(CPP)
        $(FC) $(FFLAGS) $(OFLAG) $(INCS) -c $*$(SUFFIX)
.F$(SUFFIX):
        $(CPP)
$(SUFFIX).o:
        $(FC) $(FFLAGS) $(OFLAG) $(INCS) -c $*$(SUFFIX)
fft3dlib.o : fft3dlib.F
        $(CPP)
        $(FC) -FR -lowercase -O2 -c $*$(SUFFIX)
fft3dfurth.o : fft3dfurth.F
        $(CPP)
        $(FC) -FR -lowercase -O1 -c $*$(SUFFIX)
fftw3d.o : fftw3d.F
        $(CPP)
        $(FC) -FR -lowercase -O1 $(INCS) -c $*$(SUFFIX)
fftmpi.o : fftmpi.F
        $(CPP)
        $(FC) -FR -lowercase -O1 -c $*$(SUFFIX)
fftmpiw.o : fftmpiw.F
        $(CPP)
        $(FC) -FR -lowercase -O1 $(INCS) -c $*$(SUFFIX)
wave_high.o : wave_high.F
        $(CPP)
        $(FC) -FR -lowercase -O1 -c $*$(SUFFIX)
wave.o : wave.F
        $(CPP)
        $(FC) -FR -lowercase -O2 -c $*$(SUFFIX)
paw.o : paw.F
        $(CPP)
        $(FC) -FR -lowercase -O1 -c $*$(SUFFIX)
cl_shift.o : cl_shift.F
        $(CPP)
        $(FC) -FR -lowercase -O2 -c $*$(SUFFIX)
us.o : us.F
        $(CPP)
        $(FC) -FR -lowercase -O1 -c $*$(SUFFIX)
LDApU.o : LDApU.F
        $(CPP)
        $(FC) -FR -lowercase -O2 -c $*$(SUFFIX)

注意这里笔者使用的是libfftw2xf_double_intel.a库文件,因为使用3或者单精度版本会导致有些计算出错。

然后编译即可(这里不要加-j参数,会出错):

$ make -f makefile.intel2017

即在该目录下生成可执行文件vasp。


Step 3(可选): vasp的modulefile和slurm脚本

笔者设置的vasp modulefile如下:

#%Module 1.0
conflict vasp
prepend-path    PATH             /opt/vasp/5.3.5/bin

针对笔者自己搭建的超算集群,vasp的slurm脚本如下:

#! /bin/bash    
# 这里指定作业名称,注意vasp的输入文件无需特意指定    
#SBATCH --job-name=test    

# 提交到哪个队列(分区)    
#SBATCH --partition=E5-2640V4    

# 使用多少个节点    
#SBATCH --nodes=4    

# 每个节点使用多少核    
#SBATCH --ntasks-per-node=20    

# 错误和输出文件    
#SBATCH --error=%j.err    
#SBATCH --output=%j.out    

# 加载vasp    
module load vasp/5.3.5    

# 以下行如果不懂,可以不管,按默认的即可。如果你知道其含义的话,可以进行自定义修改。    

# 以下生成MPI的nodelist    
CURDIR=`pwd`    
rm -rf $CURDIR/nodelist.$SLURM_JOB_ID    
NODES=`scontrol show hostnames $SLURM_JOB_NODELIST`    
for i in $NODES    
do    
echo "$i:$SLURM_NTASKS_PER_NODE" >> $CURDIR/nodelist.$SLURM_JOB_ID    
done    
# 生成nodelist结束    

# 通过MPI运行VASP    
mpirun -genv I_MPI_FABRICS=tcp -machinefile $CURDIR/nodelist.$SLURM_JOB_ID vasp > $SLURM_JOB_NAME.sta    

# 运行完后清理nodelist    
rm -rf $CURDIR/nodelist.$SLURM_JOB_ID




https://m.sciencenet.cn/blog-1113299-1239362.html

上一篇:编译cp2k-6.1的并行计算版本

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-23 20:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部