Servers

Submitting Multiple Jobs Quickly

/usr/bin/mpirun -v -np 28 -machinefile $PBS_NODEFILE ./myexe ${NUMBERARG} ${LETTERARG}
#!/bin/bash
for NUMBERS in 1 2 3 4 5; do
    for LETTERS in a b c d e; do
         qsub -v NUMBERARG=$NUMBERS,LETTERARG=$LETTERS my_qsub_script.pbs
    done
done
chmod +x submit_multiple_jobs.sh
./submit_multiple_jobs.sh

refer to Submitting Multiple Jobs Quickly.

PBS passing argument list

qsub your.job -v arg1=val1,arg2=val2

PBS cheat sheet

PBS Script

安装 spark

~~在内地云主机上,官网下载地址 还没 5 秒就中断了,然后找到了清华的镜像~~

第二天发现,其实不是中断了,而是下载完成了,因为那个还不是下载链接,点进去才有推荐的下载链接,而这些链接也是推荐的速度快的镜像。

顺带学习了 wget 重新下载 -c 和重复尝试 -t 0 的选项。

upgrade Java 7 to Java 8:

最近 oracle 更改了 license,导致 ppa 都用不了了

源码安装

而且第一次听说 update-alternatives 命令,有点类似更改默认程序的感觉。

接着按照 official documentation 进行学习

AWS

  1. 上传文件
scp -i MyKeyFile.pem FileToUpload.pdf ubuntu@ec2-123-123-123-123.compute-1.amazonaws.com:FileToUpload.pdf

refer to Uploading files on Amazon EC2

  1. mirror 镜像

wget http://apache.mirrors.tds.net/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

  1. slave 结点连接不上 master
Caused by: java.io.IOException: Connecting to ×××× timed out (120000 ms)

安全组配置,后台允许 7077 端口 In,本来以为同在一个 VPC 不需要配置。

  1. AWS 结点间免密登录

Passwordless ssh between two AWS instances