00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd

This Rmd file will download raw RNA-seq FastQs for A.pulchra and evaluate them using FastQC and MultiQC(Ewels et al. 2016).

1 Create a Bash variables file

This allows usage of Bash variables across R Markdown chunks.

{
echo "#### Assign Variables ####"
echo ""

echo "# Data directories"
echo 'export timeseries_dir=/home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular'
echo 'export output_dir_top=${timeseries_dir}/D-Apul/output/00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd'
echo 'export raw_fastqc_dir=${timeseries_dir}/D-Apul/${output_dir_top}/raw-fastqc'
echo 'export raw_reads_dir=${timeseries_dir}/D-Apul/data/raw-fastqs'
echo 'export raw_reads_url="https://owl.fish.washington.edu/nightingales/E5-coral-time-series/30-1047560508/"'
echo ""

echo "# Paths to programs"
echo 'export fastqc=/home/shared/FastQC-0.12.1/fastqc'
echo 'export multiqc=/home/sam/programs/mambaforge/bin/multiqc'
echo ""

echo "# Set FastQ filename patterns"
echo "export fastq_pattern='*.fastq.gz'"
echo "export R1_fastq_pattern='*_R1_*.fastq.gz'"
echo "export R2_fastq_pattern='*_R2_*.fastq.gz'"
echo ""

echo "# Set number of CPUs to use"
echo 'export threads=40'
echo ""


echo "## Inititalize arrays"
echo 'export fastq_array_R1=()'
echo 'export fastq_array_R2=()'
echo 'export raw_fastqs_array=()'
echo 'export R1_names_array=()'
echo 'export R2_names_array=()'
echo ""

echo "# Programs associative array"
echo "declare -A programs_array"
echo "programs_array=("
echo '[fastqc]="${fastqc}" \'
echo '[multiqc]="${multiqc}" \'
echo ")"
echo ""

echo "# Print formatting"
echo 'export line="--------------------------------------------------------"'
echo ""
} > .bashvars

cat .bashvars

#### Assign Variables ####

# Data directories
export timeseries_dir=/home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular
export output_dir_top=${timeseries_dir}/D-Apul/output/00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd
export raw_fastqc_dir=${timeseries_dir}/D-Apul/${output_dir_top}/raw-fastqc
export raw_reads_dir=${timeseries_dir}/D-Apul/data/raw-fastqs
export raw_reads_url="https://owl.fish.washington.edu/nightingales/E5-coral-time-series/30-1047560508/"

# Paths to programs
export fastqc=/home/shared/FastQC-0.12.1/fastqc
export multiqc=/home/sam/programs/mambaforge/bin/multiqc

# Set FastQ filename patterns
export fastq_pattern='*.fastq.gz'
export R1_fastq_pattern='*_R1_*.fastq.gz'
export R2_fastq_pattern='*_R2_*.fastq.gz'

# Set number of CPUs to use
export threads=40

## Inititalize arrays
export fastq_array_R1=()
export fastq_array_R2=()
export raw_fastqs_array=()
export R1_names_array=()
export R2_names_array=()

# Programs associative array
declare -A programs_array
programs_array=(
[fastqc]="${fastqc}" \
[multiqc]="${multiqc}" \
)

# Print formatting
export line="--------------------------------------------------------"

2 Download A.pulchra RNA-seq FastQs

2.1 Download raw RNA-seq reads

Reads are downloaded from https://owl.fish.washington.edu/nightingales/E5-coral-time-series/30-1047560508/

Since sequencing included multiple species, the code will also parse only those that are A.pulchra.

The --cut-dirs 3 command cuts the preceding directory structure (i.e. nightingales/E5-coral-time-series/30-1047560508/) so that we just end up with the reads.

# Load bash variables into memory
source .bashvars

# Make output directory if it doesn't exist
mkdir --parents ${raw_reads_dir}

# Create list of only A.pulchra sample names
sample_list=$(awk -F "," 'NR > 2 {print $5"\t"$6}' ${timeseries_dir}/data/rna_metadata.csv | awk -F"[\t-]" '$2 == "ACR" {print $1}')

echo ""
echo "${line}"
echo ""
echo "Sample list:"
echo ""
echo "${sample_list}"
echo ""
echo "${line}"
echo ""


# Use printf to format each item for use in wget
formatted_list=$(printf "*%s*," ${sample_list})

# Remove the trailing comma and append *.md5
formatted_list="${formatted_list%,},*.md5"

# Output the final wget command
echo ""
echo "${line}"
echo ""
echo "Formatted wget accept list:"
echo ""
echo "wget --accept=\"$formatted_list\""
echo ""
echo "${line}"
echo ""

# Run wget to retrieve FastQs and MD5 files
wget \
--directory-prefix ${raw_reads_dir} \
--recursive \
--no-check-certificate \
--continue \
--cut-dirs 3 \
--no-host-directories \
--no-parent \
--quiet \
--accept=\"$formatted_list\" ${raw_reads_url}

ls -lh "${raw_reads_dir}"

--------------------------------------------------------

Sample list:

1H6
1B1
1D3
1B5
1D6
1H7
1D9
1E9
1D8
1A12
1D4
2C1
1A9
1G5
1A2
2F1
1D10
1E1
1B9
2C2
2B3
1E5
1C4
2B2
2G1
1F8
1A10
2D2
1E3
1F4
1B10
1A1
1F11
1B2
1C10
2E2
1A8
1H12
1H8

--------------------------------------------------------


--------------------------------------------------------

Formatted wget accept list:

wget --accept="*1H6*,*1B1*,*1D3*,*1B5*,*1D6*,*1H7*,*1D9*,*1E9*,*1D8*,*1A12*,*1D4*,*2C1*,*1A9*,*1G5*,*1A2*,*2F1*,*1D10*,*1E1*,*1B9*,*2C2*,*2B3*,*1E5*,*1C4*,*2B2*,*2G1*,*1F8*,*1A10*,*2D2*,*1E3*,*1F4*,*1B10*,*1A1*,*1F11*,*1B2*,*1C10*,*2E2*,*1A8*,*1H12*,*1H8*,*.md5"

--------------------------------------------------------

total 116G
-rw-r--r-- 1 sam sam 1.4G Oct  3 08:30 10--1B2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 08:30 10--1B2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 08:32 10--1B2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 08:32 10--1B2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 2.1G Oct  3 08:42 102--2F1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:42 102--2F1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 2.1G Oct  3 08:45 102--2F1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:45 102--2F1_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 08:46 103--2G1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:46 103--2G1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 08:48 103--2G1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:48 103--2G1_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 08:57 106--2B2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:57 106--2B2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 08:59 106--2B2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 08:59 106--2B2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 09:01 107--2C2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:01 107--2C2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 09:03 107--2C2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:03 107--2C2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 09:05 108--2D2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:05 108--2D2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 09:07 108--2D2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:07 108--2D2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 09:09 109--2E2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:09 109--2E2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 09:11 109--2E2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:11 109--2E2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 09:31 114--2B3_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:31 114--2B3_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 09:33 114--2B3_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 09:33 114--2B3_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 08:26 1--1A1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 08:26 1--1A1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 08:28 1--1A1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 08:28 1--1A1_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 10:20 20--1D3_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:20 20--1D3_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 10:21 20--1D3_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:21 20--1D3_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 10:23 21--1E3_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:23 21--1E3_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 10:25 21--1E3_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:25 21--1E3_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 10:16 2--1B1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 10:16 2--1B1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 10:18 2--1B1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 10:18 2--1B1_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 10:45 27--1C4_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:45 27--1C4_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 10:47 27--1C4_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:47 27--1C4_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 10:49 28--1D4_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:49 28--1D4_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 10:51 28--1D4_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 10:51 28--1D4_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 11:00 30--1F4_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:00 30--1F4_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 11:02 30--1F4_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:02 30--1F4_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 11:17 34--1B5_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:17 34--1B5_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 11:19 34--1B5_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:19 34--1B5_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 11:28 37--1E5_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:28 37--1E5_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 11:30 37--1E5_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:30 37--1E5_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 11:36 39--1G5_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:36 39--1G5_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 11:38 39--1G5_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:38 39--1G5_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 11:56 44--1D6_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:56 44--1D6_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 11:58 44--1D6_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 11:58 44--1D6_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 12:20 5--1E1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 12:20 5--1E1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 12:22 5--1E1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 12:22 5--1E1_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 12:44 56--1H7_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 12:44 56--1H7_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 12:45 56--1H7_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 12:45 56--1H7_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 12:47 57--1A8_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 12:47 57--1A8_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 12:48 57--1A8_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 12:48 57--1A8_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 13:00 60--1D8_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:01 60--1D8_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 13:02 60--1D8_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:02 60--1D8_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 13:08 62--1F8_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:08 62--1F8_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 13:11 62--1F8_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:11 62--1F8_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 13:17 64--1H8_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:17 64--1H8_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 13:18 64--1H8_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:18 64--1H8_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:20 65--1A9_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:20 65--1A9_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:23 65--1A9_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:23 65--1A9_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.7G Oct  3 13:25 66--1B9_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:25 66--1B9_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 13:27 66--1B9_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:27 66--1B9_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 13:33 68--1D9_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:33 68--1D9_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.6G Oct  3 13:35 68--1D9_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:35 68--1D9_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:38 69--1E9_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:38 69--1E9_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:40 69--1E9_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 13:40 69--1E9_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:55 73--1A10_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 13:56 73--1A10_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 13:58 73--1A10_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 13:58 73--1A10_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 13:59 74--1B10_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 13:59 74--1B10_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:01 74--1B10_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:01 74--1B10_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:03 75--1C10_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:03 75--1C10_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:05 75--1C10_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:05 75--1C10_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:07 76--1D10_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:07 76--1D10_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:09 76--1D10_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:09 76--1D10_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:11 77--1E10_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:11 77--1E10_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:13 77--1E10_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:13 77--1E10_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:29 81--1A11_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:29 81--1A11_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 14:30 81--1A11_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:30 81--1A11_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:32 82--1B11_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:32 82--1B11_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:34 82--1B11_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:34 82--1B11_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:44 85--1E11_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:44 85--1E11_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 14:45 85--1E11_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:45 85--1E11_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 14:47 86--1F11_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:47 86--1F11_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 14:49 86--1F11_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:49 86--1F11_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:57 89--1A12_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:57 89--1A12_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.2G Oct  3 14:58 89--1A12_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 14:58 89--1A12_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 15:04 90--1B12_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:04 90--1B12_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 15:06 90--1B12_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:06 90--1B12_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 15:00 9--1A2_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 15:00 9--1A2_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.5G Oct  3 15:02 9--1A2_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   59 Oct  3 15:02 9--1A2_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 15:15 93--1E12_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:15 93--1E12_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.4G Oct  3 15:17 93--1E12_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:17 93--1E12_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 15:27 96--1H12_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:27 96--1H12_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.1G Oct  3 15:29 96--1H12_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   61 Oct  3 15:29 96--1H12_R2_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 15:38 99--2C1_R1_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 15:38 99--2C1_R1_001.fastq.gz.md5
-rw-r--r-- 1 sam sam 1.3G Oct  3 15:40 99--2C1_R2_001.fastq.gz
-rw-r--r-- 1 sam sam   60 Oct  3 15:40 99--2C1_R2_001.fastq.gz.md5
-rw-rw-r-- 1 sam sam  138 Oct  4 10:52 README.md

2.2 Verify raw read checksums

# Load bash variables into memory
source .bashvars

cd "${raw_reads_dir}"

# Checksums file contains other files, so this just looks for the sRNAseq files.
for file in *.md5
do
  md5sum --check "${file}"
done

./10--1B2_R1_001.fastq.gz: OK
./10--1B2_R2_001.fastq.gz: OK
./102--2F1_R1_001.fastq.gz: OK
./102--2F1_R2_001.fastq.gz: OK
./103--2G1_R1_001.fastq.gz: OK
./103--2G1_R2_001.fastq.gz: OK
./106--2B2_R1_001.fastq.gz: OK
./106--2B2_R2_001.fastq.gz: OK
./107--2C2_R1_001.fastq.gz: OK
./107--2C2_R2_001.fastq.gz: OK
./108--2D2_R1_001.fastq.gz: OK
./108--2D2_R2_001.fastq.gz: OK
./109--2E2_R1_001.fastq.gz: OK
./109--2E2_R2_001.fastq.gz: OK
./114--2B3_R1_001.fastq.gz: OK
./114--2B3_R2_001.fastq.gz: OK
./1--1A1_R1_001.fastq.gz: OK
./1--1A1_R2_001.fastq.gz: OK
./20--1D3_R1_001.fastq.gz: OK
./20--1D3_R2_001.fastq.gz: OK
./21--1E3_R1_001.fastq.gz: OK
./21--1E3_R2_001.fastq.gz: OK
./2--1B1_R1_001.fastq.gz: OK
./2--1B1_R2_001.fastq.gz: OK
./27--1C4_R1_001.fastq.gz: OK
./27--1C4_R2_001.fastq.gz: OK
./28--1D4_R1_001.fastq.gz: OK
./28--1D4_R2_001.fastq.gz: OK
./30--1F4_R1_001.fastq.gz: OK
./30--1F4_R2_001.fastq.gz: OK
./34--1B5_R1_001.fastq.gz: OK
./34--1B5_R2_001.fastq.gz: OK
./37--1E5_R1_001.fastq.gz: OK
./37--1E5_R2_001.fastq.gz: OK
./39--1G5_R1_001.fastq.gz: OK
./39--1G5_R2_001.fastq.gz: OK
./44--1D6_R1_001.fastq.gz: OK
./44--1D6_R2_001.fastq.gz: OK
./5--1E1_R1_001.fastq.gz: OK
./5--1E1_R2_001.fastq.gz: OK
./56--1H7_R1_001.fastq.gz: OK
./56--1H7_R2_001.fastq.gz: OK
./57--1A8_R1_001.fastq.gz: OK
./57--1A8_R2_001.fastq.gz: OK
./60--1D8_R1_001.fastq.gz: OK
./60--1D8_R2_001.fastq.gz: OK
./62--1F8_R1_001.fastq.gz: OK
./62--1F8_R2_001.fastq.gz: OK
./64--1H8_R1_001.fastq.gz: OK
./64--1H8_R2_001.fastq.gz: OK
./65--1A9_R1_001.fastq.gz: OK
./65--1A9_R2_001.fastq.gz: OK
./66--1B9_R1_001.fastq.gz: OK
./66--1B9_R2_001.fastq.gz: OK
./68--1D9_R1_001.fastq.gz: OK
./68--1D9_R2_001.fastq.gz: OK
./69--1E9_R1_001.fastq.gz: OK
./69--1E9_R2_001.fastq.gz: OK
./73--1A10_R1_001.fastq.gz: OK
./73--1A10_R2_001.fastq.gz: OK
./74--1B10_R1_001.fastq.gz: OK
./74--1B10_R2_001.fastq.gz: OK
./75--1C10_R1_001.fastq.gz: OK
./75--1C10_R2_001.fastq.gz: OK
./76--1D10_R1_001.fastq.gz: OK
./76--1D10_R2_001.fastq.gz: OK
./77--1E10_R1_001.fastq.gz: OK
./77--1E10_R2_001.fastq.gz: OK
./81--1A11_R1_001.fastq.gz: OK
./81--1A11_R2_001.fastq.gz: OK
./82--1B11_R1_001.fastq.gz: OK
./82--1B11_R2_001.fastq.gz: OK
./85--1E11_R1_001.fastq.gz: OK
./85--1E11_R2_001.fastq.gz: OK
./86--1F11_R1_001.fastq.gz: OK
./86--1F11_R2_001.fastq.gz: OK
./89--1A12_R1_001.fastq.gz: OK
./89--1A12_R2_001.fastq.gz: OK
./90--1B12_R1_001.fastq.gz: OK
./90--1B12_R2_001.fastq.gz: OK
./9--1A2_R1_001.fastq.gz: OK
./9--1A2_R2_001.fastq.gz: OK
./93--1E12_R1_001.fastq.gz: OK
./93--1E12_R2_001.fastq.gz: OK
./96--1H12_R1_001.fastq.gz: OK
./96--1H12_R2_001.fastq.gz: OK
./99--2C1_R1_001.fastq.gz: OK
./99--2C1_R2_001.fastq.gz: OK

3 FastQC/MultiQC on raw reads

# Load bash variables into memory
source .bashvars

# Make output directory if it doesn't exist
mkdir --parents "${raw_fastqc_dir}"

############ RUN FASTQC ############


# Create array of trimmed FastQs
raw_fastqs_array=(${raw_reads_dir}/${fastq_pattern})

# Pass array contents to new variable as space-delimited list
raw_fastqc_list=$(echo "${raw_fastqs_array[*]}")

echo "Beginning FastQC on raw reads..."
echo ""

# Run FastQC
### NOTE: Do NOT quote raw_fastqc_list
${programs_array[fastqc]} \
--threads ${threads} \
--outdir ${raw_fastqc_dir} \
--quiet \
${raw_fastqc_list}

echo "FastQC on raw reads complete!"
echo ""

############ END FASTQC ############

############ RUN MULTIQC ############
echo "Beginning MultiQC on raw FastQC..."
echo ""

${programs_array[multiqc]} ${raw_fastqc_dir} -o ${raw_fastqc_dir}

echo ""
echo "MultiQC on raw FastQs complete."
echo ""

############ END MULTIQC ############

echo "Removing FastQC zip files."
echo ""
rm ${raw_fastqc_dir}/*.zip
echo "FastQC zip files removed."
echo ""

# View directory contents
ls -lh ${raw_fastqc_dir}

Beginning FastQC on raw reads...

application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
application/gzip
FastQC on raw reads complete!

Beginning MultiQC on raw FastQC...


  /// MultiQC 🔍 | v1.14

|           multiqc | MultiQC Version v1.25.1 now available!
|           multiqc | Search path : /home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular/D-Apul/home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular/D-Apul/output/00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd/raw-fastqc
|         searching | ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 177/177  
|            fastqc | Found 88 reports
|           multiqc | Compressing plot data
|           multiqc | Previous MultiQC output found! Adjusting filenames..
|           multiqc | Use -f or --force to overwrite existing reports instead
|           multiqc | Report      : ../home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular/D-Apul/output/00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd/raw-fastqc/multiqc_report_1.html
|           multiqc | Data        : ../home/shared/8TB_HDD_01/sam/gitrepos/urol-e5/timeseries_molecular/D-Apul/output/00.00-D-Apul-RNAseq-reads-FastQC-MultiQC.Rmd/raw-fastqc/multiqc_data_1
|           multiqc | MultiQC complete
|           multiqc | 1 flat-image plot used in the report due to large sample numbers
|           multiqc | To force interactive plots, use the '--interactive' flag. 
See the documentation.

MultiQC on raw FastQs complete.

Removing FastQC zip files.

FastQC zip files removed.

total 57M
-rw-r--r-- 1 sam sam 603K Oct  5 08:25 10--1B2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:25 10--1B2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:28 102--2F1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:28 102--2F1_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:25 103--2G1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:25 103--2G1_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:26 106--2B2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:26 106--2B2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:25 107--2C2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:25 107--2C2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:26 108--2D2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:26 108--2D2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 610K Oct  5 08:25 109--2E2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 608K Oct  5 08:24 109--2E2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:25 114--2B3_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:25 114--2B3_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:25 1--1A1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 608K Oct  5 08:25 1--1A1_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:24 20--1D3_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 596K Oct  5 08:24 20--1D3_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:25 21--1E3_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:24 21--1E3_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:25 2--1B1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:26 2--1B1_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:26 27--1C4_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:25 27--1C4_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:27 28--1D4_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:26 28--1D4_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:24 30--1F4_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:25 30--1F4_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 595K Oct  5 08:26 34--1B5_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:26 34--1B5_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:24 37--1E5_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:25 37--1E5_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:26 39--1G5_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 607K Oct  5 08:26 39--1G5_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:25 44--1D6_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:25 44--1D6_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:25 5--1E1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:26 5--1E1_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:29 56--1H7_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:29 56--1H7_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:29 57--1A8_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:29 57--1A8_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:29 60--1D8_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 606K Oct  5 08:29 60--1D8_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 62--1F8_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 62--1F8_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:30 64--1H8_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:30 64--1H8_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:31 65--1A9_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:31 65--1A9_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 66--1B9_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 66--1B9_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 606K Oct  5 08:31 68--1D9_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:31 68--1D9_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 598K Oct  5 08:31 69--1E9_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 69--1E9_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:31 73--1A10_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 73--1A10_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:31 74--1B10_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:31 74--1B10_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:30 75--1C10_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:31 75--1C10_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 600K Oct  5 08:31 76--1D10_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:31 76--1D10_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:32 77--1E10_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 605K Oct  5 08:31 77--1E10_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 606K Oct  5 08:31 81--1A11_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 613K Oct  5 08:31 81--1A11_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:31 82--1B11_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:31 82--1B11_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:31 85--1E11_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 608K Oct  5 08:32 85--1E11_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 599K Oct  5 08:30 86--1F11_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 86--1F11_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 602K Oct  5 08:31 89--1A12_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:31 89--1A12_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:32 90--1B12_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:33 90--1B12_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 598K Oct  5 08:33 9--1A2_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 604K Oct  5 08:33 9--1A2_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 595K Oct  5 08:33 93--1E12_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:33 93--1E12_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 603K Oct  5 08:33 96--1H12_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 601K Oct  5 08:33 96--1H12_R2_001_fastqc.html
-rw-r--r-- 1 sam sam 607K Oct  5 08:33 99--2C1_R1_001_fastqc.html
-rw-r--r-- 1 sam sam 607K Oct  5 08:33 99--2C1_R2_001_fastqc.html
drwxr-xr-x 2 sam sam 4.0K Oct  5 08:10 multiqc_data
drwxr-xr-x 2 sam sam 4.0K Oct  5 08:33 multiqc_data_1
-rw-r--r-- 1 sam sam 2.3M Oct  5 08:33 multiqc_report_1.html
-rw-r--r-- 1 sam sam 2.3M Oct  5 08:10 multiqc_report.html

Ewels, Philip, Måns Magnusson, Sverker Lundin, and Max Käller. 2016. “MultiQC: Summarize Analysis Results for Multiple Tools and Samples in a Single Report.” Bioinformatics 32 (19): 3047–48. https://doi.org/10.1093/bioinformatics/btw354.