# GPT-J
# Input token size = 32
# Output token size = 32
# Batch Size = 1
# Num Beams = 4
# M = num_beams * batch_size = 4

--reset

--dt=f32 --stag=ab --wtag=ab --dtag=ab 128x4096:4096x4096_n"gptj:gemm0*112"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x32x256:4x16x256x32_n"gptj:bmm1*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x32x32:4x16x32x256_n"gptj:bmm2*28"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 128x4096:4096x16384_n"gptj:gemm3*28"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 128x16384:16384x4096_n"gptj:gemm4*28"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 128x4096:4096x50400_n"gptj:gemm5*1"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x4096_n"gptj:gemm6*3472"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x33_n"gptj:bmm7*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x33:4x16x33x256_n"gptj:bmm8*28"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x16384_n"gptj:gemm9*868"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 4x16384:16384x4096_n"gptj:gemm10*868"
--dt=f32 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x50400_n"gptj:gemm11*31"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x34_n"gptj:bmm12*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x34:4x16x34x256_n"gptj:bmm13*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x35_n"gptj:bmm14*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x35:4x16x35x256_n"gptj:bmm15*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x36_n"gptj:bmm16*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x36:4x16x36x256_n"gptj:bmm17*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x37_n"gptj:bmm18*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x37:4x16x37x256_n"gptj:bmm19*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x38_n"gptj:bmm20*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x38:4x16x38x256_n"gptj:bmm21*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x39_n"gptj:bmm22*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x39:4x16x39x256_n"gptj:bmm23*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x40_n"gptj:bmm24*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x40:4x16x40x256_n"gptj:bmm25*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x41_n"gptj:bmm26*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x41:4x16x41x256_n"gptj:bmm27*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x42_n"gptj:bmm28*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x42:4x16x42x256_n"gptj:bmm29*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x43_n"gptj:bmm30*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x43:4x16x43x256_n"gptj:bmm31*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x44_n"gptj:bmm32*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x44:4x16x44x256_n"gptj:bmm33*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x45_n"gptj:bmm34*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x45:4x16x45x256_n"gptj:bmm35*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x46_n"gptj:bmm36*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x46:4x16x46x256_n"gptj:bmm37*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x47_n"gptj:bmm38*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x47:4x16x47x256_n"gptj:bmm39*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x48_n"gptj:bmm40*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x48:4x16x48x256_n"gptj:bmm41*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x49_n"gptj:bmm42*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x49:4x16x49x256_n"gptj:bmm43*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x50_n"gptj:bmm44*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x50:4x16x50x256_n"gptj:bmm45*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x51_n"gptj:bmm46*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x51:4x16x51x256_n"gptj:bmm47*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x52_n"gptj:bmm48*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x52:4x16x52x256_n"gptj:bmm49*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x53_n"gptj:bmm50*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x53:4x16x53x256_n"gptj:bmm51*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x54_n"gptj:bmm52*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x54:4x16x54x256_n"gptj:bmm53*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x55_n"gptj:bmm54*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x55:4x16x55x256_n"gptj:bmm55*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x56_n"gptj:bmm56*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x56:4x16x56x256_n"gptj:bmm57*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x57_n"gptj:bmm58*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x57:4x16x57x256_n"gptj:bmm59*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x58_n"gptj:bmm60*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x58:4x16x58x256_n"gptj:bmm61*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x59_n"gptj:bmm62*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x59:4x16x59x256_n"gptj:bmm63*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x60_n"gptj:bmm64*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x60:4x16x60x256_n"gptj:bmm65*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x61_n"gptj:bmm66*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x61:4x16x61x256_n"gptj:bmm67*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x62_n"gptj:bmm68*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x62:4x16x62x256_n"gptj:bmm69*28"
--dt=f32 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x63_n"gptj:bmm70*28"
--dt=f32 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x63:4x16x63x256_n"gptj:bmm71*28"
