-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathtest.sh
executable file
·106 lines (90 loc) · 6.72 KB
/
test.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
# LlamaAgent
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Llama-3.2-1B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Llama-3.2-3B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Llama-3.1-8B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Meta-Llama-3-8B-Instruct
python eval_run.py --model-type LlamaAgent --model-name meta-llama/Meta-Llama-3-13B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Llama-3.1-70B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name meta-llama/Meta-Llama-3-70B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name lightblue/suzume-llama-3-8B-multilingual
# python eval_run.py --model-type LlamaAgent --model-name arcee-ai/Llama-3.1-SuperNova-Lite
# python eval_run.py --model-type LlamaAgent --model-name ValiantLabs/Llama3.1-8B-Enigma
# python eval_run.py --model-type LlamaAgent --model-name DeepMount00/Llama-3.1-8b-ITA
# python eval_run.py --model-type LlamaAgent --model-name shenzhi-wang/Llama3-8B-Chinese-Chat
# python eval_run.py --model-type LlamaAgent --model-name elinas/Llama-3-13B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name maum-ai/Llama-3-MAAL-8B-Instruct-v0.1
# python eval_run.py --model-type LlamaAgent --model-name mlx-community/Llama-3.1-8B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name HuggingFaceTB/SmolLM2-1.7B-Instruct
# python eval_run.py --model-type LlamaAgent --model-name chuanli11/Llama-3.2-3B-Instruct-uncensored
# python eval_run.py --model-type LlamaAgent --model-name Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2
# MixtralAgent
# python eval_run.py --model-type MixtralAgent --model-name mistralai/Mixtral-8x7B-Instruct-v0.1
# python eval_run.py --model-type MixtralAgent --model-name mistralai/Mistral-7B-Instruct-v0.2
# python eval_run.py --model-type MixtralAgent --model-name mistralai/Mixtral-8x22B-Instruct-v0.1
# python eval_run.py --model-type MixtralAgent --model-name mistralai/Mistral-7B-Instruct-v0.3
# python eval_run.py --model-type MixtralAgent --model-name mistralai/Mistral-Nemo-Instruct-2407
# QwenAgent
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2-7B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-0.5B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-1.5B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-3B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-7B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-14B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-32B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2.5-72B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2-0.5B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2-1.5B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2-7B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen2-72B-Instruct
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen1.5-4B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen1.5-14B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen1.5-32B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen1.5-72B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen-1_8B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen-7B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen-14B-Chat
# python eval_run.py --model-type QwenAgent --model-name Qwen/Qwen-72B-Chat
# YiAgent
# python eval_run.py --model-type YiAgent --model-name 01-ai/Yi-1.5-6B-Chat
# python eval_run.py --model-type YiAgent --model-name 01-ai/Yi-1.5-9B-Chat
# python eval_run.py --model-type YiAgent --model-name 01-ai/Yi-1.5-34B-Chat
# DeepSeekAgent
# python eval_run.py --model-type DeepSeekAgent --model-name deepseek-ai/DeepSeek-V2-Lite-Chat
# python eval_run.py --model-type BaseAgent --model-name deepseek-ai/deepseek-llm-7b-chat
# python eval_run.py --model-type DeepSeekAgent --model-name deepseek-ai/DeepSeek-V2-Chat
# GemmaAgent
# python eval_run.py --model-type GemmaAgent --model-name google/gemma-2-2b-it
# python eval_run.py --model-type GemmaAgent --model-name google/gemma-2-9b-it
# python eval_run.py --model-type GemmaAgent --model-name google/gemma-2-27b-it
# CohereAgent
# python eval_run.py --model-type CohereAgent --model-name CohereForAI/aya-expanse-8b
# python eval_run.py --model-type CohereAgent --model-name CohereForAI/aya-expanse-32b
# python eval_run.py --model-type CohereAgent --model-name CohereForAI/aya-23-8B
# python eval_run.py --model-type CohereAgent --model-name CohereForAI/aya-23-35B
# PhiAgent
# python eval_run.py --model-type PhiAgent --model-name microsoft/phi-3.5-mini-instruct
# python eval_run.py --model-type PhiAgent --model-name microsoft/Phi-3-mini-4k-instruct
# python eval_run.py --model-type PhiAgent --model-name microsoft/Phi-3-small-8k-instruct
# python eval_run.py --model-type PhiAgent --model-name microsoft/Phi-3-medium-4k-instruct
# BAAIAgent
# python eval_run.py --model-type BAAIAgent --model-name BAAI/AquilaChat-7B
# BaichuanAgent
# python eval_run.py --model-type BaichuanAgent --model-name baichuan-inc/Baichuan2-13B-Chat
# python eval_run.py --model-type BaichuanAgent --model-name baichuan-inc/Baichuan2-7B-Chat
# FalconAgent
# python eval_run.py --model-type FalconAgent --model-name tiiuae/falcon-7b-instruct
# python eval_run.py --model-type FalconAgent --model-name tiiuae/falcon-40b-instruct
# ChatGLMAgent
# python eval_run.py --model-type ChatGLMAgent --model-name THUDM/chatglm2-6b
# python eval_run.py --model-type ChatGLMAgent --model-name THUDM/glm-4-9b-chat
# python eval_run.py --model-type ChatGLMAgent --model-name THUDM/glm-4-9b-chat-1m
# BaseAgent
python eval_run.py --model-type AlpacaAgent --model-name facebook/MobileLLM-1B
python eval_run.py --model-type AlpacaAgent --model-name amd/AMD-OLMo-1B
# python eval_run.py --model-type AlpacaAgent --model-name ibm-granite/granite-3.0-8b-instruct
python eval_run.py --model-type AlpacaAgent --model-name ibm-granite/granite-3.0-2b-instruct
python eval_run.py --model-type AlpacaAgent --model-name VongolaChouko/Starcannon-Unleashed-12B-v1.0
python eval_run.py --model-type AlpacaAgent --model-name MarinaraSpaghetti/NemoMix-Unleashed-12B
python eval_run.py --model-type AlpacaAgent --model-name ajibawa-2023/Uncensored-Frank-13B
python eval_run.py --model-type AlpacaAgent --model-name georgesung/llama2_7b_chat_uncensored
python eval_run.py --model-type AlpacaAgent --model-name Tap-M/Luna-AI-Llama2-Uncensored