སྨོན་ལམ་མེ་ལོང་། ཐོན་རིམ་ ༢.༠
སྨོན་ལམ་བོད་ཀྱི་བརྡ་འཕྲིན་ཞིབ་འཇུག་ཁང་གི་འཕྲུལ་རིག་བཟོ་སྐྲུན་ཚན་པ།
སྨོན་ལམ་མེ་ལོང་ཐོན་རིམ་ ༢.༠ ནི། བོད་ཀྱི་རིག་གནས་ལ་གོ་བ་ཟབ་མོ་ལེན་པ་དང་། བརྗོད་གཞི་རིང་པོ་ཀློག་པ། ཁུངས་ལྡན་གནས་ཚུལ་ལ་གཞི་བཅོལ་ནས་རྒྱུ་མཚན་འདྲེན་པ་བཅས་ཀྱི་ནུས་པ་ཤས་ཆེར་ལྡན་ཞིང་། བོད་ཡིག་གཙོ་བོར་དམིགས་ནས་བཟོས་པའི་སྐད་བརྡའི་དཔེ་གཞི་ (Language Model) ཞིག་ཡིན།
མེ་ལོང་ ༢.༠ ནི། ཚིག་གི་ཆ་ཤས་ཐེར་འབུམ་ ༢༢ (22-billion-token) ལྡན་པའི་གཞི་གྲངས་ཀྱི་ཕུང་པོ་དང་། དམིགས་བསལ་གྱི་རྒྱུན་མཐུད་སྔོན་སྦྱོང་ (Continual Pretraining) གི་ནུས་པ། ཐོག་མའི་ནང་དོན་བསྡུ་ལེན་གྱི་ཚད་གཞི་ཚིག་གི་ཆ་ཤས་འབུམ་གཅིག་དང་ཁྲི་གསུམ་ (130K-token context window) བཅས་ཀྱི་ཁྱད་ཆོས་ཟུང་དུ་འབྲེལ་ནས་བཟོས་པ་ཞིག་ཡིན། འདིས་རྩ་བའི་དཔེ་གཞི་ (Foundation Model) དེའི་ཐོག་མའི་ནུས་པ་ཡོངས་རྫོགས་མ་ཉམས་པར་ཉར་ཚགས་བྱས་ཡོད་པར་མ་ཟད། བོད་ཡིག་གི་མིས་བཟོས་རིག་ནུས་ཀྱི་གནས་ཚད་དེ་ཉིད་སྔར་ལས་གོང་མཐོར་གཏོང་བར་བྱེད་དོ།།
བོད་ཡིག་གི་གལ་གནད་ཅི་ཞིག་ཡིན།
སྐད་ཡིག་ནི་ཕན་ཚུན་བརྡ་འཕྲོད་བྱེད་ཙམ་ཞིག་མ་ཡིན་པར། དེ་ནི་གནའ་བོའི་དཔེ་རྙིང་ཡིག་ཆ་དང་། དམ་པའི་གསུང་རྒྱུན་བཅས་ཀྱི་ལམ་ནས་དུས་རབས་མང་པོའི་རིང་བརྒྱུད་སྤྲོད་བྱས་པའི་རྒྱལ་རབས་ལོ་རྒྱུས་དང་། ལྟ་གྲུབ་རིག་པ། རྩོམ་རིག་གཞུང་ལུགས། སྤྱི་ཚོགས་ཀྱི་ཐུན་མོང་དྲན་ཤེས་བཅས་ཉར་ཚགས་བྱེད་པའི་གཏེར་མཛོད་ཅིག་ཡིན།
མིས་བཟོས་རིག་ནུས་ནི་ཤེས་བྱ་འཚོལ་བཤེར་གྱི་སྟེགས་བུ་གཙོ་བོ་ཞིག་ཏུ་འགྱུར་བཞིན་པའི་སྐབས་འདིར། གྲངས་འཛིན་ཅན་གྱི་གཞི་གྲངས་ཐོན་ཁུངས་ (Digital resources) ཉུང་བའི་སྐད་རིགས་རྣམས་མ་འོངས་པའི་འཕེལ་རྒྱས་ཀྱི་ལམ་ཁ་ནས་ཡོངས་སུ་བོར་བརླག་ཏུ་འགྲོ་བའི་ཉེན་ཁ་ཡོད།
དེར་བརྟེན། སྨོན་ལམ་མེ་ལོང་ནི་བོད་ཡིག་འདི་ཉིད་མ་འོངས་པའི་མིས་བཟོས་རིག་ནུས་ཀྱི་ཆ་ཤས་གལ་ཆེན་ཞིག་ཏུ་གནས་ཐུབ་པའི་ཆེད་དུ་བྱུང་བ་ཡིན།
དོན་གནད་གཙོ་བོ་ཁག
མེ་ལོང་ ༢.༠ ཡི་རྒྱབ་ལྗོངས་ཀྱི་གྲངས་ཀ་ཁག་དང་། དེ་དག་རེ་རེས་ལག་ལེན་ཁྲོད་དོན་སྙིང་ཅི་ཞིག་མཚོན་གྱི་ཡོད་པ།
ནང་དོན་བསྡུ་ལེན་ཚད་གཞི།
130K
དེབ་གཅིག་ཆ་ཚང་ཀློག་ཐེངས་གཅིག་གིས་དེའི་ནང་དོན་ཧྲིལ་བོར་གཞི་བཅོལ་ནས་རྒྱུ་མཚན་ལ་དཔྱད་ཞིབ་བྱེད་པའི་ནུས་པ་ལྡན་པ།
སྦྱོང་བརྡར་གྱི་ཆ་ཤས།
22B
གནའ་དེང་གཉིས་ཀྱི་ཡིག་ཆ་ཕོན་ཆེན་འདུས་པའི་བོད་ཡིག་གི་གཞི་གྲངས་ཕུང་པོ་ཞིག་ཆེད་དུ་བཟོས་པ།
ཐོག་མའི་ནུས་པ་ཉར་ཚགས།
94%
རྩ་བའི་དཔེ་གཞི་ (Foundation model) དེའི་སྤྱིར་བཏང་གི་ཤེས་བྱའི་ནུས་པ་ཡོངས་རྫོགས་མ་ཉམས་པར་ཉར་ཚགས་ཐུབ་པ།
ལོ་ཙཱའི་ནུས་པ་ཉར་ཚགས།
101%
སྐད་རིགས་ཕན་ཚུན་བསྒྱུར་བའི་སྤུས་ཚད་དེ་རྩ་བའི་དཔེ་གཞི་ལས་ཅུང་ཟད་བརྒལ་བ།
བོད་ཡིག་འགྲན་བསྡུར་གྱི་གྲུབ་འབྲས།
+10pp
བོད་ཡིག་གི་རྩ་བའི་ཚད་རིམ་འཇལ་བའི་རྒྱུགས་གཞི་ (Core benchmark) ཆ་ཚང་གི་ཐོག་སྤྱི་ཡོངས་ནས་ཡར་རྒྱས་ཕྱིན་པ།
སྤྱི་ཡོངས་ཤེས་བྱའི་རྒྱུགས་འབྲས།
+21pp
སྐད་རིགས་དུ་མ་འདུས་པའི་ཤེས་བྱ་རྒྱ་ཆེན་པོར་གོ་བ་ལེན་པའི་ནུས་པ་ལ་ཐོད་བརྒལ་ཆེན་པོ་བྱུང་བ།
བོད་ཡིག་གི་ཆེད་དུ་མིས་བཟོས་རིག་ནུས་བཟོ་སྐྲུན་བྱེད་པ།
ཐོན་ཁུངས་ཉུང་བའི་སྐད་ཡིག་ (Low-resource language) ཅིག་གི་ཆེད་དུ་ནུས་པ་མཐོ་བའི་རིག་ནུས་དཔེ་གཞི་ཞིག་བཟོ་སྐྲུན་བྱེད་པ་ནི། དབྱིན་ཡིག་དང་རྒྱ་ཡིག་ལྟ་བུར་མཚོན་ན་དཀའ་ངལ་ཞིག་ཏུ་རྩི་མི་དགོས་ཀྱང་། དེས་བོད་ཡིག་རང་སྟེང་ལ་འཕྲད་པའི་དམིགས་བསལ་གྱི་དཀའ་ངལ་མང་པོ་ཞིག་སེལ་དགོས་པ་མཚོན་གྱི་ཡོད། གཤམ་གྱི་འགྲན་རྩོད་ཆེན་པོ་གསུམ་པོ་འདི་དག་ནི་མེ་ལོང་ ༢.༠ བཟོ་སྐྲུན་བྱེད་པའི་བརྒྱུད་རིམ་གྱི་དཀའ་གནད་གཙོ་བོ་ཁག་ཡིན།
ཚད་འཇལ་རྒྱུགས་གཞིའི་རྒྱབ་ལྗོངས་ལོ་རྒྱུས།
ཚད་འཇལ་རྒྱུགས་གཞི་ (Benchmark) ཞེས་པ་ནི་དོན་སྙིང་ལྡན་པའི་ཡར་རྒྱས་གསལ་པོར་མཚོན་ཐུབ་པ་ཞིག་བྱུང་ཚེ་གཞི་ནས་རིན་ཐང་ཡོད་པ་ཞིག་ཡིན། མེ་ལོང་གི་ནུས་པ་གོང་མཐོར་ཤུགས་ཆེ་ཤོས་ཕྱིན་པའི་གནས་བབ་དེ་དག བོད་ཀྱི་སྐད་ཡིག་དང་རིག་གནས་ཀྱི་གཏིང་ཟབ་སའི་ཁྱབ་ཁོངས་ཁག་ནས་གསལ་པོར་མཐོང་ཐུབ།
BoBench - Overall
Literature
Grammer
Poetry
History
Synonyms
ཡར་རྒྱས་འདི་དག་གི་དོན་སྙིང་དངོས་ཅི་ཡིན།
འདི་དག་ནི་རྒྱུགས་གཞིའི་སྐར་གྲངས་སྐམ་པོ་ཙམ་མ་ཡིན་པར། མེ་ལོང་གིས་དངོས་སུ་བོད་ཡིག་ཀློག་པ་དང་། དེར་གོ་བ་ལེན་པ། ལན་འདེབས་བྱེད་པ་བཅས་ཀྱི་དངོས་ཡོད་དཔེ་མཚོན་ཡིན།
ཆེད་ལས་ཅན་དུ་བཟོས་ནའང་། སྤྱི་ཡི་ནུས་པ་ཉམས་མེད།
མེ་ལོང་གིས་བོད་ཡིག་གི་ནུས་པ་གོང་མཐོར་བཏང་ཡོད་ནའང་། སྤྱིར་བཏང་གི་རིག་ནུས་ཤིག་ལ་ཚང་དགོས་པའི་གནད་དོན་དབྱེ་ཞིབ་ཀྱི་ནུས་པ་དང་ཤེས་བྱ་རྒྱ་ཆེན་པོ་དེ་དག་བློས་གཏོང་བྱས་མེད།
ནུས་པའི་རྣམ་གྲངས།
ཉར་ཚགས་ཀྱི་ཚད།
དུས་གཅིག་ཏུ་ནང་དོན་རྒྱ་ཆེན་པོ་དྲན་ཞིང་བཀོལ་སྤྱོད་ཐུབ་པ།
ཚིག་གི་ཆ་ཤས་འབུམ་ ༡ དང་ཁྲི་ ༣ (130K) ཤོང་བའི་ནང་དོན་བསྡུ་ལེན་གྱི་ནུས་པ་དེས། སྔོན་ཆད་སྒྲུབ་མི་ཐུབ་པའི་ལས་དོན་མང་པོ་ཞིག་ད་ལྟ་སྒྲུབ་ཐུབ་པར་བཟོས་ཡོད། དཔེར་ན། གནའ་བོའི་གསུང་རབ་ཁག་ལ་ཞིབ་ཀློག་བྱེད་པ་ནས། རྒྱབ་ལྗོངས་ཀྱི་གནས་ཚུལ་ཡང་བསྐྱར་བརྗོད་མི་དགོས་པའི་ཐོག། དུས་ཡུན་རིང་པོའི་བར་ཞིབ་འཇུག་གི་བགྲོ་གླེང་བྱེད་པ་སོགས་སོ།།
- ཀློག་ཐེངས་གཅིག་ལ་དེབ་ཆ་ཚང་བ་ཞིག་ཀློག་ཐུབ་པ།
- ཡིག་ཚགས་ཕོན་ཆེན་པོར་དབྱེ་ཞིབ་བྱེད་སྐབས། སྔ་ཕྱིའི་འབྲེལ་བ་མི་བརླག་པར་རྒྱུན་སྐྱོང་ཐུབ་པ།
- དུས་ཡུན་རིང་པོའི་བགྲོ་གླེང་གི་ཁྲོད་དུ། བརྗོད་བྱའི་རྒྱུན་མི་ཆད་པར་སྲུང་འཛིན་བྱེད་ཐུབ་པ།
ནང་དོན་རྒྱ་ཆེན་པོའི་ནུས་པ་དབྱེ་ཞིབ་ཀྱི་རེའུ་མིག
| ཚད་རིམ་མིང་། | ཇི་མ། | མེ་ལོང་། | ཉར་ཚགས་ཀྱི་ཚད། |
|---|---|---|---|
| LongBench v2 | 30.4% | 29.4% | 96.7% |
| RULER 128K | 57.4% | 63.3% | 110.3% |
ཡིག་ཆ་དངོས་ལ་གཞི་བཅོལ་པ་ལས། ཚོད་དཔག་གིས་བློ་བཟོ་མི་བྱེད་པ།
མེ་ལོང་གིས་མི་ཤེས་ཤེས་མདོག་གིས་སྐད་ཆ་འོལ་ཚོད་དུ་མི་བཤད་པར། འབྲེལ་ཡོད་ཀྱི་ཡིག་ཆ་དངོས་ལ་གཞི་བཅོལ་ནས་གནས་ཚུལ་གཏན་འཁེལ་བྱེད་ཀྱི་ཡོད། དེར་བརྟེན། ཚོད་དཔག་ཙམ་གྱིས་ལན་འདེབས་བྱས་པ་མ་ཡིན་པར། ལན་གང་ལའང་ཚད་ཐུབ་ཁུངས་ལྡན་གྱི་རྟེན་ཁུངས་གསལ་བོ་ཡོད།
| Model | Closed Book | RAG |
|---|---|---|
| Melong | 68.75% | 76.73% |
| DeepSeek | 62.37% | 76.26% |
| Gemini | 66.63% | 73.59% |
Closed Book
RAG
མདུན་སྐྱོད་ལམ་ཕྱོགས།
མེ་ལོང་ ༢.༠ ནི་གོམ་པ་དང་པོ་ཙམ་ཡིན་པ་ལས། མཐར་ཐུག་གི་དམིགས་འབེན་ག་ལ་ཡིན།
གཞི་གྲངས་རྒྱ་བསྐྱེད་པ།
བོད་ཡིག་གི་ཡིག་ཆའི་འབོར་ཚད་དེ་ད་ལྟ་ལས་ལྡབ་གསུམ་གྱིས་མང་དུ་བཏང་སྟེ། རིག་གནས་ཀྱི་ཁྱབ་ཁོངས་འདྲ་མིན་དང་། ལུང་ཚན་སོ་སོའི་ཡུལ་སྐད། དེ་བཞིན་དུས་རབས་སོ་སོའི་ལོ་རྒྱུས་ཡིག་ཆ་བཅས་ཀྱི་ནང་དོན་ལ་གོ་བ་ལེན་པའི་ནུས་པ་ཇེ་ཟབ་ཏུ་གཏོང་རྒྱུ།
གཞི་གྲངས་འཕེལ་རྒྱས། · ཁྱབ་ཚད།
རང་འགུལ་ལས་སྒྲུབ་མ་ལག
མེ་ལོང་ལ་ལས་ཀ་དངོས་སུ་སྒྲུབ་ཐུབ་པའི་ནུས་པ་སྤྲད་དེ། གློག་ཀླད་ཀྱི་ལག་ཆ་དང་། འཕྲུལ་ཆས་མཐུད་ལམ། གཞི་གྲངས་མཛོད་བཅས་ཕན་ཚུན་སྦྲེལ་ནས། རྙོག་དྲ་ཆེ་བའི་ལས་ཀའི་རིམ་པ་ཁག་རང་འགུལ་གྱིས་མཐར་སྐྱེལ་ཐུབ་པ་བཟོ་རྒྱུ།
གློག་ཀླད་ལག་ཆ། · འཕྲུལ་ཆས་མཐུད་ལམ། · གཞི་གྲངས་མཛོད། · ལས་ཀའི་རིམ་པ།
རྣམ་པ་སྣ་མང་ཅན།
ཡི་གེ་གཅིག་པུ་མ་ཡིན་པར། སྐད་ཆ་དང་། མཐོང་ཚོར། ཡིག་ཆའི་པར་རིས་བཅས་ཀྱི་སྟེང་ལའང་བོད་ཡིག་གི་གོ་བ་ལེན་པའི་ནུས་པ་སྦྱིན་རྒྱུ།
སྐད་ཆ། · མཐོང་ཚོར། · ཡིག་གཟུགས་ངོས་འཛིན། · ཡིག་ཆ།
གཞི་གྲངས་རྒྱ་བསྐྱེད་པ།
བོད་ཡིག་གི་ཡིག་ཆའི་འབོར་ཚད་དེ་ད་ལྟ་ལས་ལྡབ་གསུམ་གྱིས་མང་དུ་བཏང་སྟེ། རིག་གནས་ཀྱི་ཁྱབ་ཁོངས་འདྲ་མིན་དང་། ལུང་ཚན་སོ་སོའི་ཡུལ་སྐད། དེ་བཞིན་དུས་རབས་སོ་སོའི་ལོ་རྒྱུས་ཡིག་ཆ་བཅས་ཀྱི་ནང་དོན་ལ་གོ་བ་ལེན་པའི་ནུས་པ་ཇེ་ཟབ་ཏུ་གཏོང་རྒྱུ།
གཞི་གྲངས་འཕེལ་རྒྱས། · ཁྱབ་ཚད།
རང་འགུལ་ལས་སྒྲུབ་མ་ལག
མེ་ལོང་ལ་ལས་ཀ་དངོས་སུ་སྒྲུབ་ཐུབ་པའི་ནུས་པ་སྤྲད་དེ། གློག་ཀླད་ཀྱི་ལག་ཆ་དང་། འཕྲུལ་ཆས་མཐུད་ལམ། གཞི་གྲངས་མཛོད་བཅས་ཕན་ཚུན་སྦྲེལ་ནས། རྙོག་དྲ་ཆེ་བའི་ལས་ཀའི་རིམ་པ་ཁག་རང་འགུལ་གྱིས་མཐར་སྐྱེལ་ཐུབ་པ་བཟོ་རྒྱུ།
གློག་ཀླད་ལག་ཆ། · འཕྲུལ་ཆས་མཐུད་ལམ། · གཞི་གྲངས་མཛོད། · ལས་ཀའི་རིམ་པ།
རྣམ་པ་སྣ་མང་ཅན།
ཡི་གེ་གཅིག་པུ་མ་ཡིན་པར། སྐད་ཆ་དང་། མཐོང་ཚོར། ཡིག་ཆའི་པར་རིས་བཅས་ཀྱི་སྟེང་ལའང་བོད་ཡིག་གི་གོ་བ་ལེན་པའི་ནུས་པ་སྦྱིན་རྒྱུ།
སྐད་ཆ། · མཐོང་ཚོར། · ཡིག་གཟུགས་ངོས་འཛིན། · ཡིག་ཆ།
མཇུག་བསྡུ་བ།
བོད་ཀྱི་རིག་གནས་ནི་དཔེ་རྙིང་ཡིག་ཆ་དང་། དམ་པའི་གསུང་རྒྱུན། ངག་ཐོག་ལོ་རྒྱུས་བཅས་ལ་བརྟེན་ནས་ལོ་ངོ་བརྒྱ་ཕྲག་མང་པོར་གསོན་པོར་གནས་ཐུབ་པ་བྱུང་ཡོད།
ངེད་ཅག་གི་དམིགས་ཡུལ་ནི། མིས་བཟོས་རིག་ནུས་ཀྱི་དུས་རབས་འདིའི་ནང་དུའང་བོད་ཀྱི་རིག་གནས་འདི་ཉིད་མུ་མཐུད་དུ་དར་ཞིང་རྒྱས་པར་བྱ་རྒྱུ་དེ་ཡིན།