eval_results.json

{
 "summary": {
  "model": "fragment-1-multilingual",
  "params_M": 11.04,
  "languages_trained": 204,
  "languages_evaluated": 204,
  "topic_macro_acc": 0.2501,
  "overall_acc": 0.3113,
  "overall_ece": 0.1151,
  "lid_acc": 0.0307,
  "test_n": 26080,
  "families": {
   "translation verification (noul)": {
    "n": 6120,
    "acc": 0.4824,
    "ece": 0.269,
    "rps": null
   },
   "sib topic (choice)": {
    "n": 18360,
    "acc": 0.2501,
    "ece": 0.068,
    "rps": null
   },
   "sentiment (score)": {
    "n": 1600,
    "acc": 0.36,
    "ece": 0.0784,
    "rps": 0.2301
   }
  }
 },
 "by_language": {
  "min_Latn": 0.2,
  "aka_Latn": 0.2778,
  "shn_Mymr": 0.2333,
  "bug_Latn": 0.1667,
  "acm_Arab": 0.2889,
  "bem_Latn": 0.2667,
  "taq_Latn": 0.3111,
  "bak_Cyrl": 0.2111,
  "lit_Latn": 0.2778,
  "tat_Cyrl": 0.2111,
  "sat_Olck": 0.2444,
  "ilo_Latn": 0.2222,
  "kmb_Latn": 0.2,
  "hrv_Latn": 0.3,
  "ben_Beng": 0.2778,
  "bos_Latn": 0.2556,
  "pag_Latn": 0.2778,
  "spa_Latn": 0.2333,
  "sot_Latn": 0.2778,
  "srd_Latn": 0.1778,
  "fao_Latn": 0.2444,
  "sag_Latn": 0.3,
  "kan_Knda": 0.2556,
  "nso_Latn": 0.2667,
  "quy_Latn": 0.2667,
  "bod_Tibt": 0.2556,
  "ind_Latn": 0.2222,
  "mal_Mlym": 0.2556,
  "fin_Latn": 0.2667,
  "srp_Cyrl": 0.3,
  "kac_Latn": 0.2556,
  "fon_Latn": 0.2667,
  "pap_Latn": 0.2556,
  "afr_Latn": 0.2333,
  "isl_Latn": 0.2444,
  "arz_Arab": 0.2556,
  "ace_Arab": 0.2222,
  "uzn_Latn": 0.2444,
  "nno_Latn": 0.2333,
  "khk_Cyrl": 0.2222,
  "tel_Telu": 0.2556,
  "kir_Cyrl": 0.2556,
  "deu_Latn": 0.2667,
  "fur_Latn": 0.3222,
  "ydd_Hebr": 0.2222,
  "nya_Latn": 0.2111,
  "sna_Latn": 0.2333,
  "kea_Latn": 0.2333,
  "ast_Latn": 0.3111,
  "ltz_Latn": 0.3222,
  "gle_Latn": 0.2889,
  "grn_Latn": 0.2444,
  "mos_Latn": 0.3,
  "bjn_Latn": 0.2,
  "hat_Latn": 0.2111,
  "dzo_Tibt": 0.2222,
  "pes_Arab": 0.2444,
  "scn_Latn": 0.2444,
  "kat_Geor": 0.2556,
  "bjn_Arab": 0.2778,
  "swh_Latn": 0.2,
  "tso_Latn": 0.2444,
  "tpi_Latn": 0.2778,
  "yue_Hant": 0.2556,
  "smo_Latn": 0.2667,
  "kaz_Cyrl": 0.2556,
  "kab_Latn": 0.2333,
  "cjk_Latn": 0.2667,
  "awa_Deva": 0.2444,
  "jav_Latn": 0.2556,
  "umb_Latn": 0.2222,
  "crh_Latn": 0.2667,
  "kam_Latn": 0.2556,
  "bel_Cyrl": 0.2556,
  "ckb_Arab": 0.2444,
  "acq_Arab": 0.2444,
  "ssw_Latn": 0.1778,
  "por_Latn": 0.2333,
  "nqo_Nkoo": 0.2333,
  "ltg_Latn": 0.2333,
  "aeb_Arab": 0.2889,
  "ita_Latn": 0.2111,
  "sin_Sinh": 0.2889,
  "glg_Latn": 0.2556,
  "ace_Latn": 0.2444,
  "vie_Latn": 0.2,
  "dyu_Latn": 0.2556,
  "ayr_Latn": 0.2556,
  "oci_Latn": 0.2667,
  "dik_Latn": 0.3111,
  "dan_Latn": 0.2778,
  "run_Latn": 0.1778,
  "ces_Latn": 0.2222,
  "cym_Latn": 0.2333,
  "tum_Latn": 0.2889,
  "tha_Thai": 0.2222,
  "nus_Latn": 0.2556,
  "hun_Latn": 0.2556,
  "hin_Deva": 0.2444,
  "heb_Hebr": 0.3111,
  "nld_Latn": 0.1889,
  "tuk_Latn": 0.2778,
  "kor_Hang": 0.2667,
  "ewe_Latn": 0.2556,
  "ary_Arab": 0.2556,
  "est_Latn": 0.2556,
  "hye_Armn": 0.3,
  "tir_Ethi": 0.2444,
  "twi_Latn": 0.2333,
  "azj_Latn": 0.2889,
  "lin_Latn": 0.2222,
  "san_Deva": 0.2444,
  "prs_Arab": 0.2667,
  "ell_Grek": 0.2,
  "tzm_Tfng": 0.2333,
  "uig_Arab": 0.2556,
  "lmo_Latn": 0.2444,
  "kas_Deva": 0.2444,
  "luo_Latn": 0.2556,
  "bul_Cyrl": 0.2,
  "hne_Deva": 0.2444,
  "nob_Latn": 0.2667,
  "sun_Latn": 0.2444,
  "tgl_Latn": 0.2889,
  "bho_Deva": 0.2556,
  "azb_Arab": 0.2333,
  "plt_Latn": 0.2667,
  "mni_Beng": 0.2556,
  "eus_Latn": 0.2,
  "tam_Taml": 0.2444,
  "hau_Latn": 0.2889,
  "pol_Latn": 0.2667,
  "knc_Latn": 0.2444,
  "ukr_Cyrl": 0.2111,
  "szl_Latn": 0.2889,
  "tsn_Latn": 0.2222,
  "lug_Latn": 0.3,
  "bam_Latn": 0.2111,
  "zul_Latn": 0.2333,
  "khm_Khmr": 0.2889,
  "snd_Arab": 0.3,
  "slk_Latn": 0.2556,
  "slv_Latn": 0.2778,
  "ceb_Latn": 0.2444,
  "kon_Latn": 0.2556,
  "fij_Latn": 0.2222,
  "rus_Cyrl": 0.3,
  "mri_Latn": 0.3,
  "lvs_Latn": 0.2444,
  "som_Latn": 0.2222,
  "lus_Latn": 0.1889,
  "npi_Deva": 0.2556,
  "ibo_Latn": 0.2556,
  "lua_Latn": 0.2778,
  "cat_Latn": 0.2667,
  "lim_Latn": 0.2333,
  "xho_Latn": 0.2111,
  "arb_Latn": 0.2778,
  "zsm_Latn": 0.3,
  "fuv_Latn": 0.2667,
  "amh_Ethi": 0.3,
  "kas_Arab": 0.2333,
  "arb_Arab": 0.2889,
  "zho_Hant": 0.2,
  "pan_Guru": 0.2778,
  "knc_Arab": 0.2556,
  "kmr_Latn": 0.2222,
  "lij_Latn": 0.3,
  "guj_Gujr": 0.2222,
  "fra_Latn": 0.2,
  "gaz_Latn": 0.2,
  "yor_Latn": 0.2333,
  "jpn_Jpan": 0.2444,
  "taq_Tfng": 0.1889,
  "lao_Laoo": 0.3111,
  "ron_Latn": 0.3222,
  "wol_Latn": 0.3111,
  "min_Arab": 0.2667,
  "kin_Latn": 0.2444,
  "mag_Deva": 0.2889,
  "mya_Mymr": 0.2111,
  "tgk_Cyrl": 0.2111,
  "asm_Beng": 0.2222,
  "zho_Hans": 0.2667,
  "vec_Latn": 0.2333,
  "pbt_Arab": 0.2778,
  "als_Latn": 0.2333,
  "mlt_Latn": 0.2111,
  "mar_Deva": 0.2667,
  "swe_Latn": 0.2444,
  "urd_Arab": 0.2222,
  "ban_Latn": 0.2,
  "ars_Arab": 0.2556,
  "mai_Deva": 0.2,
  "ajp_Arab": 0.2556,
  "kik_Latn": 0.2778,
  "epo_Latn": 0.2778,
  "kbp_Latn": 0.2,
  "mkd_Cyrl": 0.2333,
  "war_Latn": 0.2222,
  "gla_Latn": 0.2556,
  "tur_Latn": 0.2556,
  "apc_Arab": 0.2444,
  "ory_Orya": 0.2444
 }
}