ShadowSense: A Multi-annotated Dataset for Evaluating Word Sense Induction

Varování

Publikace nespadá pod Ústav výpočetní techniky, ale pod Fakultu informatiky. Oficiální stránka publikace je na webu muni.cz.
Autoři

HERMAN Ondřej JAKUBÍČEK Miloš

Rok publikování 2024
Druh Článek ve sborníku
Konference Joint 30th International Conference on Computational Linguistics and 14th International Conference on Language Resources and Evaluation, LREC-COLING 2024
Fakulta / Pracoviště MU

Fakulta informatiky

Citace
www https://aclanthology.org/2024.lrec-main.1286/
Klíčová slova ShadowSense; word sense induction; WSI
Popis In this paper we present a novel bilingual (Czech, English) dataset called ShadowSense developed for the purposes of word sense induction (WSI) evaluation. Unlike existing WSI datasets, ShadowSense is annotated by multiple annotators whose inter-annotator agreement represents key reliability score to be used for evaluation of systems automatically inducing word senses. In this paper we clarify the motivation for such an approach, describe the dataset in detail and provide evaluation of three neural WSI systems showing substantial differences compared to traditional evaluation paradigms. © 2024 ELRA Language Resource Association: CC BY-NC 4.0.
Související projekty:

Používáte starou verzi internetového prohlížeče. Doporučujeme aktualizovat Váš prohlížeč na nejnovější verzi.

Další info