Hae sanastosta

Sisällön kieli

Käsitteen tiedot

Käytettävä termi

tokenisation  

Määritelmä

  • turning a sequence of characters (a text) into a sequence of occurrences of inflected word forms and interpunction symbols (often called 'tokens')

URI

https://vocabs.sshopencloud.eu/vocabularies/csd-tool-tasks/0102

Lataa tämä käsite:

RDF/XML TURTLE JSON-LD Viimeksi muokattu 2.1.2024