Wyszukaj ze słownictwa

Język zawartości

Concept information

Preferowany termin

tokenisation  

Definicja

  • turning a sequence of characters (a text) into a sequence of occurrences of inflected word forms and interpunction symbols (often called 'tokens')

Pojęcie szersze

URI

https://vocabs.sshopencloud.eu/vocabularies/csd-tool-tasks/0102

Pobierz to pojęcie:

RDF/XML TURTLE JSON-LD Ostatnia modyfikacja 02.01.2024