NLP модели без токенизации - Михаил Нефедов (Сбер)

NLP модели без токенизации - Михаил Нефедов (Сбер) В докладе я расскажу о недавней статье от Google Research (
, в которой показывается, что трансформеры можно успешно обучать без какой-либо токенизации, на байтовых последовательностях. Отказ от токенизации упрощает пайплайн предобработки, значительно сокращает размеры входных и выходных слоев, а также делает модель более устойчивой к искажениям текста. Перфоманс полученных модулей не уступает, а иногда и превосходит аналогичные модели с токенизацией. Недостатком такого подхода является значительное увеличение длины последовательностей, которое приводит к снижению скорости обучения и инференса. Материалы:
Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий:
Обсудить доклады можно в нашем чатике