Дорогой пользователь! В этом архиве ты найдешь материалы корпуса "Тайга", рассортированные по источникам: Resource texts tokens words stihi ru (poems) 3603770 617668306 483023846 proza ru (proze) 1732589 4366202471 3430847803 Lenta ru (news) 36446 8752681 7290281 Interfax (news) 46429 7301002 6128555 NPlus1 (popular science) 7696 2090506 1788361 Komsomol truth (news) 45503 5683046 4723543 Russian Magazine Hall (literature) 39890 239722547 189065703 Fontanka ru (news) 342683 71046905 59844450 Arzamas (culture mag) 311 451720 371709 TV Subtitles in Russian 7899 38300057 28429392 TV Subtitles in other langs 11112 63981638 49974754 Total 5874328 5421200879 4261488397 ===================================== Лицензия ===================================== Тайга - корпус, собранный из открытых источников рунета, и распространяется свободно для исследовательских и личных целей. ===================================== Использование корпуса ===================================== "Тайга" подходит для исследований, требующих исследования корпусных метаданнных и просто большого объема примеров, а также отлично подходит для следующих прикладных задач: - создание векторных моделей - по прозе ру, стихам ру, новостям - создание языковых моделей - для спеллчекеров, генерации текста, морфологических и синтаксических парсеров - тематическое моделирование - новости с тегами темы, все сайты, которые содержат рубрики (новости, стихи, проза) - классфикация текстов по удобочитаемости - популярный научный журнал NPlus1 имеет показатель удобочитаемости для каждого текста, предоставляемый редактором. - NER и извлечение фактов - новости со ссылками на wiki-информацию, новости с тегами personalia - извлечение ключевых слов - новости с ключевыми словами, хэштеги в социальных сетях - определение авторства - все тексты с авторской информацией - журналы, новости и, что еще важнее - социальные медиа, - с разбивкой по полу, возрасту, городу, времени и образованию. - обучение чат-ботов - субтитры к сериалам и фильмам - корректировка автоматического перевода - параллельные реплики в материалах субтитров - изучение редких слов, составление дифференциальных частотных словарей по различным сегментам рунета ===================================== Состав архивов ===================================== Каждый архив содержит папку с названием texts, где лежат оригинальные текстовые файлы без разметки (plain texts). В папке tagged_texts лежат размеченные тексты (названия файлов сохранены). Морфологическая, синтаксическая разметка корпуса и лемматизация осуществелна с помощью парсера UDpipe, омонимия снята. К каждому источнику прилагается таблица с метаданными, где перечислены все доступные сведения о текстах для данного источника - время написания, автор, тематика, ключевые слова и т.д., а также путь к файлу. ====================================== Состав метаданных ====================================== stihi ru - textrubric, textid, textname, author, authortexts (number of poems written by the author), authorreaders (number of visitors who read the poem), date, time, source, genre, macrogenre proza ru - textrubric, textid, textname, author, authortexts (number of poems written by the author), authorreaders (number of visitors who read the poem), date, time, source, genre, macrogenre Lenta ru - textid, textname, textrubric, date, time, tags, source Interfax - textid, textname, textrubric, date, time, tags, source NPlus1 - textid, textname – title, tags, source NPlus1 - textid, textname, textdiff (text difficulty), author, textrubric, date, time, tags, source Komsomol truth - textid, textname, textregion, textrubric, date, time, tags, source Russian Magazine Hall - textid, textname, magazine (magazine title), author, date, time, tags, source Fontanka ru - textid, textname, textregion, textrubric, date, time, tags, source Arzamas - textid, textname, authors, authorprofession, about_author(short author bio), textrubric, date, time, tags, source TV Subtitles - textid, title(film title), language Более подробную документацию можно найти на сайте проекта: https://tatianashavrina.github.io/taiga_site/ ====================================== Обратная связь ====================================== Просьба в случае использования материалов корпуса указывать 1 из следующих статей: (upcoming) Shavrina T. (2018) Differential Approach to Web-Corpus Construction. Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2018” Moscow Shavrina T., Shapovalova O. (2017) TO THE METHODOLOGY OF CORPUS CONSTRUCTION FOR MACHINE LEARNING: «TAIGA» SYNTAX TREE CORPUS AND PARSER. in proc. of “CORPORA2017”, international conference , Saint-Petersbourg, 2017. Все сообщения об ошибках и пожелания просьба направлять по адресу rybolos@gmail.com