Хватит кормить зверя
Ведущие вузы страны отказываются от неэтичных практик и пытаются выйти на качественно новый уровень публикационной активности
Аналитический центр «Эксперт» представляет третью волну исследования научной продуктивности российских университетов. За сравнительно недолгий период своего существования оно прошло большой путь. В обсуждении его методики с 2016 года участвуют руководители крупнейших вузов страны и специалисты в области наукометрии и компании Elsevier. Это позволило создать рейтинг, который на данный момент является одним из наиболее качественных инструментов анализа и оценки публикационной активности более чем ста высших учебных заведений.
Немного идеологии
Рейтинг научной продуктивности строится на двух ключевых принципах. Первый — узкая специализация и глубокое погружение в проблематику. Наиболее авторитетные российские и международные исследования — не важно, оценивают они вузы в целом или в отдельных предметных областях, — как правило, стремятся к комплексному анализу деятельности университетов. Их авторы изучают образовательный и научный процесс, успехи в коммерциализации исследований, достижения в международной кооперации и т. д. Мы же концентрируем внимание на одном направлении — статьях, которые опубликованы в журналах, индексируемых в международных базах. Единственным известным проектом, фокусирующимся, как и мы, на библиометрии, является Лейденский рейтинг (выпускается с 2007 года Центром науки и технологических исследований Лейденского университета).
Второй принцип — объективность. Все наши расчеты основаны на открытых данных. При желании вузы обратным счетом могут верифицировать все использованные нами исходные показатели. Преимущество такого подхода — возможность относительно легко объяснить причины успехов и неудач. Спорный момент — отсутствие в оценке репутационной составляющей. Мы пошли на ее исключение осознанно. Безусловно, имидж вуза — один из наиболее важных его активов. Однако подчас он затеняет истинное положение дел и за счет прошлых заслуг выталкивает на поверхность университеты, начавшие тонуть в той или иной предметной отрасли. Вместе с тем опросные показатели снижают прозрачность расчетов и создают практически непреодолимый барьер для новых и небольших университетов.
Используемые в рейтинге показатели разделены на три равнозначных блока: «Востребованность/качество», «Масштаб и устойчивость деятельности» и «Качество роста». Первый блок оценивает среднюю цитируемость, взвешенную цитируемость в той или иной предметной области, качество журналов. Второй — насколько устойчивы текущие результаты, получены они за счет одного-двух сильных исследователей или большой группы.
Чуть подробнее о третьем блоке. Он учитывает особенности роста университетских систем, его задача — фиксация и нейтрализация не совсем чистых практик. Мы включили в него два показателя: «Качество цитирований» (рассчитывает долю самоцитат в общем объеме цитирований, при достижении порогового значения 40% балл начинает серьезно снижаться) и «Концентрация статей» (оценивает, насколько широк круг журналов, где вуз представляет результаты исследований). Сильные результаты по этим индикаторам свидетельствуют, что деятельность научных коллективов университета обширна и нужна не только им самим.
За три года мы существенно модернизировали методику рейтинга (и продолжаем работать в этом направлении). Большинство изменений носили косметический характер, но два касались фундаментальных основ. Первое, что мы сделали, — трансформировали подход к расчету концентрации статей. В первый раз мы опирались на индекс Херфендаля—Хиршмана. Он позволял отлавливать ситуации, когда в одном-двух журналах размещалось более 50–60% всех публикаций университета. Но его использование имело ограничения. Главным из них была зависимость показателя от предметной области. Чем она уже, тем меньше разнообразие журналов и тем выше концентрация. В результате с 2017 года мы начали переход на новый индекс, учитывающий общее число изданий в предметной области. К 2018-му этот подход был распространен на все сферы (в том числе на экономику, гуманитарные и общественные науки).
Второе изменение касалось составления собственного перечня недобросовестных журналов. При составлении двух первых рейтингов мы опирались на единственный в этой сфере источник — список Билла (составлялся Джеффри Биллом из Университета штата Колорадо, расположенного в Денвере). Но в начале 2017 года эта база перестала обновляться и была удалена (к тому моменту в ней насчитывалось 1155 изданий).
При составлении третьего рейтинга мы посчитали некорректным опираться на данные января 2017-го и начали формировать свой список нерекомендованных изданий. На данный момент в нем 56 наименований (постепенно он будет дополняться). Мы ни в коем случае не считаем, что этот перечень совершенен, однако полагаем, что российские университеты уже сейчас могут на него опираться.
Высшая лига
В 2018 году мы проанализировали 14 предметных областей. Как и годом ранее, лидирующие позиции в большинстве технических сфер остались за Московским государственным университетом. В области гуманитарных и общественных наук властвовала Высшая школа экономики. Первые позиции по итогам 2017 года они отдали только в четырех сегментах: в математике впереди всех оказался МФТИ, в компьютерных науках — ИТМО, в науках о Земле — Казанский федеральный, в химических технологиях — Новосибирский госуниверситет.
За год первые десятки в 13 областях (медицина была включена только в 2018-м и будет рассмотрена отдельно) практически не изменились. Их новыми участниками стали только 16 университетов, которые раньше наступали на пятки лидерам. Исключениями стали два вуза: УрФУ, прыгнувший в социальных науках с 20-го места сразу на восьмое, и Санкт-Петербургский политех Петра Великого, сменивший 20-е место по экономике на девятое.
Отметим также несколько неожиданное вхождение в топ-10 по гуманитарным наукам РУДН и Российского экономического университета имени Г. В. Плеханова.
Как видно, основные изменения произошли в нетехнических областях. Это обусловлено двумя факторами. Во-первых, распространением на сферу социально-гуманитарного знания методики расчета концентрации статей. Во-вторых, сравнительно небольшим числом публикаций в этой предметной области. Из-за этого даже незначительные колебания показателей могут оказывать существенное влияние на позиции в рейтинге.
В 2018-м рейтинг очистился. В прошлом году в ряде предметных областей нижняя граница была настолько низкой, что в поле нашего зрения попадали университеты, практически не занимающиеся соответствующими исследованиями. В первую очередь это касалось гуманитарных наук. В 2017-м благодаря общему росту числа статей минимальная планка подросла, и большинство случайных участников были отсечены (в тех же гуманитарных науках из 31 учебного заведения остались только 16, в рейтинг мы включаем вузы, доля которых в общем числе российских публикаций превышает 0,5%).
Любопытен географический разрез рейтинга. Он позволяет понять, насколько и в чем с точки зрения публикационной активности сильны университеты того или иного города. На лидирующих позициях ожидаемо оказались Москва и Санкт-Петербург. В пятерке — Томск, Новосибирск и Казань. Следом — Екатеринбург, который очень серьезно проседает в области инженерных наук, зато опережает тройку нестоличных конкурентов в сфере гуманитарных знаний.
В числе наименее представленных в рейтинге территорий — Рязань, Сургут, Ставрополь, Новокузнецк и Краснодар. Вузы этих городов были заметны только в одной предметной области, да и то на очень далеких позициях.
Атипичные медики
В 2016–2017 годах единственной крупной предметной областью, не присутствовавшей в нашем рейтинге, оставалась медицина. В первую волну исследований эта сфера была предварительно проанализирована, однако результаты вызывали массу вопросов. В итоге мы решили временно отказаться от ранжирования университетов в этом сегменте. Но в 2018-м к идее пришлось вернуться. Не замечать одну из наиболее перспективных и быстроразвивающихся отраслей знания более невозможно.
Из 35 университетов, попавших рейтинг по медицине, 16 оказались абсолютными новичками: в периметре двух прошлых исследований они не присутствовали.
Логично было предположить, что благодаря узкой направленности медвузы должны оккупировать лидирующие позиции в своей предметной области. Однако гипотеза не подтвердилась. В топ-10 вошли только три специализированных заведения — Первый Московский государственный медицинский университет имени И. М. Сеченова (входит в программу 5–—100, четвертое место), Российский национальный исследовательский медицинский университет (шестое место), Первый Санкт-Петербургский государственный медицинский университет (десятое место).
Впереди остальных по публикационной активности в области медицины оказались МГУ и, казалось бы, совсем не связанная с предметом Высшая школа экономики. Победу Московскому университету обеспечили три фактора. Первый — обладание самым сильным научным коллективом: более 25 сотрудников университета имеют индекс Хирша выше 25. Результаты их исследований публикуются в широком круге журналов, в том числе первого квартиля (включая Nature и Science).
Второй фактор — активная коллаборация как внутри России, так и на международном уровне. В 2017 году около 75% всех статей МГУ по медицине были написаны совместно с другими организациями (РАН, РАМН, Министерство здравоохранения РФ, Первый МГМУ им. Сеченова). Третий фактор — большое число междисциплинарных исследований в смежных областях.
Успех НИУ ВШЭ замешан на совершенно других ингредиентах. Главный из них — работа профессора кафедры управления и экономики здравоохранения Василия Власова. Он стал соавтором ряда международных публикаций, которые были посвящены обобщению результатов исследований по вопросам лишнего веса, рака, анализу причин смертности в разных странах мира и др. В подготовке этих статей принимали участие сотни ученых из разных стран, важным достижением которых стало обобщение и сведение раздробленной национальной статистики. Эти интернациональные работы стали основой для сотен исследований. На ряд из них было сделано две-три тысячи цитат, это в 350–450 раз больше, чем в среднем по предметной области (на публикации с участием Власова пришлось 95 и 12,7% цитат, полученных в медицинской сфере НИУ ВШЭ и всей отечественной наукой соответственно).
Другой составляющей успеха Вышки стали активные коллаборации и публикации на смежные с медициной темы. В обоих случаях исследователи университета получили возможность использовать свои сильные компетенции в сфере эконометрики и статистки.
Закон первого квартиля
Одним из важнейших блоков нашего исследования в 2018 году стал сбор мнений руководителей ведущих вузов страны относительно главных вызовов, стоящих перед университетами в сфере научной продуктивности. Ответы были на удивление единообразны. Фундаментальный вопрос текущего момента — как повысить качество публикационной активности.
Когда мы только задумывали наш рейтинг, эта тема поднималась не очень охотно. Оно и понятно: все силы вузы бросали на количественное наращивание статей. Иного способа стать видимыми в международных рейтингах не существовало. За пять лет (с 2012-го по 2017-й) число российских публикаций увеличилось с 45 до 80 тысяч. Среднегодовая динамика составила 12,5% (в то время как весь мир демонстрировал 1,1%).
Чтобы не проиграть в конкурентной борьбе, научные коллективы взяли на вооружение целый букет «хищнических» практик. Первая и самая распространенная из них — публикации в «мусорных» журналах, по какой-то причине индексирующихся в международных базах. Вторая практика — договорные и самоцитирования. Третья — покупка аффиляций или мест в коллаборациях (а еще некоторые вузы платят иностранным ученым, которые в России носа не показывают, но раз в три месяца стабильно выдают по статье). И, наконец, еще один сомнительный способ выглядеть хорошо — бесконечная публикация тезисов.
Сегодня представители ведущих вузов страны эти практики бичуют, говоря, что их применение оборачивается слишком высокими репутационными издержками. Они предлагают бить по хищническим повадкам сразу с трех сторон. На уровне государства важно внедрить более сложные механизмы оценки и мониторинга деятельности вузов, совмещающие как количественные, так и качественные инструменты.
На уровне академического сообщества необходимо решать вопрос с «хищническими» журналами; стимулировать рост академической мобильности, ведущей к развитию горизонтальных неформальных связей и коллабораций (в том числе с промышленными партнерами), а также создать систему внутрироссийских метрик. Декан факультета повышения квалификации и переподготовки кадров, руководитель группы по рейтингам МИФИ Сергей Киреев полагает, что она должна опираться на два столпа — качество журналов и востребованность исследований.
— Наш университет печатается в изданиях самого высокого класса. По числу статей в топовом одном проценте мировых журналов по физике мы занимаем первое место в России. Да, по абсолютному числу публикаций мы проигрываем более крупным университетам. Но разве можно нас за это «наказывать» и ставить ниже вузов, более широко представленных, но не пользующихся спросом ни на внутренней, ни на внешней арене? Еще один показатель, кажущийся мне крайне важным, — востребованность научной деятельности. Ее можно оценивать по доле публикаций, написанных совместно с индустриальными партнерами и другими научными организациями.
От себя заметим: движение в сторону увеличения веса качественных показателей мы в целом поддерживаем. Однако полное пренебрежение количественными характеристиками считаем опасной крайностью. Такой подход дискриминирует крупные вузы. Безусловно, они имеют ресурсы для проведения серьезных исследований и публикации их итогов в топовых журналах. Но на фоне тысячи (или тысяч) других статей эти успехи будут не слишком заметны. Кроме того, ценность, значимость той или иной научной работы — величина очень субъективная. Вполне может статься, что материал, напечатанный в журнале не слишком высокого уровня, станет основой для прорыва.
Отдельно остановимся и на «хищнических» журналах. Руководители ведущих вузов сходятся в том, что главная задача здесь даже не составление «черного списка», а разработка общих правил поведения, некой декларации о fair play. Но продвинуть эту идею в Минобре пока не получается. «И это существенный риск, — замечает директор Наукометрического центра НИУ ВШЭ Иван Стерлигов. — Мы видим, что далеко не всегда изменения в различных официальных инструментах оценки, внедряемых Министерством образования, ФАНО и фондами, идут в сторону повышения планки качества учитываемых публикаций. Для борьбы с этим и для поддержки ответственного использования данных библиометрии было подготовлено открытое обращение совета по этике научных публикаций Ассоциации научных редакторов и издателей».
От академического сообщества спускаемся ниже — к уровню конкретного университета. Здесь должны быть разработаны программа повышения качества публикационной активности и привязанные к ней целевые показатели, механизмы поощрения и депремирования. Не менее важная задача вуза — обучение научно-педагогических работников, привитие им новой культуры.
Один из удачных примеров — Новосибирский госуниверситет. Здесь ввели формулу оценки публикационной активности, которая учитывает не только импакт-фактор журналов (или CiteScore), но и количество отработанных аудиторных часов (если сотрудник не работает со студентами, премия за публикационную активность намного меньше).
Другой важный момент, внедренный в НГУ, — поддержка академической мобильности на основе экспертной оценки качественного состава участников мероприятия. Если она низка, сотруднику рекомендуется не ездить на эту конференцию, симпозиум или стажировку.
И последний базовый принцип, которого придерживаются в Новосибирске, — демотивация сотрудников к быстрому набору баллов за счет публикации тезисов конференций в «хищнических» журналах. «Мы индивидуально работаем с организаторами наших мероприятий и советуем, в каких сборниках размещаться стоит, а в каких нет», — комментирует проректор по программам развития Новосибирского государственного университета Алексей Окунев.
Еще один пример выстраивания новой культуры — МИСиС.
— С 2016 года мы кардинально изменили внутренний подход к оценке публикационной активности подразделений, — констатирует проректор по науке и инновациям МИСиС Михаил Филонов. — На первом месте по значимости у нас стоят статьи в топовом одном проценте. За них сотрудники получают хорошие надбавки. Мы также поощряем публикации в изданиях первого квартиля (Q1). Поддержка Q2 сегодня сведена к минимуму, за печать в Q3 и Q4 мы наказываем рублем. Внедрение такой политики дало отличный результат: за два года доля статей в Q1 и Q2 у нас выросла с 20–25 до 50 процентов. Да, мы немного «подсели» по количеству статей, но зато вдвое приросли в качестве. Это был осознанный шаг.
Деготь дифференциации
В предыдущей главе мы не зря каждый раз употребляли словосочетание «ведущие вузы» — таки образом мы пытались избежать распространения выводов на всю высшую школу.
Мы видим, что в России сегодня сформировалось несколько университетских эшелонов, понятийные разрывы между которыми очень велики. Далеко впереди всех — МГУ и СПбГУ, участники программы 5–100 и некоторые НИУ. Они рассуждают о повышении качества, бьют по рукам за хищнические практики. Но в то же время сотни других вузов идут в противоположном направлении. Именно поэтому в 2017 году около 30% всех российских научных статей в области общественных и гуманитарных наук были опубликованы в журналах, которые вошли в наш список недобросовестных. По той же причине доля мировых цитирований, приходящихся на отечественных ученых, составляет всего два процента. «При этом в России сегодня функционирует более 450 государственных и 280 частных вузов. Согласитесь, эти цифры мало сопоставимы с двумя процентами», — замечает исполнительный директор ассоциации «Глобальные университеты» Ирина Карелина.
Очевидно, что подавляющее большинство отечественных вузов для преобразований не созрели. Они попросту до сих пор не смогли справиться с задачей количественного роста.
Методика рейтинга
При подготовке рейтинга рассматриваются 13 направлений: инженерные науки, компьютерные науки, математика, материаловедение, науки о Земле, общественные науки, химические технологии, химия, энергетика, гуманитарные науки, науки о жизни, физика, экономика. При расчете общего балла университета в рейтинге проводится оценка показателей университета по трем категориям (с равными долями по 33,3%): 1. Качество роста университета. 2. Востребованность научной деятельности. 3. Масштаб, устойчивость научной деятельности. Категории имеют одинаковый вес при расчете финального результата. В каждом предметном рейтинге участвуют университеты, которые опубликовали хотя бы 0,5% от общего количества российских научных статей, опубликованных за последние четыре года. При расчете учитываются статьи, опубликованные в журналах, которые индексируются международной базой научного цитирования Scopus, за последние четыре года.
Конец «хищнического» периода
Ведущие вузы страны начали выводить из употребления неэтичные публикационные практики и делать акцент на научную репутацию, констатирует проректор по программам развития Новосибирского государственного университета Алексей Окунев.
Дарья Трофимова
— В области публикационной активности происходит слом парадигмы. Предыдущие несколько лет университеты концентрировались на увеличении числа публикаций. В итоге мы достаточно быстро достигли точки насыщения. И теперь приоритетом ведущих вузов становится качество статей. Они внедряют новые подходы к поощрению научной активности, к контролю ее качества.
Это уже привело к положительным результатам. Так, в 2016–2017 годах у ряда университетов снизилось число публикаций в так называемых хищнических журналах (претендуют на научность, взимают плату с авторов, но не предоставляют им полноценные услуги, в том числе в области рецензирования. — «Эксперт»). Ранее массовым размещением статей в «мусорных» и по недосмотру индексируемых в Web of Science или Scopus изданиях не гнушались даже некоторые преподаватели ведущих вузов.
Одновременно мы зафиксировали резкое снижение активности в сегменте тезисов. Не секрет, что за один-два миллиона рублей можно договориться о публикации и индексировании 40–50 подобных материалов. И до 2016 года организаторы университетских конференций часто пользовались такой возможностью (для них это был относительно недорогой и легкий способ вырасти во всевозможных рейтингах).
О том, что принятые вузами меры дают результат, можно судить еще по одному параметру — доле публикаций в издании первого квартиля. Если в 2016 году у ряда университетов этот показатель снижался, то в 2017-м он либо стабилизировался, либо пошел вверх.
Но, несмотря на позитивные сигналы, расслабляться не стоит. Опыт показывает, что любая университетская система KPI «взламывается» примерно за год. Люди из академической среды достаточно быстро понимают, как наименьшими усилиями выполнить необходимые целевые показатели. Ситуация напоминает фразу из фильма «Берегись автомобиля»: «Ты догоняешь, я удираю — привычка».
При этом я отчетливо осознаю, насколько трудно в этой ситуации руководству университетов. Оно постоянно находится меж двух огней. С одной стороны, очень важно, чтобы вуз показывал высокие результаты в области публикационной активности. С другой — репутация вуза является основой его капитализации, ключевым фактором привлекательности для абитуриентов. Ни один ректор не будет рисковать репутацией ради чего бы то ни было.
Учитывая все вышесказанное, я считаю, что рейтинг АЦ «Эксперт», несомненно, очень важен. Он, во-первых, дает внешнюю оценку наших усилий, а во-вторых, предоставляет дополнительный инструментарий для управления развитием науки.
«Дайте точки опоры»
Российским университетам нужны рейтинги, позволяющие по-новому взглянуть на научную деятельность и провести ее тонкую настройку, уверен ректор Уральского федерального университета Виктор Кокшаров.
Дарья Трофимова
— За последние пять лет число российских публикаций, индексируемых в базах Scopus и Web of Science, увеличилось на 80 процентов. По среднегодовой динамике мы обогнали все развитые государства и страны БРИКС. Вузы, участвующие в программе 5–100 (запущена в 2012 году. — «Эксперт»), показывают еще более впечатляющие цифры: им удалось нарастить количество статей в три с половиной раза, а долю в общем объеме публикаций — с 17 до 34 процентов.
С одной стороны, это отличный результат. Он позволил университетам стать заметными на международном уровне. С другой — мы должны обратить пристальное внимание на качество продемонстрированного роста. Во многом он был достигнут за счет создания статей низкого уровня и применения «хищнических» практик: публикаций в так называемых мусорных журналах, договорного и самоцитирования, покупки иностранных ученых или места в коллаборациях.
Сегодня мировое научное сообщество понимает, что зацикленность на числовых показателях — это тупиковый путь. Ведущие российские университеты пересматривают политику в области публикационной активности, вводят механизмы, направленные на поддержку качественных статей. Одновременно происходят изменения в методологии оценки вузов. Мы видим, например, что в рейтинге Times Higher Education уже задумались над введением новых параметров, свидетельствующих об уровне статей.
Я убежден, что разнообразие рейтингов должно расти. Это позволит взглянуть на деятельность университетов под новым углом. Долгие годы у российских вузов было всего несколько точек опоры — QS, THE, ARWU. Но все они неидеальны. Тот же QS большой упор делает на репутационные показатели. И нам известны случаи, когда университет смог достаточно серьезно улучшить свои позиции по нескольким предметам только за счет плотной работы с несколькими экспертами (число и качество публикаций при этом почти не изменилось).
Нам необходимы региональные, предметные, фокусирующиеся рейтинги, рейтинги, позволяющие сравнивать факультеты. И с этой точки зрения я полностью поддерживаю появление новых отечественных исследований.
«Не в деньгах мысль»
Для роста качества публикационной активности финансовое стимулирование ученых должно совмещаться с инфраструктурной поддержкой, уверен и. о. ректора Сибирского федерального университета (СФУ) Владимир Колмаков.
— Владимир Иннокентьевич, считаете ли вы, что количественное наращивание публикаций более не актуально и университеты должны переходить к повышению качества научной продуктивности?
пресс-службы СФУ
— Чисто формальное наращивание количества статей, как и формальный подход к квартилям, вызывает много вопросов. Считаю, что любая публикация в Web of Science или Scopus уже является значительным достижением ее авторов. Хотя бы потому, что становится видима для мирового сообщества. Особенно это актуально для гуманитарных, узких естественно-научных или технических направлений, где заведомо не могут трудиться большие коллективы. Например, специалистов в области биологии, изучающих современные и ископаемые виды мхов, можно пересчитать по пальцам. По этому направлению в принципе не может быть много журналов и высоких импактов. От последних мы постепенно стараемся уходить. В будущем, возможно, найдется более универсальный критерий оценивания научной продуктивности.
— По каким параметрам в СФУ оценивается качество публикационной активности? Каким образом университет стимулирует его рост?
— Способы оценки и повышения качества публикационной активности прописаны в нашей программе 5–100. Мы традиционно делим журнал на квартили (но одновременно признаем журналы ВАК, что связано с особенностями функционирования университета), стремимся к попаданию наших статей в Web of Science и Scopus.
Объем зарезервированных по этому направлению средств — 55 миллионов рублей. Финансовую поддержку мы сочетаем с инфраструктурными механизмами, помогающими ученым создавать конкурентоспособный на глобальном уровне продукт. Яркий пример — курсы рабочего английского языка Learn to read and write science. В прошлом году их окончили 39 человек, написано 39 статей. Кроме того, мы запустили систему сплошного перевода Proof reading. Она ориентирована на ученых, пишущих на английском, но не уверенных в правильности его академического применения. В рамках данной практики университет также берет на себя перевод очень качественных статей, написанных на русском языке. Пока с помощью Proof reading мы планируем выпускать сто публикаций в год.
— Какова политика университета в области академической мобильности? Каким образом развивается направление совместных исследований и публикаций с российскими и иностранными вузами?
— У нас очень много совместных исследований, в том числе в рамках международных коллабораций. Поддерживая академическую мобильность, мы опираемся в первую очередь на сетевые взаимодействия: условно говоря, профессор едет к профессору. Количество таких контактов — более сотни.
— Ряд представителей вузов полагают, что один из лучших показателей качества и востребованности научной деятельности — публикации, написанные совместно с производственными партнерами. Согласны ли вы с таким суждением?
— Пожалуй, не соглашусь — несмотря на то, что такие публикации в университете есть. Совместную работу с производственными партнерами имеет смысл оценивать в объемах полученных средств. Именно коммерциализация здесь должна быть мерилом успешности. Публикация же — это все-таки оценка труда ученого или коллаборации научных коллективов.
Подготовил Сергей Ермак. Фото ТАСС
Рейтинг факультетов
Предметный рейтинг научной продуктивности университетов России
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl