Оценка науки и образования: когда хвост виляет собакой

В начале сентября в Монреале состоялась 17-я конференция «Science and Technology Indicators», посвященная библиометрическим индикаторам и методам оценки науки и образования. О конференции, о том, что нового происходит в сфере измерений эффективности вузовской деятельности, рассказывает заместитель директора библиотеки ВШЭ Владимир Писляков.

— Владимир, прежде всего, какую роль играют библиометрические технологии в деятельности современных библиотек? И как они используются непосредственно в вашей работе?

— Мы уже давно стали применять базовые наукометрические методы в нашей основной деятельности — при формировании фондов, подборе выписываемых журналов и баз данных, при оценке качества наших коллекций. Например, мы составили список лидирующих журналов по основным профильным дисциплинам НИУ ВШЭ, в котором издания отобраны на основании их цитируемости и расположены в порядке убывания их импакт-факторов, взятых из базы данных Journal Citation Reports. В каждой предметной области (экономика, менеджмент, политология, право, социология, психология) собрано по 20 ведущих изданий, для которых показано, за какие годы в подписке НИУ ВШЭ есть их полные тексты.

Кроме того, в последние годы я участвовал в выполнении нескольких грантов Научного фонда НИУ ВШЭ. Собственно, наш доклад на конференции «Science and Technology Indicators» (STI) также стал результатом двухлетнего проекта, поддержанного Научным фондом.

— Каков статус конференции STI в профессиональном сообществе исследователей науки и образования?

— Среди всемирных наукометрических конференций STI считается второй по значимости, после собрания Международного общества наукометрии и информетрии (ISSI), проводимого раз в два года. Вообще на STI я был второй раз, хотя впервые — с устным докладом. Надо сказать, что здесь всегда собираются практически все ведущие специалисты по наукометрии, известные по книгам и статьям в ведущих изданиях. Уровень конференции пришлось почувствовать и на себе — доклад проходил четырех рецензентов. Честно говоря, я с таким раньше не встречался: в журналах обычно два «рефери», говорят, в некоторых, по медицине, бывает три, но не больше. Поэтому можно сказать, что прозвучавшие доклады хорошо отражают принципы этой науки, самые свежие веяния в подходах к оценке научной деятельности.

— Расскажите подробнее об этих веяниях?

— Если говорить о наиболее четких тенденциях, которые легко было уловить в словах многих докладчиков, то, прежде всего, это дистанцирование от «простых решений» или, скажем так, уход от «метода единого индикатора». Нельзя науку или ее единицу — ученого, лабораторию, институт, страну — измерять неким одним показателем, как бы хорош он ни был. С этим все согласны. Показателей становится все больше — и в теоретических исследованиях, и в базах данных происходит «бум индикаторов», каждый пытается улучшить предшественников. Однако сколь бы совершенна ни была методика, если она дает одну цифру — ее недостаточно для оценки науки или сравнения между собой журналов, авторов, организаций. В одном из докладов цитировался призыв «Let’s keep it complex!», давайте сохраним сложность. Это противодействие тому, что специалистов по библиометрии часто подталкивают к «упрощению», — администраторам науки обычно хочется иметь ясную иерархию по единому шаблону.

Интересно, что такой свежий индикатор, как «индекс Хирша», H-index, зачастую уже не рассматривается всерьез докладчиками. Некоторые авторы даже посмеивались, упоминая его. А ведь в России этот показатель, наоборот, стал стремительно набирать популярность, даже в официальных отчетах и заявках. Получается, мы, как всегда, в противофазе мировым трендам?

Следующий момент, который мне бросился в глаза, — это недоверие к разнообразным рейтингам, в частности университетским. Наукометрическое сообщество чувствует, что этим «рэнкингам» уделяют слишком много внимания на разных уровнях — ученые и преподаватели, руководство вузов, министерства и даже высшие лица государств. Тренд, выросший из простого справочника, набора советов по выбору места обучения за рубежом для китайской молодежи (имеется в виду первый, «Шанхайский» рейтинг университетов. — Ред.), зашел слишком далеко. Повышение места в том или ином международном рейтинге становится уже не свидетельством развития вуза или системы образования, а самоцелью, университетской или даже государственной программой. Это вызывает непонимание и понятную тревогу у специалистов по библиометрическим практикам.

— «Хвост виляет собакой»?

— Именно. Не индикаторы выстраиваются для оценки науки, а наука и образование подстраиваются под индикаторы.

Еще один раздел конференции, на котором прозвучало несколько любопытных докладов, был посвящен так называемым альтернативным метрикам, altmetrics. Это совершенно новые показатели, отражающие популярность научных трудов вне собственно научных документов — в социальных сетях, блогах, форумах, персональных библиографических каталогах. Их пытаются предложить не как замену классическим индикаторам, например цитируемости, а как еще один подход к оцениванию значимости работы. Многие исследователи ищут связи между «традиционными» и «альтернативными» метриками. Например, один из участников конференции сравнивал рейтинг книг по числу покупок на Амазоне с их цитируемостью в Web of Science. Это все очень свежо, технологии рождаются на глазах, и за развитием таких методов интересно следить. Кстати, если не ошибаюсь, в базе Scopus уже стали приводить сведения по показателям altmetrics, но пока с помощью дополнительного «плагина».

— А о чем было ваше выступление?

— Доклад назывался «Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration». Мы с Еленой Шукшиной, она тоже сотрудник нашей библиотеки, исследовали высокоцитируемые статьи, написанные российскими учеными или при участии российских ученых. Это наиболее влиятельные публикации, «научные шедевры», как мы иногда их называем. Мы анализировали структуру взаимодействия с зарубежными коллегами, определяли те российские институты и университеты, которые пишут много «шедевров», строили карту сотрудничества между ними, основанную на совместных высокоцитируемых статьях. К наиболее важным выводам работы можно отнести тот факт, что за исследуемый нами период (с 2000-го по 2009 год) высокоцитируемые статьи были написаны в основном авторами из исследовательских институтов, доля же авторов из вузов ощутимо скромнее. Кроме того, вузы недостаточно взаимодействуют с НИИ при проведении передовых исследований, а еще хуже — сотрудничают друг с другом. За десять лет авторами хотя бы из двух отечественных вузов было написано всего двенадцать высокоцитируемых совместных статей.

Еще один интересный вывод касается включения наших журналов в международные базы данных. У нас нередко сетуют, что российских изданий в том же Web of Science недостаточно. В то же время анализ свидетельствует, что представленность наших журналов, может быть, избыточна, поскольку из ста пятидесяти российских журналов, имеющихся в Web of Science, лишь в десятке из них за десять лет опубликована хотя бы одна высокоцитируемая статья российского ученого.

— В этом году конференция проходила в Монреале, какое впечатление у вас осталось от города?

— Может быть, это мое преломленное видение, но город оставил ощущение места, пропитанного наукой и образованием. Если говорить о наших местах, такое чувство у меня возникало только в «сибирских Афинах», в Томске. В Монреале всюду университеты (их в городе четыре), реклама университетов, студенты... Даже в Старом Порту, а это главное место городского отдыха и развлечений, есть здание «Science Center».

 

Людмила Мезенцева, Новостная служба портала ВШЭ