Нанотехнологическое сообщество Нанометр, все о нанотехнологиях
на первую страницу Новости Публикации Библиотека Галерея Сообщество Объявления Олимпиада ABC О проекте
 
  регистрация
помощь
 

Поверить индексом науку. Лекция 1

Ключевые слова:  JCR, SJR, Импакт-фактор, Индекс Хирша, Наукометрические показатели, Наукометрия

Автор(ы):  Ольга Москалева

22 декабря 2012

О том, как в России и в мире принято сравнивать эффективность исследовательской деятельности конкретных учёных и конкретного научного учреждения, в своей лекции в «Газете.Ru» рассказывает начальник управления научных исследований СПбГУ Ольга Москалева.

Осенью 2012 года по результатам мониторинга 520 высших учебных заведений, проведенного совместно с Рособрнадзором, Минобрнауки обнародовало перечень 136 российских вузов «с признаками неэффективности». Этот перечень, в который попали и некоторые уважаемые и престижные учебные заведения, вызвал недоуменную реакцию в научном, преподавательском и экспертном сообществе, справедливо усмотревшем в нем скрытую политическую подоплеку и очередной раунд борьбы бюрократических элит, связанной с перераспределением ресурсов. Больше всего сомнений вызывают критерии министерского мониторинга, уравнивающие показатели научной и преподавательской эффективности с уровнем доходов вуза в расчете на одного преподавателя и общей площадью принадлежащих вузу помещений.

Между тем единственным общепризнанным критерием эффективности того или иного вуза, помимо качества подготовки специалистов, является объем и уровень осуществляемой на его базе научно-исследовательской деятельности, что нашло отражение и в указе президента РФ от 7 мая 2012 года «О мерах по реализации государственной политики в области образования и науки», в котором предписано увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science), до 2,44 процента.

Что именно означают эти проценты, что такое Web of Science, какие еще существуют инструменты, измеряющие эффективность отдельных ученых, коллективов и даже целых стран, и как именно следует их использовать для правильной организации научного процесса и формирования политики в области науки, расскажет в цикле лекций, посвященных наукометрии, один из ведущих специалистов в этой области — начальник управления научных исследований СПбГУ Ольга Москалева.

Лекция I:
Какие наукометрические показатели существуют, и как они формируются

В последнее время все большее значение при выделении финансовых и материально-технических ресурсов уделяется вопросам повышения эффективности научной деятельности, разрабатываются критерии оценки и показатели, которые должны продемонстрировать, как работают отдельные ученые, группы ученых, институты и вузы. В связи с этим постоянно используются понятия «индекс цитирования», «индекс Хирша» и другие параметры, причем далеко не все из объектов оценки (ученых), а тем более администраторов, которые осуществляют собственно оценку, знают и понимают, что они означают, откуда берутся и как считаются. Еще меньше понимания того, можно ли использовать эти показатели (а если можно, то как) для сравнения деятельности разных ученых, лабораторий или институтов.

Индекс Хирша 10 – это хорошо или плохо? Индекс цитирования – это показатель или база данных?

Теоретические знания можно, при желании, получить из имеющейся литературы по наукометрии, где есть соответствующие определения, но что делать, когда в отчетных документах просят указать количество статей и их цитирований по Web of Science и не указывают, где и как эти данные получить?

Так все-таки, можно ли сравнивать по количеству публикаций и их цитированию работу разных ученых или институтов?

Эти показатели так сильно зависят как от области знаний, так и от возраста ученого или организации, что напрямую, естественно, их применять нельзя. Использование средних показателей, таких как цитирование одной статьи, также неадекватно, особенно при сравнении «физиков» и «лириков» и даже физиков-теоретиков и физиков-экспериментаторов. Для решения этой проблемы имеется масса подходов, основанных, как правило, на использовании разнообразных весовых и нормированных показателей.

Базовые наукометрические показатели: журнальный импакт-фактор, индексы цитируемости и научной активности

Основные используемые в наукометрии (библиометрии) показатели можно условно разделить на две основные группы:

Показатели «рейтинговости» журнала:

– Импакт-фактор (JCR, Thomson Reuters, или РИНЦ)
– SNIP (Source-Normalized Impact per Paper, Moed H. F. )
– SJR (SCIMago Journal Ranking)

«Нежурнальные» индексы: показатели публикационной деятельности ученого, организации, области знаний и т. д.:

– Индекс Хирша
– Средняя цитируемость

JCR

Импакт-фактор журнала — широко используемый показатель, разработанный еще в 60-х годах Институтом научной информации (ISI) и представляемый ежегодно в ресурсеJournal Citation Report (JCR), входящем в науко- и библиометрическую службуWeb of Knowledge (частью которой является и база данных Web of Science), созданную компанией Thomson Reuter.

Показатель рассчитывается как количество ссылок в конкретном году на опубликованные в журнале статьи за предшествующие 3 года и является в какой-то мере характеристикой авторитетности журнала. Способ расчета импакт-фактора приведен на рисунке.


Этот показатель хорош для сравнения журналов, близких по тематике, однако не дает возможности сравнивать качество журналов из разных научных областей.

Основными недостатками импакт-фактора являются существенная зависимость от области науки, произвольный временной отрезок «публикационного окна» и различие типов документов в числителе и знаменателе формулы расчета: в числителе учитываются ссылки из всех типов документов, а в знаменателе учитываются только статьи (articles) и обзоры (reviews).

Наряду с трехлетним импакт-фактором в Journal Citation Report (JCR) приводятся и другие библиометрические показатели журналов, которые весьма содержательны, но используются значительно реже. Это пятилетний импакт-фактор, Immediacy Index, время полужизни и Eigenfactor Metrics.

Пятилетний импакт-фактор лучше отражает различия между журналами в областях с традиционно низким цитированием, связанным со сравнительно короткими списками цитируемой литературы в статьях и, соответственно, недостаточно достоверной статистикой, набираемой за период, используемый для расчета традиционного импакт-фактора.

Immediacy Index отражает, насколько быстро начинают цитироваться опубликованные в журнале статьи, и рассчитывается по цитированию статей, вышедших в журнале в том же году, в котором они процитированы. По этому показателю преимущество имеют журналы, выходящие чаще. Динамику цитирования отражает также и время полужизни, показывающее, через какой период времени статьи, опубликованные в журнале, набирают максимальное количество цитирований, после чего их цитирование идет на убыль.

Последняя из упоминавшихся метрик – Eigenfactor. При расчете этого показателя учитывается не только количество цитирований (в данном случае это пятилетнее окно цитирований), но и источник цитирования, при этом самоцитирования (т. е. ссылки в конкретном журнале на статьи в этом же журнале) не учитываются. Таким образом, ссылки в статьях, опубликованных в Nature или Science, оказывают значительно большее влияние на этот показатель, чем ссылки в статьях малозначимого журнала.

Для сравнения цитируемости разных областей знаний в Web of Knowledge есть специально организованный ресурс – Essential Science Indicators, где представлены статистические данные за последние 10 лет по областям знаний, странам, организациям. Нормируя конкретные данные по цитируемости статей отдельного ученого или организации в конкретной области знаний на среднестатистические данные, приведенные в Essential Science Indicators, можно оценить уровень ученого или организации в конкретной научной области по сравнению с мировыми данными или данными по стране.

По данным Essential Scientific Indicators – одной из баз данных Thomson Reuters — среднее цитирование статей варьирует в зависимости от области знаний: для статей, опубликованных в 2001 году, среднее цитирование для всех областей составляет 20,7, в то время как для статей по молекулярной биологии и генетике этот показатель достигает 49,95, а для математики – 6,75, т. е. количественные показатели цитирования статей по этим областям знаний различаются более чем в 7 раз, поэтому сравнивать напрямую по абсолютным показателям цитирования статьи из разных областей знаний нельзя. По данным Essential Science Indicators, из которых видно, сколько раз должна быть процитирована статья в конкретной области знаний и опубликованная в конкретном году, чтобы попасть в определенный процент самых цитируемых статей (от 0,01% до 50%), если для области знаний Biology & Biochemistry статья, опубликованная в 2002 году, должна быть процитирована 1787 раз, чтобы попасть в 0,01% самых цитируемых, то для Engineering такая статья должна набрать всего 707 цитирований.

Для ранжирования журналов, аналогично ранжированию по импакт-фактору в Web of Knowledge, Scopus (библиографическая и реферативная база данных и инструмент для отслеживания цитируемости, созданная издательской корпорацией Elsevier) использует другие показатели, которые уже являются нормированными и учитывают не только количество, но и качество ссылок на конкретные статьи — SJR и SNIP.

SJR

SJRSCImago Journal Ranking – разработанный университетом Гранады рейтинг журналов, в котором учитываются не только общее количество цитирований, но и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок – вес ссылки в журнале Nature на статью в журнале «А» будет отличаться от веса ссылки на ту же статью в журнале «Вестник N-ского университета», на который ссылок в Scopus совсем или почти нет. В целом SJR не очень сильно отличается от привычного импакт-фактора, весьма привлекая более широким спектром журналов и полностью открытым характером — публикацией в свободном доступе в интернете.

SNIP

Еще более продвинутый показатель, используемый Scopus, SNIP, разработан в Лейденском университете профессором Х. Ф. Моэдом. Этот показатель учитывает уже и уровень цитирований в каждой научной области, так что может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчета этого показателя заключаются в следующем.

В показателе учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трех предыдущих лет. Публикационное окно = 3 года, Окно цитирования = 1 год, Типы документов одинаковы для всех этапов подсчета показателя.

Вводится специальное определение «индивидуальной области науки» для журнала, или «окружения журнала»: все статьи, опубликованные в текущем году (в любом издании), которые хотя бы однажды цитировали выпуски журнала, вышедшие за последние десять лет.

Для определения потенциала цитирования (это среднее число позиций, средняя «длина» списков цитируемой литературы в статьях «окружения») подсчитывается среднее число ссылок в статьях, составляющих «окружение журнала». Но учитываются только те ссылки, которые:

а) ведут на статьи, вышедшие в течение трех предыдущих лет;
б) ведут на статьи, имеющиеся в базе данных, по которой идет расчет.

Окончательный расчет показателя проводится по следующей формуле:

Индекс Хирша

Во второй группе «нежурнальных» показателей в первую очередь следует отметить индекс Хирша (H-index). Индекс Хирша (h-index) ученого, опубликовавшего N статей, равен h, если:

h его статей получили не менее h цитирований,
остальные N–h его статей получили не более h цитирований
.

Наконец, среднее цитирование – это общее количество ссылок на статьи ученого, деленное на общее количество статей.

Отличительной особенностью этих показателей является то, что они могут применяться к любому массиву статей (автор, лаборатория, институт, страна и т. д.; за любой период времени).

«Нежурнальные» показатели также весьма сильно зависят от множества факторов: количество цитирований, год первой учитываемой публикации (т. е. возраст ученого) и т. д.

Теперь, когда мы разобрались с тем, что означают те или иные показатели, используемые в библиометрии (или наукометрии), надо разобраться, можно ли их реально использовать для оценки научной деятельности.

В первую очередь, следует помнить, что все эти показатели являются статистическими и ни в коей мере не могут отражать качество какой-либо отдельно взятой статьи или однозначно характеризовать уровень конкретного ученого.

Большое количество цитирований может означать как очень высокий уровень представленных в статье результатов, так и наличие в статье грубейших ошибок, но что можно сказать точно – так это то, что тема, затронутая в высокоцитируемой по той или иной причине статье, является «горячей», т. е. вызывает интерес большого количества ученых.

Даже пресловутая «средняя температура по больнице» может являться значимым индикатором – если в какой-то больнице средняя температура выше, чем во всех соседних, то с большой долей вероятности можно предположить, что данная больница является инфекционной или в ней по крайней мере нет морга…. В любом случае для целей какой-либо оценки опираться только на статистические показатели нельзя, необходима и экспертная оценка, в каждом случае своего уровня.

Публикации являются очень хорошим показателем результативности научной деятельности в первую очередь для фундаментальных исследований, и то не во всех областях наук. Для Arts&Humanities, например, даже импакт-факторы журналов принципиально не рассчитываются, поскольку ценность публикаций в данных областях не определяется количеством цитирований. Примерно то же самое можно сказать и про ряд других областей: значимость научной деятельности специалистов в области программирования определяется не статьями, а написанными программами и т. д.

Даже если очень хорошо знать, что означают различные наукометрические или библиометрические показатели, и понимать, как их правильно применять, остается одна самая важная на сегодняшний день проблема – проблема получения достоверных данных о публикациях организации.

Самые крупные и авторитетные наукометрические базы данных Web of Science и Scopus являются платными ресурсами и далеко не все научные организации или вузы могут себе позволить недешевую подписку на доступ к ним. Есть бесплатный доступ к РИНЦ – Российскому индексу научного цитирования, но этот ресурс еще достаточно молодой, и накопленные базы не полностью отражают публикационную активность российских ученых, хотя можно надеяться на то, что в ближайшие 5—10 лет, при активном содействии самих ученых через открытый недавно Science Index, в РИНЦ можно будет получить достоверные данные о деятельности как отдельного ученого, так и организации.

Именно с целью сравнительной оценки эффективности научной деятельности в разных областях науки крупнейшие наукометрические базы разрабатывают специальные аналитические инструменты. В последнее время в мире все больше и больше начинают использовать такие инструменты при стратегическом планировании науки, при оценке работы отдельных организаций, для принятия решений о выделении финансирования конкретных проектов и организаций.

Что это за инструменты и как именно их можно применять в российских вузах?

Об этом пойдет речь в следующей лекции о наукометрии, посвященной системамInCitesи SciVal Spotlight — мощным и сложным инструментам, позволяющим делать сравнительную оценку эффективности научной деятельности в разных областях науки, организациях, а также различных странах.

 

 
Средний балл: 10.0 (голосов 2)

 


Комментарии
Палии Наталия Алексеевна, 22 декабря 2012 21:00 
Есть бесплатный доступ к РИНЦ – Российскому индексу научного цитирования, но этот ресурс еще достаточно молодой, и накопленные базы не полностью отражают публикационную активность российских ученых - далеко не полностью
Палии Наталия Алексеевна, 25 декабря 2012 14:47 
Председатель правительства России Дмитрий Медведев утвердил госпрограмму, которая определяет развитие науки и технологий в стране до 2020 года.
Реализация программы позволит увеличить удельный вес России в общем числе публикаций в мировых научных журналах до 3 процентов к 2020 году, увеличить коэффициент изобретательской активности до 2,8 единиц к 2020 году, уменьшить средний возраст исследователей до 43 лет.

Вообще-то, важнее определить какую науку хочется иметь и какие результаты она должна давать.

Если мощно развитую прикладную, с выходом на производство - то с цитированием будет кисло.
Если фундаментальную - то индекс может и подтянется, но результатами будут пользоваться за границей.
Колесник Ирина Валерьевна, 28 декабря 2012 12:20 
Кому "хочется"? Иногда создается впечатление, что тем, кто выделяет государственные деньги на науку, не хочется никакой науки, но напрямую об этом говорить пока как-то неприлично.
Палии Наталия Алексеевна, 30 декабря 2012 20:55 
не только, Александр Ринатович, зависит еще и от отрасли науки (т.е. если вы публикуете статью в медицинском журнале, то ее индекс цитирования будет заведомо выше, чем у статьи по социологии)
Палии Наталия Алексеевна, 31 декабря 2012 14:25 
порекомендую еще он-лайн презентацию Elsevier "The Impact Factor and Other Bibliometric Indicators" (обратите внимание на 6 слайд)
Палии Наталия Алексеевна, 31 декабря 2012 14:27 
надеюсь, будут полезны и другие обучающие материалы

Для того чтобы оставить комментарий или оценить данную публикацию Вам необходимо войти на сайт под своим логином и паролем. Зарегистрироваться можно здесь

 

Сердце Наномира
Сердце Наномира

Участники очного тура Олимпиады среди школьников
Завершена апелляция, и подведены итоги отборочного тура по школьным конкурсам: Физика, Химия, Математика, Биология, "Гениальные мысли" и "Юный эрудит". Опубликованы списки участников очного тура олимпиады среди школьников. Доступны дипломы участников заочного тура.

Ведущие игроки инновационной сферы консолидируют усилия по развитию коммуникаций на площадке клуба «Сумма технологий»
В рамках мероприятий Национальной премии «Серебряный Лучник» состоялся круглый стол Экспертного клуба «Сумма технологий» - «Коммуникационная поддержка российских инноваций».

Апелляция решений школьных конкурсов наноолимпиады
Жюри завершило проверку ответов по школьным конкурсам "Физика", "Химия", "Математика", "Биология", "Гениальные мысли", "Юный эрудит". Ответы по всем конкурсам, кроме творческих, опубликованы, Вы можете сравнить их со своими решениями и провести апелляцию в случае, если Вы не согласны с выставленными оценками. Большое спасибо за Ваши решения и Вашу активность! Жюри всегда максимально доброжелательно ко всем участникам, обязательно участвуйте в апелляции! После завершения апелляции изменение оценок проводиться не будет, они станут окончательными и определят Ваше дальнейшее участие в завершающем, очном, туре Олимпиады.

Измерение неоднородности оптических свойств наночастиц PbSe в растворе при помощи двумерной фемтосекундной спектроскопии
Баранов Дмитрий Александрович
Заметка о статье в которой удалось измерить неоднородность оптических свойств квантовых точек селенида свинца в растворе методом двумерной оптической спектроскопии и увязать эту неоднородность с распределением квантовых точек по размерам.

Андрей Свинаренко: учеба должна длиться всю жизнь
ТАСС
Интервью Генерального директора ФИОП А.Г.Свинаренко ТАСС.

Концепция Образовательного центра «Сириус», принципы отбора на смены
Ларин В.В.
Цикл лекций в рамках XI Всероссийской Интернет-олимпиады по нанотехнологиям для всех желающих – школьников, студентов, аспирантов, молодых ученых, учителей и преподавателей: Концепция Образовательного центра «Сириус», принципы отбора на смены. Владимир Владимирович Ларин, учитель физики, Лицей «Вторая школа» г. Москвы, методист первой проектной смены Образовательного центра «Сириус».

Проектная работа

Сегодня становится все более популярной так называемая проектная работа школьников, однако на этот счет есть очень разные мнения. Мы были бы признательны, если бы Вы высказали кратко свое мнение по этому поводу путем голосования. Заранее благодарны!

Закон о реформировании РАН

В Совместном заявлении Совета по науке и членов Общественного совета Минобрнауки предлагается отозвать нынешний проект закона о "реформировании" РАН из Государственной думы и вернуться к его рассмотрению с соблюдением процедуры утвержденной постановлением Правительства РФ №851 от 25.08.2012, и указом Президента РФ №601 от 07.05.2012, которая была грубо нарушена. Мы предлагаем Вам высказать (анонимно) свое мнение в данном опросе, чтобы его статистические результаты были видны всем участникам опроса и общественности.

Проектная деятельность с точки зрения учителя

Это специальный опрос для учителей и представителей школ, которых мы просим оценить значимость предлагаемых материалов, мероприятий и перспективы их дальнейшего совершенствования на пути эффективного взаимодействия школ и ВУЗов. В опросе могут также участвовать школьники, студенты и аспиранты, особенно со своими критическими замечаниями в комментариях.



 
Сайт создан в 2006 году совместными усилиями группы сотрудников и выпускников ФНМ МГУ.
Сайт модернизирован для ресурсной поддержки проектной деятельности учащихся в рамках ГК 16.647.12.2059 (МОН РФ)
Частичное или полное копирование материалов сайта возможно. Но прежде чем это делать ознакомьтесь с инструкцией.