DSA Faculty
API
← к списку преподавателей

Тарасова Ксения Вадимовна

Институт образования

Профиль на hse.ru ↗ тел.: +7 (495) 772-95-90 | 22154
Публикаций
24
Языков
1
Наград
8
Конференций
0
Профиль Публикации (24) Курсы (7)

Профессиональные интересы

оценивание в образованиинавыки XXI векаразработка тестовкритическое мышлениецифровая грамотностьEvidence-centered DesignPerformance-based assessment

Должности

  • Директор центра — Институт образования, Центр психометрики и измерений в образовании
  • Старший научный сотрудник — Институт образования, Центр психометрики и измерений в образовании
  • Доцент — Институт образования, Департамент образовательных программ

Био

  • · Начала работать в НИУ ВШЭ в 2017 году.
  • · Научно-педагогический стаж: 8 лет.

Образование

  • 2009 · Кандидат педагогических наук
  • 2006 · Специалитет: Российский университет дружбы народов, специальность «Естественно-научные специальности», квалификация «Референт-переводчик с испанского языка на русский»
  • 2006 · Специалитет: Российский университет дружбы народов, специальность «Ветеринария», квалификация «Ветеринарный врач»

Опыт работы

  • · 2006 г.: В окончила с отличием Российский университет Дружбы народов по двум специальностям переводчик испанского языка и ветеринарный врач. В
  • · 2009 г.: окончила аспирантуру в ГОУ ВПО МГОПУ им. М.А.Шолохова (ныне МГГУ) по специальности «Общая педагогика, история педагогики и образования» и защитила кандидатскую диссертацию «Системы управления качеством образования в Испании и России: сравнительный анализ». С
  • · 2009 г.: занималась исследованиями в области информатизации образования в Федеральном институте развития образования (ФИРО). А также принимала участие в разработке прототипов интерактивных мультимедийных электронных учебников нового поколения для общего образования в рамках проекта «Развитие электронных образовательных Интернет-ресурсов нового поколения, включая культурно-познавательные сервисы, систем дистанционного общего и профессионального обучения (e-learning), в том числе для использования людьми с ограниченными возможностями»
  • · 2013: С года занимаюсь разработкой оценочных средств, в том числе инструментов измерения комплексных конструктов на основе использования доказательного дизайна (Evidence Centered Design). Занимая должность ведущего специалиста департамента развития ИКТ в образовании Национального фонда подготовки кадров (НФПК) в рамках реализации совместной Программы по повышению качества базового образования Всемирного банка и Министерства финансов Российской Федерации (Программа READ, Russia Education Aid for Development) разрабатывала инструмент оценки информационно-коммуникационной компетентности учащихся, который прошел апробацию в России (Республика Татарстан, г.Красноярск, г.Барнаул, г.Москва, ЯНАО), Таиланде, Республике Армения, Англии, Республике Беларусь, а также включен в региональную систему по оценке качества образования Ямало-Ненецкого автономного округа. Инструмент запатентован «Патент 2656699. ICL-тест - инструмент по измерению информационнокоммуникационной компетентности в цифровой среде»
  • · 2020-настоящее время – НИУ ВШЭ, заместитель руководителя ЛИНКиДТ Центра психометрики и измерений в образовании;
  • · 2017-2020: НИУ ВШЭ, аналитик ЛИНКиДТ Центра психометрики и измерений в образовании
  • · 2013-2017: НФПК, департамент развития ИКТ в образовании, ведущий специалист
  • · 2010-2013: ФИРО, сектор развивающих образовательных сред и технологий, Центр дошкольного, общего и дополнительного образования, старший научный сотрудник
  • · 2007-2010: МГГУ им. М.А.Шолохова старший преподаватель кафедры педагогики
  • · 2004-2007: МГГУ им. М.А.Шолохова методист кафедры педагогики

Награды и поощрения

  • · Благодарность Института образования НИУ ВШЭ (декабрь 2025)
  • · Благодарственное письмо проректора НИУ ВШЭ (декабрь 2024)
  • · Благодарственное письмо проректора НИУ ВШЭ (декабрь 2024)
  • · Благодарность директора Института образования НИУ ВШЭ (май 2023)
  • · Благодарность научного руководителя Института образования НИУ ВШЭ (декабрь 2020)
  • · Надбавка за публикацию в журнале из Списка B (2025–2026)
  • · Надбавка за публикацию в журнале из Списка А (и приравненном к нему научном издании) (2024–2025)
  • · Лучший преподаватель — 2022

Гранты и проекты

  • — · на соискание учёной степени кандидата наук

Идентификаторы исследователя

Публикации (24)

Exploring the Relationship between Performance and Response Process Data in Digital Literacy Assessment

2024 · ARTICLE · en

Measuring complex latent constructs is challenging because of their multi-dimensionality. In this context, computer-based assessments have gained popularity due to its ability to handle large diverse data. The aim of the study is to investigate the interrelationship between performance, time, and actions in computer-based digital literacy assessment. The study involved more than 400 8th-grade schoolchildren (approximately 14—15 years old) from secondary schools in Russia. A subset was obtained from indicators capturing the demonstration of analysis of data, information, and digital content, which is a component of the information literacy in the digital literacy framework. The data was used to create latent models in the structural equation modeling framework. Confirmatory one-factor model for the Performance factor showed a good fit to the data (CFI=1; TLI=1; RMSEA=0). The model with dependencies among indicators demonstrated improved model fit (χ2(18)=510,65; p=0,05) compared to the model without such dependencies. The results suggest that performance, time, and actions are interdependent. The findings underscore the need for a comprehensive approach to assessing digital literacy that accounts for these interdependencies, as well as investigating behavioral patterns of interaction with a large amount of information in the digital environment.

DOI ↗

A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models

2024 · PREPRINT · en

The era of large language models (LLM) raises questions not only about how to train models, but also about how to evaluate them. Despite numerous existing benchmarks, insufficient attention is often given to creating assessments that test LLMs in a valid and reliable manner. To address this challenge, we accommodate the Evidence-centered design (ECD) methodology and propose a comprehensive approach to benchmark development based on rigorous psychometric principles. In this paper, we have made the first attempt to illustrate this approach by creating a new benchmark in the field of pedagogy and education, highlighting the limitations of existing benchmark development approach and taking into account the development of LLMs. We conclude that a new approach to benchmarking is required to match the growing complexity of AI applications in the educational context. We construct a novel benchmark guided by the Bloom's taxonomy and rigorously designed by a consortium of education experts trained in test development. Thus the current benchmark provides an academically robust and practical assessment tool tailored for LLMs, rather than human participants. Tested empirically on the GPT model in the Russian language, it evaluates model performance across varied task complexities, revealing critical gaps in current LLM capabilities. Our results indicate that while generative AI tools hold significant promise for education - potentially supporting tasks such as personalized tutoring, real-time feedback, and multilingual learning - their reliability as autonomous teachers' assistants right now remain rather limited, particularly in tasks requiring deeper cognitive engagement.

DOI ↗ PDF ↗

Computer-based performance approach for critical thinking assessment in children

2023 · ARTICLE · en

Background Critical thinking (CT) has been identified as one of the key skills in the modern world. Despite a variety of CT assessment systems for secondary school and higher education, there is a shortage of CT assessments for children. Aims To fill the gap, we developed a computer-based performance assessment (CPBA) of CT with automatic scoring. In the study, we analysed: (1) To what extent is the internal structure of the critical thinking assessment tool confirmed? (2) What are the patterns of students' behaviour within the CPBA? (3) To what extent is the convergent validity of the CPBA supported? Sample and Methods The sample consists of 1689 students, aged 9–11 years. To answer the research questions, the following quantitative data analysis methods were selected. The Bayesian Network was applied to investigate the internal structure. Latent Class Analysis was used to investigate the patterns of students' behaviour. To verify the convergent validity, the students were asked to solve the standardized math and language literacy tests. Results and Conclusions The theoretically expected internal structure of the CPBA was confirmed: the two-factor structure (the Analysis of information and the Making inferences subskills of CT) describes the data appropriately. Moreover, CT was described not as a list but as a sequence of cognitive operations. Four different strategies that lead to different results of CT were revealed. A weak positive correlation between the results of the CPBA and the achievement tests confirmed the test validity.

DOI ↗

Об оценке цифровой грамотности: методология, концептуальная модель и инструмент измерения

2023 · ARTICLE · ru

На основе анализа международных подходов к измерению цифровой грамотности и близких конструктов предложена концептуальная модель измерения цифровой грамотности как многокомпонентного латентного конструкта и разработан инструмент ее измерения с использованием аутентичных тестовых заданий сценарного типа с акцентом на продукт и процесс работы (задания типа performance-based). Апробация инструмента измерения, предназначенного для школьников 7–8-х классов, с последующим психометрическим анализом полученных данных подтвердила качество разработанных инструментов, обоснованную надежность и валидность результатов измерения цифровой грамотности.

DOI ↗

Цифровая грамотность, когнитивный контроль и использование цифровых устройств детьми

2023 · ARTICLE · ru

Существует представление, что современные молодые люди, которая выросли в окружении цифровых устройств, стихийно осваивают цифровые навыки, и их формирование не требуют специального внимания школы. Наблюдения учителей и результаты исследований свидетельствуют, что это не так. Большинство школьников не способны эффективно решать задачи в цифровой среде, например, корректно построить поисковый запрос, или обеспечить свою информационную безопасность. Целью исследования, представленного в статье, является оценка связи цифровой грамотностью, включая ее отдельные компоненты (например, умением работать с информацией в цифровой среде) с некоторыми когнитивными характеристиками учащихся. В частности, рассмотрена связь цифровой грамотности с особенностями когнитивного контроля учащихся с учетом частоты и специфики активности использования цифровых устройств. Исследование основано на данных оценки уровня цифровой грамотности разработанным инструментом измерения на выборке 4 700 учащихся 7 и 8 классов школ 5 регионов России осенью 2022 г.

DOI ↗

Вычислительная психометрика: ближайшее будущее или уже реальность

2023 · ARTICLE · ru

Рецензируемое издание продолжает серию книг о методологии образовательного тестирования и оценивания, написанных ведущими психометриками и исследователями в области оценивания в образовании. Вычислительная психометрика рассматривается как сочетание методов вычислительных наук и психометрических принципов измерений для анализа данных, полученных в результате тестирования с использованием технологически усовершенствованных форматов теста. В первой части книги обсуждаются изменения, которые произошли в обучении и образовательном оценивании под влиянием цифровых технологий. Во второй части представлен обзор методов вычислительной психометрики: от традиционных психометрических моделей до технологий машинного обучения. Материалы книги могут быть полезны студентам и исследователям в области психометрики, которые занимаются разработкой, проектированием, анализом систем обучения и измерениями с использованием сложных тестовых форматов и данных. Сильной стороной книги является электронное приложение, содержащие код среды программирования R или Python для методологических глав.

DOI ↗ PDF ↗

Подходы к разработке вариантов заданий сценарного типа в рамках метода доказательной аргументации

2022 · ARTICLE · ru

В статье рассматриваются подходы к созданию заданий сценарного типа, разработанных в логике доказательной аргументации (Evidence-Centered Design (ECD)), которые предлагают цифровую тестовую среду для оценки критического мышления. Создание нескольких вариантов таких заданий является трудоемким процессом. Одно из решений этой проблемы предполагает определение подходов разработки, которые позволят упростить процесс создания вариантов. Цель статьи — описать и сравнить подходы к разработке вариантов заданий сценарного типа в рамках метода доказательной аргументации. Методология и методы исследования. Создание вариантов происходило по разным направлениям подхода клонирования, которое заключалось в выявлении обязательных и вариативных элементов заданий. Первое направление фокусировалось на проработке контента. Второе направление дополнительно предполагало соблюдение синтаксических структур предложений в стимульном материале. Связи между вариантами сценариев оценивались в рамках методологии конфирматорного факторного анализа. Выборка исследования составила 389 учащихся начальной школы, которые проходили сценарии во всех вариантах. Результаты исследования. Анализ показал, что сценарии, реализованные в разных проблемных ситуациях, не оценивают способности к критическому мышлению одинаковым образом. Связи между вариантами сценариев, разработанных по разным направлениям подхода клонирования, значимо не различаются. Заключение. Оптимальным подходом к разработке вариантов сценарных заданий является подход клонирования, который учитывает комплексную структуру конструкта и воспроизводит насыщенную цифровую среду. Результаты исследования позволяют утверждать, что при создании вариантов заданий сценарного типа, разработанных в рамках ECD, могут использоваться оба обозначенных направления подхода клонирования.

Цифровая трансформация школ и информационно-коммуникационная компетентность учащихся

2022 · ARTICLE · ru

Информационно-коммуникационная компетентность входит в число основных метапредметных образовательных результатов, которых должны достичь выпускники школы. Полноценное формирование этой компетентности рассматривается как одна из задач подготовки школьников к жизни в информационном обществе и к деятельности в цифровой экономике. В 2020 г. в 21 субъекте Российской Федерации проводилось мониторинговое исследование информационно-коммуникационной компетентности учащихся 9-х классов общеобразовательной школы. Уровень компетентности около половины из них (45,4%) соответствует условиям цифровой экономики. В статье анализируется влияние оснащения школ и особенностей организации учебной работы на уровень информационно-коммуникационной компетентности обучаемых. Выявлена сильная связь этого показателя с внешкольным окружением девятиклассников и слабая — с работой школы. Результаты исследования позволяют судить о причинах недостаточной информационно-коммуникационной компетентности у значительной части выпускников, на основе чего предложены рекомендации по ее повышению.

DOI ↗

Измерение критического мышления студентов в открытой онлайн-среде: методология, концептуальная рамка и типология заданий

2022 · ARTICLE · ru

В условиях обилия и доступности различной информации, в том числе благодаря распространению электронных устройств и интернета, человеку необходимо уметь эффективно ориентироваться в информационном поле, оценивать информацию, делать собственные выводы на ее основе и использовать аргументы при принятии решений. Поэтому одной из ключевых компетенций современного человека, обеспечивающих его успешность в профессиональной и повседневной жизни, становится критическое мышление. Авторы оценивают теоретическую возможность измерения сложного латентного конструкта «критическое мышление в онлайн-среде» с помощью методологии Evidence-Centered Design. Она позволяет выстроить цепочку аргументов, обосновывающих вывод об уровне развития критического мышления у респондента, и тем самым обеспечить справедливость процесса оценки. Оценивание выстраивается от теоретических предположений о природе конструкта к поиску эмпирических свидетельств — наблюдаемых в процессе тестирования действий, позволяющих сделать обоснованные выводы о респондентах. Предложена теоретическая рамка оценивания критического мышления в онлайн-среде для студентов вузов и ее операционализация через релевантное наблюдаемое поведение целевой аудитории, позволяющая получить валидные данные относительно выраженности критического мышления. Тем самым сделан первый шаг к созданию русскоязычного инструмента для оценки критического мышления с подтвержденным психометрическим качеством. Ключевой особенностью инструмента является то, что студент работает не в симулированной среде, где источники информации подбираются разработчиками, а в открытой онлайн-среде и может пользоваться любыми доступными материалами для решения поставленной задачи.

DOI ↗

Измерение критического мышления взрослых: методология и опыт разработки

2022 · ARTICLE · ru

Критическое мышление (далее КМ) является одной из ключевых компетенций в современном мире. Несмотря на разнообразие систем оценки образовательных результатов для средней школы и высшего образования, существует дефицит инструментов оценки данной компетенции для взрослых. Значимость оценки взрослых подчеркивается прежде всего потребностью работодателей в сотрудниках с развитым КМ в различных рабочих контекстах. В данной статье описывается процедура создания инструмента измерения применительно к слушателям учебного курса «Критическое мышление» платформы «Яндекс. Практикум» и результаты оценки его психометрического качества. При создании данного теста мы опирались на подход Evidence Centered Design (ECD). Тест выполнен в компьютерной форме и состоит из заданий, направленных на выявление релевантного наблюдаемого поведения испытуемого. Валидность разработанного инструмента, в том числе его соответствие теоретическим ожиданиям о факторной структуре, подтверждена доказательствами конструктной, критериальной, конвергентной и содержательной валидности. Рассмотрены ограничения данного исследования и возможные направления будущих разработок. Результатом работы выступает валидизированный инструмент измерения критического мышления для взрослых, качество заданий которого подтверждается психометрическим анализом в современной теории тестирования (IRT — Item Response Theory).

DOI ↗

Курсы (7)