Буйволова О.В.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»

Степанова В.Р.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»

Солоухина О.А.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»

Горшков Г.И.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»

Зорина Е.В.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»;
ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Антипова Е.С.

ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Никифорова Т.Ю.

ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Савина О.А.

ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Уржумцева И.В.

ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Черёмин Р.А.

ГБУЗ «Центр патологии речи и нейрореабилитации Департамента здравоохранения Москвы»

Драгой О.В.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики»

Подтверждение конкурентной валидности Русского афазиологического теста — нового стандартизированного инструмента для диагностики афазии

Авторы:

Буйволова О.В., Степанова В.Р., Солоухина О.А., Горшков Г.И., Зорина Е.В., Антипова Е.С., Никифорова Т.Ю., Савина О.А., Уржумцева И.В., Черёмин Р.А., Драгой О.В.

Подробнее об авторах

Прочитано: 1462 раза


Как цитировать:

Буйволова О.В., Степанова В.Р., Солоухина О.А., и др. Подтверждение конкурентной валидности Русского афазиологического теста — нового стандартизированного инструмента для диагностики афазии. Журнал неврологии и психиатрии им. С.С. Корсакова. Спецвыпуски. 2025;125(3‑2):28‑34.
Buivolova OV, Stepanova VR, Soloukhina OA, et al. Confirmation of the competitive validity of the Russian Aphasiological Test, a new standardized tool for the diagnosis of aphasia. S.S. Korsakov Journal of Neurology and Psychiatry. 2025;125(3‑2):28‑34. (In Russ.)
https://doi.org/10.17116/jnevro202512503228

Рекомендуем статьи по данной теме:
Ас­те­ния в ос­тром пе­ри­оде ише­ми­чес­ко­го ин­суль­та. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. Спец­вы­пус­ки. 2025;(3-2):5-10
Пер­вич­ная прог­рес­си­ру­ющая афа­зия в прак­ти­ке нев­ро­ло­га. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. Спец­вы­пус­ки. 2025;(4-2):61-66

Афазия — системное приобретенное нарушение речевой функции, возникающее вследствие локальных органических поражений головного мозга различной этиологии [1, 2]. Афазия проявляется в виде трудностей в порождении и понимании устной и письменной речи [3, 4] и приводит к снижению качества жизни, депрессии и уменьшению социальных контактов [5—9]. Детальная диагностика — важнейший этап работы по преодолению последствий афазии, который определяет дальнейший план восстановительного обучения [10]. Для объективной и достоверной диагностики необходимо использовать комплексный стандартизированный инструментарий, позволяющий детально описать состояние речевой функции. В настоящее время в российской клинической практике используется ряд инструментов для диагностики афазии [11—13], а также ведется работа по разработке новых методик [14—16]. Русский афазиологический тест (РАТ) [16] — новаторская методика, разработанная с опорой на лингвистическую теорию и позволяющая оценить понимание, порождение и повторение речи. Несмотря на то что РАТ был стандартизирован [16] и отвечает основным требованиям, предъявляемым к инструментам для диагностики речевых нарушений [17], открытым остается вопрос о сопоставимости его результатов с результатами используемых в клинической практике методик.

РАТ включает в себя задания, направленные на оценку понимания, порождения и повторения устной речи и позволяет дифференцировать и описать наличие нарушений на фонологическом, лексико-семантическом, морфосинтаксическом и дискурсивном уровнях. Материалы теста были разработаны лингвистами и логопедами с учетом релевантных для каждого задания психолингвистических параметров. РАТ был разработан в виде планшетного приложения, что предполагает полуавтоматическую разметку результатов, стандартизацию процесса предъявления заданий, мобильность, возможность сопоставлять индивидуальные результаты с возрастной нормой или между испытуемыми и отслеживать изменения в речевом статусе с течением времени. В ходе стандартизации РАТ [16] были определены пороговые значения для общего балла и для отдельных заданий на основании данных, полученных в группах неврологически здоровых испытуемых (n=106) и людей с речевыми нарушениями разной степени выраженности (n=85). Были выявлены высокие показатели специфичности и чувствительности, что говорит о возможности достоверно дифференцировать людей с афазией и без речевых нарушений. В ходе стандартизации также были определены показатели ретестовой и межэкспертной надежности [16], предполагающие достоверность результатов теста вне зависимости от исследователя, а также стабильность результатов при повторном тестировании.

Кроме того, при стандартизации [16] была оценена конкурентная валидность теста: параметр, позволяющий оценить, насколько результаты РАТ сопоставимы с результатами выполнения существующего теста, направленного на оценку той же функции. Ранее результаты РАТ были сопоставлены с результатами выполнения Методики оценки речи при афазии (МОРА) [12]. Однако, несмотря на наличие высокой корреляции между суммарными результатами двух методик, результаты на индивидуальном уровне отличались достаточно большой вариативностью, что объясняется отчасти различием в составе заданий РАТ и МОРА. Кроме того, МОРА в настоящее время практически не используется в клинической практике, а сопоставления РАТ с другими методиками не проводилось.

Шкала для оценки степени выраженности речевых нарушений у больных с локальными поражениями мозга (шкала Вассермана) [11] — широко используемая в российской клинической практике методика для детальной оценки речевого статуса. Благодаря обширному стимульному материалу с помощью шкалы Вассермана специалист может оценить сохранность всех аспектов речевой функции, определить форму афазии и степень ее выраженности. Несмотря на ряд преимуществ и широкую распространенность, эта шкала имеет недостатки, которые затрудняют ее использование в исследовательских целях. Так, например, пороговые значения выполнения заданий рассчитывались на основании данных, полученных только в нормотипичной популяции, но не в группе больных с афазией, при подборе стимульного материала не учитывались психолингвистические параметры стимулов (частотность и длина слова, возраст усвоения, тип синтаксических конструкций и др.), а часть стимулов к настоящему моменту является устаревшей. Кроме того, в настоящее время отмечается тенденция перехода от определения конкретного типа афазии по какой-либо классификации к детальному описанию речевого дефицита с учетом наличия нарушений на разных лингвистических уровнях (фонологическом, лексико-семантическом, синтаксическом, уровне дискурса и прагматики) [18]. Такое описание позволяет более персонализированно подбирать методики для восстановления речи у больных с афазией. РАТ был разработан с учетом опыта создания предыдущих инструментов, и его внедрение в дальнейшем позволит заполнить эту лакуну.

Цель настоящего исследования – оценка конкурентной валидности РАТ относительно шкалы Вассермана с помощью корреляционного анализа. Оценка сопоставимости результатов двух методик позволит рекомендовать РАТ в качестве дополнительного надежного лингвистически мотивированного инструмента для оценки речевых нарушений на различных лингвистических уровнях в клинической и исследовательской работе в сфере речевых патологий.

Материал и методы

В исследовании приняли участие 100 пациентов, проходивших курс реабилитации после инсульта в Центре патологии речи и нейрореабилитации (Москва, Россия) в течение 2023—2024 гг. (48 женщин, 52 мужчины; Mвозраст=57,9, SD=11,8, диапазон 22—87 лет; Mобразование=14,2, SD=2, диапазон 10—19 лет). Испытуемые включались в исследование на основании анализа данных историй болезни.

Все участники удовлетворяли следующим критериям включения: возраст старше 18 лет, русский язык — первый и единственный родной, преморбидно ведущая рука — правая, нормальные или скорректированные до нормальных зрение и слух, инсульт(ы) в левом полушарии любой давности, наличие речевых нарушений (афазии или дизартрии) любой степени выраженности. Испытуемые не имели алкогольной, наркотической или иной зависимости в анамнезе, а также диагностированных нейродегенеративных заболеваний. У 89 испытуемых речевые нарушения возникли вследствие одного перенесенного инсульта, у 11 — двух или более. Ишемический инсульт перенесли 90 испытуемых, геморрагический — 10 (Mдавность заболевания=28,62, SD=32,7, диапазон 0,6—174 мес).

В начале госпитализации логопедами Центра проводилось речевое обследование испытуемых, на основании которого были определены форма речевого нарушения и степень его выраженности. У 58 пациентов были зафиксированы афазии небеглых типов (в соответствии с классификацией А.Р. Лурии [19] 19 испытуемым диагностировали эфферентную моторную афазию, 34 — комплексную моторную, 5 — динамическую). У 32 испытуемых была выявлена афазия беглых типов (2 испытуемым диагностировали афферентную моторную афазию, 26 — сенсорную, 4 — акустико-мнестическую). Для всех испытуемых с афазией была определена степень выраженности речевого нарушения: легкая степень речевых нарушений была выявлена у 17 человек, средняя — у 55, грубая — у 18. У оставшихся 10 испытуемых была диагностирована дизартрия. С помощью шкалы оценки дизартрии [20] у каждого испытуемого была определена степень выраженности дизартрии: легкая (n=3), средняя (n=6) или грубая (n=1).

В ходе исследования испытуемые выполняли задания двух диагностических инструментов: РАТ [16] и шкалы Вассермана [11]. Задания РАТ предъявлялись в приложении на планшете Galaxy Tab A (2016) с диагональю экрана 10.1–11.5. Шкала Вассермана предъявлялась в бумажном формате, стимульный материал для проведения исследования был отобран из стандартного набора стимулов шкалы Вассермана [11].

Испытуемые с афазией были протестированы РАТ и шкалой Вассермана. Испытуемые с дизартрией выполняли только задания РАТ, поскольку шкала предназначена только для людей с афатическими нарушениями; испытуемые с дизартрией автоматически получали минимальный балл по шкале Вассермана.

РАТ включает в себя 13 заданий, направленных на оценку сохранности фонологического, лексико-семантического, синтаксического и дискурсивного уровней языковой обработки в модальностях понимания, порождения и повторения речи (описание заданий и основные параметры стимулов приведены в табл. 1). Каждому заданию предшествовали детальные инструкции и тренировочные пробы, во время выполнения которых испытуемый имел возможность задать уточняющие вопросы. В случае, если в рамках предъявляемого задания испытуемый демонстрировал неспособность к выполнению первых трех проб основной части задания, экспериментатор завершал задание, отмечал оставшиеся пробы как неверные и переходил к следующему заданию.

Таблица 1. Детальное описание заданий РАТ

Композитный балл (модальность)

Задание (N проб)

Оцениваемые уровни языковой обработки

Задание

Контролируемые параметры стимулов

Понимание

Различение звуков (22)

Фонологический

Прослушать пары слогов и определить, одинаковы ли слоги в паре

Длина (1, 2 или 3 звука)

Слоговая структура

Лексическое решение (24)

Лексический

Прослушать серию слов и псевдослов и определить, является ли каждое услышанное слово настоящим или вымышленным

Тип (слово или псевдослово)

Длина (два или три слога)

Понимание существительных (24)

Лексико-семантический

Соотнести услышанное слово с одним из 4 рисунков, представленных на экране

Параметры слов: возраст усвоения, длина в слогах (1—4 слога), частотность (высокая, средняя, низкая)

Параметры рисунков: субъективная сложность, представимость, знакомство с концептом

Понимание глаголов (24)

Лексико-семантический

Соотнести услышанное слово с одним из 4 рисунков, представленных на экране

Параметры слов: возраст усвоения, длина в слогах (1—4 слога), частотность (высокая, средняя, низкая)

Параметры рисунков: субъективная сложность, представимость, знакомство с концептом

Понимание предложений (24)

Морфосинтаксический

Соотнести услышанное предложение с одним из 2 рисунков, представленных на экране

Количество аргументов глагола

Порядок слов

Обратимость

Тип синтаксической конструкции

Понимание текста (1 текст, 16 вопросов)

Уровень дискурса

Прослушать текст и ответить на вопросы о событиях в этом тексте

Тип вопроса: к основной сюжетной линии или к деталям; к информации, выраженной эксплицитно или имплицитно

Порождение

Называние объектов (24)

Лексико-семантический

Назвать объект по рисунку

Параметры слов: возраст усвоения, длина в слогах (1—4 слога), частотность (высокая, средняя, низкая)

Параметры рисунков: субъективная сложность, представимость, знакомство с концептом

Называние действий (24)

Лексико-семантический

Назвать действие по рисунку

Параметры слов: возраст усвоения, длина в слогах (1—4 слога), частотность (высокая, средняя, низкая)

Параметры рисунков: субъективная сложность, представимость, знакомство с концептом

Составление предложений по образцу (24)

Морфосинтаксический

Составить предложение по рисунку, опираясь на образец

Количество аргументов глагола

Порядок слов

Обратимость

Тип синтаксической конструкции

Рассказ по рисунку (1)

Уровень дискурса

Составить рассказ с началом, серединой и концом по сюжетному рисунку

Оцениваемые параметры: беглость речи, сложность синтаксических структур, наличие парафазий, информативность описания

Таблица 1. Детальное описание заданий РАТ

Композитный балл (модальность)

Задание (N проб)

Оцениваемые уровни языковой обработки

Задание

Контролируемые параметры стимулов

Повторение

Повторение псевдослов (24)

Фонологический

Прослушать псевдослова и повторить их

Тип: похожее на настоящее слово (напр., лачУта), непохожее на настоящее слово (напр., тадОти)

Длина (1, 3 или 5 слогов)

Повторение слов (24)

Лексический

Прослушать слова и повторить их

Длина (1, 3 или 5 слогов)

Частотность (высокая, средняя, низкая)

Повторение предложений (12)

Лексический

Прослушать предложения и повторить их

Длина (короткое: 3—4 слова; длинное: 6—9 слов)

Частотность (низкая или высокая)

Исследование проводилось в индивидуальном порядке в изолированном помещении. Перед началом исследования каждый испытуемый заполнял форму информированного согласия на участие в исследовании.

Конкурентная валидность РАТ относительно шкалы Вассермана была определена с помощью корреляционного анализа. Во-первых, был рассчитан коэффициент корреляции Спирмена для общих баллов, полученных по результатам выполнения двух тестов. Коэффициент корреляции Спирмена использовался, поскольку, согласно результатам теста Шапиро—Уилка, распределение данных по РАТ (W=0,89, p<0,001) и шкале Вассермана (W=0,96, p=0,003) отличается от нормального. Во-вторых, мы рассчитали коэффициент корреляции Кендалла по отдельным заданиям для сопоставимых частей двух шкал, позволяющих оценить сохранность понимания, повторения, называния и составления рассказа по рисунку (информация о сопоставимых заданиях представлена в табл. 2). Коэффициент корреляции Кендалла был использован, так как баллы, полученные при выполнении РАТ, являются континуальной переменной, а баллы, полученные при выполнении шкалы Вассермана, — порядковой переменной. После применения поправки Бонферрони на множественные сравнения пороговый уровень значимости составил p=0,05/5=0,01.

Таблица 2. Соответствие заданий шкалы Вассермана и РАТ по каждой модальности

Шкала Вассермана

РАТ

Понимание ситуативной речи и словесных значений

Балл выставлен на основании выполнения следующих заданий:

— понимание ситуативной речи;

— понимание простых команд;

— удержание речевого ряда;

— понимание флективных отношений;

— понимание инвертированных конструкций

Понимание слов, предложений и текста

Балл выставлен на основании выполнения следующих заданий:

— понимание существительных;

— понимание глаголов;

— понимание предложений

Повторение

Балл выставлен на основании выполнения следующих заданий:

— отраженная речь;

— повторение речевых рядов

Повторение

Балл выставлен на основании выполнения следующих заданий:

— повторение слов;

— повторение псевдослов;

— повторение предложений

Называние

Балл выставлен на основании выполнения следующих заданий:

— называние реальных предметов;

— называние частей тела;

— называние объектов;

— называние действий

Называние

Балл выставлен на основании выполнения следующих заданий:

— называние объектов;

— называние действий

Составление рассказа по сюжетной картинке

Балл выставлен на основании выполнения задания:

— составление предложений (короткого рассказа) по любой сюжетной картинке или рисункам, обозначающим действия

Порождение дискурса

Балл выставлен на основании выполнения задания:

— рассказ по рисунку

Исследование было одобрено Этическим комитетом ЦПРиН.

Результаты

Описательные статистики выполнения заданий и результаты корреляционного анализа представлены в табл. 3. В результате анализа была выявлена сильная значимая отрицательная корреляция между общими баллами по РАТ и шкале Вассермана (ρ=–0,85, p<0,001). Кроме того, была обнаружена умеренная значимая отрицательная корреляция между результатами, полученными при выполнении заданий РАТ и шкалы Вассермана, направленных на оценку понимания (τ=–0,50, p<0,001), повторения (τ=–0,58, p<0,001), называния (τ=–0,56, p<0,001) и составления рассказа по рисунку (τ=–0,64, p<0,001). Коэффициенты корреляции являются отрицательными вследствие разной направленности шкал. Наличие умеренной и высокой значимой корреляции между результатами тестирований свидетельствует о достаточной согласованности РАТ и шкалы Вассермана.

Таблица 3. Результаты выполнения РАТ и шкалы Вассермана

Оцениваемый параметр

Результаты РАТ (%)

M±SD (мин–макс)

Результаты шкалы Вассермана

M±SD (мин–макс)

Коэффициент корреляции

Общий балл

77,70±17,39

(31,67—98,48)

27,45±13,63

(0—53)

ρ=–0,85, p<0,001

Понимание

91,96±9,52

(36,1—100)

1,17±0,74

(0—2)

τ=–0,50, p<0,001

Повторение

74,46±25,25

(5,83—100)

1,39±0,82

(0—3)

τ=–0,58, p<0,001

Называние

77,27±27,55

(0—100)

1,37±0,75

(0—3)

τ=–0,56, p<0,001

Рассказ по рисунку

65,85±26,75

(0—100)

1,79±0,87

(0—3)

τ=–0,64, p<0,001

Примечание. Для всех параметров РАТ результаты рассчитаны в процентах, возможный диапазон значений: 0—100%. Для общего балла по шкале Вассермана возможный диапазон значений: 0—63 балла. Для баллов по пониманию, повторению, называнию и рассказу по рисунку по шкале Вассермана возможный диапазон значений: 0—3 балла.

Обсуждение

Целью настоящего исследования являлось определение конкурентной валидности современной цифровой методики для определения локуса речевого дефицита — РАТ [16] — относительно существующей и использующейся в практике шкалы Вассермана [11]. В ходе исследования, проведенного на большой репрезентативной выборке участников (100 испытуемых, перенесших инсульт), было выявлено, что результаты выполнения двух шкал согласуются между собой в отношении не только суммарного результата по тесту, но и сопоставимых заданий, направленных на оценку понимания, повторения речи, называния и составления рассказа по рисунку.

Ранее конкурентная валидность РАТ была определена относительно методики МОРА [12], однако, несмотря на то, что сопоставимость результатов была высока, сравнения по отдельным заданиям тестов не проводилось. Результаты настоящего исследования дополняют полученные ранее данные и подтверждают высокий потенциал РАТ для диагностики речевых нарушений у взрослых с патологиями мозга.

Несмотря на то что и РАТ, и шкала Вассермана позволяют сделать заключение об общей степени выраженности нарушений речи у людей с афазией, эти методики основываются на разных принципах и позволяют получить комплиментарные данные для детального описания речевой функции. Внедрение РАТ в клиническую практику позволит сделать результаты оценки более детальными и достоверными.

Заключение

В ходе исследования было подтверждено, что РАТ является достоверным инструментом для оценки речи у пациентов с афазией. Дальнейшее внедрение РАТ — цифрового инструмента для оценки речи при афазии — позволит повысить эффективность диагностики речевых нарушений у взрослых.

Исследование выполнено при финансовой поддержке гранта правительства Москвы, проект №1403-18/23.

This research was funded by a grant from the Moscow government (research project №1403-18/23).

Авторы заявляют об отсутствии конфликта интересов.

Литература / References:

  1. Визель Т.Г. Основы нейропсихологии: учеб. для студентов вузов. М.: АСТАстрель: Транзиткнига. 2005.
  2. Pedersen P, Vinter K, Olsen T. Aphasia after stroke: type, severity and prognosis: The Copenhagen aphasia study. Cerebrovascular Diseases. 2003;17(1):35-43.  https://doi.org/10.1159/000073896
  3. Жукова А.А., Сакаева А.Н., Боброва В.В. К вопросу о восстановлении речевой функции у больных с афазией после органических поражений головного мозга. Научное обозрение. Медицинские науки. 2023;3(3.2):23-27.  https://doi.org/10.17513/srms.1315
  4. Кулеш С.Д. Нарушения речи при локальных поражениях мозга. Медицинские новости. 2018;(3):4-9. 
  5. Hilari K, Northcott S. Social support in people with chronic aphasia. Aphasiology. 2006;20(1):17-36.  https://doi.org/10.1080/02687030500279982
  6. Hilari K, Byng S, Donna L, et al. Stroke and Aphasia Quality of Life Scale-39 (SAQOL-39). Stroke. 2003;34(8):1944-1950. https://doi.org/10.1161/01.STR.0000081987.46660.ED
  7. Ross W, Wertz R. Quality of life with and without aphasia. Aphasiology. 2010;17(4):355-364.  https://doi.org/10.1080/02687030244000716
  8. Kauhanen ML, Korpelainen JT, Hiltunen P, et al. Aphasia, Depression, and Non-Verbal Cognitive Impairment in Ischaemic Stroke. Cerebrovascular Diseases. 2000;10(6):455-461.  https://doi.org/10.1159/000016107
  9. Parr S. Living with severe aphasia: Tracking social exclusion. Aphasiology. 2011;21(1):98-123.  https://doi.org/10.1080/02687030600798337
  10. Шкловский В.М., Визель Т.Г. Восстановление речевой функции у больных с разными формами афазии. М.: В. Секачев. 2012.
  11. Вассерман Л.И., Дорофеева С.А., Меерсон Я.А. Методы нейропсихологической диагностики. СПб.: Стройлеспечать. 1997.
  12. Цветкова Л.С., Ахутина Т.В., Пылаева Н.М. Методика оценки речи при афазии. Учебное пособие к спецпрактикуму для студентов психол. фак. М.: Издательство МГУ. 1981.
  13. Щербакова М.М. Методика скрининг-обследования больных с афазией. Молодой ученый. 2016;2:411-413. 
  14. Fischer U, Arnold M, Nedeltchev K, et al. NIHSS score and arteriographic findings in acute ischemic stroke. Stroke. 2005;36(10):2121-2125. https://doi.org/10.1161/01.str.0000182099.04994.fc
  15. Buivolova O, Vinter O, Bastiaanse R, et al. The aphasia rapid test: adaptation and standardisation for Russian. Aphasiology. 2021;35(5):730-744. 
  16. Ivanova MV, Akinina YS, Soloukhina OA, et al. The Russian Aphasia Test: The first comprehensive, quantitative, standardized, and computerized aphasia language battery In Russian. PLoS ONE. 2021;16(11):45-49.  https://doi.org/10.1371/journal.pone.0258946
  17. Ivanova MV, Hallowell B. A tutorial on aphasia test development in any language: Key substantive and psychometric considerations. Aphasiology. 2013;27(8):891-920.  https://doi.org/10.1080/02687038.2013.805728
  18. Bormann T, Kulke F, Blanken G. The influence of word frequency on semantic word substitutions in aphasic naming. Aphasiology. 2008;22(12):1313-1320. https://doi.org/10.1080/02687030701679436
  19. Akhutina T. Luria’s classification of aphasias and its theoretical basis. Aphasiology. 2016;30(8);878-897.  https://doi.org/10.1080/02687038.2015.1070950
  20. Балашова И.Н., Ванчакова Н.П. Шкала оценки дизартрии как инструмент клинической работы логопеда. Ученые записки университета им. П.Ф. Лесгафта. 2016;1(131):312-317. 

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.