Валидация электронной версии расширенной шкалы статуса инвалидизации (РШСИ) на русском языке для пациентов с рассеянным склерозом в Российской Федерации

Авторы:

Степанова А.Д.,

Евдошенко Е.П.,

Шумилина М.В.,

Коробко Д.С.,

Барабанова М.А.,

Аброськина М.В.,

Василенко А.Ф.,

Юрченко Ю.Н.,

Давыдовская М.В.

Журнал: Медицинские технологии. Оценка и выбор. 2024;46(1):9-16.

DOI: 10.17116/medtech2024460119

Прочитано: 3567 раз

Скачать PDF

Резюме

ЦЕЛЬ ИССЛЕДОВАНИЯ

Выполнить оценку валидности и воспроизводимости электронной версии расширенной шкалы статуса инвалидизации (эРШСИ) в сравнении с оригинальной бумажной формой EDSS (бEDSS) на английском языке и бумажной формой валидированной русскоязычной версии РШСИ (бРШСИ).

МАТЕРИАЛ И МЕТОДЫ

Исследование проведено в 6 ведущих центрах Российской Федерации и одобрено этическим комитетом. В ходе двух визитов 90 пациентов, соответствующих критериям включения, осмотрены двумя рейтерами. Оценка неврологического статуса пациентов осуществлялась с использованием эРШСИ, бEDSS или бРШСИ в каждой отдельной группе из 30 пациентов. Оценивали также время, затрачиваемое рейтерами на заполнение различных шкал. эРШСИ в нашем исследовании представлена веб-приложением с выстроенным древом решений, реализованным с помощью языков программирования HTML и JavaScript. Фреймворки и библиотеки JavaScript: React. Статистический анализ и визуализация полученных данных проведены с использованием среды для статистических вычислений R 4.2.2 (R Foundation for Statistical Computing, Австрия).

РЕЗУЛЬТАТЫ

ЭРШСИ обладает высокими показателями внутриэкспертной и межэкспертной надежности и внутренней согласованности. При условии сопоставимых с бРШСИ и EDSS показателей внутриэкспертной надежности для компонентов шкал эРШСИ обладает более высокой межэкспертной надежностью для Зрительной, Пирамидной, Сенсорной, Тазовой функциональных систем (ФС), Амбулаторности и итогового балла (ICC>0,9). Внутренняя согласованность эРШСИ оценена как достаточная (альфа Кронбаха >0,7). Статистически значимой разницы во времени, необходимом для заполнения эРШСИ, EDSS и РШСИ, не было: Me (Q25—Q75) = 196 (159,5—248,5) для эРШСИ, 181 (159,5—204,5) с для EDSS, 200 (167—289) с для РШСИ).

ЗАКЛЮЧЕНИЕ

Впервые в Российской Федерации создан и валидирован электронный инструмент оценки статуса инвалидизации (эРШСИ). Являясь наиболее надежным и валидным инструментом оценки неврологического статуса пациентов, эРШСИ предпочтительна для использования в рамках рутинной клинической практики и клинических исследованиях.

Ключевые слова

рассеянный склероз
электронная расширенная шкала статуса инвалидизации
валидация
неврологический статус
инвалидизация
неврология

Дата поступления: 09.10.2023

Дата принятия в печать: 14.11.2023

Дата публикации: 18.03.2024

Введение

Expanded Disability Status Scale (EDSS) — расширенная шкала статуса инвалидизации — используемый во всем мире инструмент оценки неврологического статуса пациентов с рассеянным склерозом (РС). EDSS применяется как в рутинной практике, так и в клинических исследованиях, и служит для объективной интерпретации данных неврологического осмотра.

Первая шкала на основе «функциональных систем» предложена J.F. Kurtzke в 1955 г. в исследовании эффективности изониазида для лечения РС [1]. Позднее шкала преобразована в EDSS, рейтинговую систему от 0 (нормальный неврологический статус) до 10 (смерть от РС), в которой окончательная оценка по EDSS в баллах определяется на основании баллов, рассчитанных для отдельных функциональных систем (ФС) по заданным правилам-алгоритмам [1].

Согласно российским клиническим рекомендациям по РС, при проведении неврологического осмотра пациентов рекомендуется использовать шкалу EDSS. Оценка по шкале EDSS должна проводиться врачом-неврологом на каждом визите пациента в рамках диспансерного наблюдения. Объективная оценка неврологического статуса необходима для выбора стратегии начала и смены терапии РС, оценки подтвержденного прогрессирования инвалидизации, подтвержденного усиления/уменьшения инвалидизации [2]. В связи с этим в 2022 г. под руководством Медицинской ассоциации врачей и центров рассеянного склероза и других нейроиммунологических заболеваний (МАВРС) осуществлен перевод шкалы EDSS на русский язык и проведено исследование по валидации русскоязычной версии расширенной шкалы статуса инвалидизации (РШСИ). Согласно данному исследованию, шкала РШСИ обладает сопоставимыми с EDSS показателями валидности и надежности и является русскоязычным эквивалентом шкалы EDSS, применимым в практической деятельности [3].

С целью повышения надежности и внутренней согласованности оценок EDSS в рамках клинических исследований созданы электронные системы расчета балла EDSS, например Neurostatus e-Scoring (NESC). Электронная система обеспечивает электронный сбор данных, позволяет фиксировать результаты неврологического обследования в виде оценки по функциональным системам и амбулаторности в баллах и безошибочно рассчитать итоговую оценку (далее — итоговый балл) EDSS. Работы по валидации электронной версии EDSS актуальны и в настоящее время [4], поэтому возникла необходимость создания и валидации электронной платформы для расчета оценки по РШСИ в баллах в Российской Федерации.

Цель исследования — выполнить оценку валидности и воспроизводимости электронной версии расширенной шкалы статуса инвалидизации (эРШСИ) в сравнении с оригинальной бумажной формой EDSS (бEDSS) на английском языке и бумажной формой валидированной русскоязычной версии РШСИ (бРШСИ).

Материал и методы

Исследование проведено на базе 6 центров рассеянного склероза в 6 регионах Российской Федерации: Санкт-Петербурга (ГБУЗ «Городская клиническая больница №31», городского центра рассеянного склероза); Новосибирска (ГБУЗ НСО «ГНОКБ», областной центр рассеянного склероза и других аутоиммунных заболеваний нервной системы), Краснодара (ГБУЗ «НИИ — ККБ №1»), Красноярска (ФГБОУ ВО «КрасГМУ им. проф. В.Ф. Войно-Ясенецкого» Минздрава России), Брянск (ГАУЗ «Брянская областная больница №1»), Челябинск (ФГБОУ ВО «ЮУГМУ» Минздрава России).

Исследование соответствует этическим стандартам Хельсинкской декларации 1975 г. и ее пересмотренного варианта 2000 г., одобрено этическим комитетом СПб ГБУЗ «Городская клиническая больница №31». Все пациенты дали письменное информированное согласие.

В исследовании приняли участие 90 пациентов. Оценка неврологического статуса пациентов осуществлялась с использованием эРШСИ, бEDSS или бРШСИ в каждой отдельной группе, состоявшей из 30 пациентов. В исследовании принимали участие взрослые пациенты (старше 18 лет) с достоверным диагнозом рассеянный склероз любого типа течения, подписавшие информированное добровольное согласие на соблюдение всех процедур протокола.

Согласно протоколу исследования, проведены два визита пациента в исследовательский центр с интервалом 7±1 день. Визит 2 проводили при условии отсутствия у пациента обострения или субъективного ощущения ухудшения/улучшения состояния по сравнению с визитом 1.

Во время каждого из двух визитов исследования проведен неврологический осмотр пациентов с последующей интерпретацией данных осмотра с использованием бEDSS, или бРШСИ, или эРШСИ. Рейтерами были сертифицированные врачи-неврологи, прошедшие подготовку по программе Neurostatus e-Test, уровень C. Каждый визит проводился одной парой рейтеров с использованием одной оценочной шкалы. Рейтеры при помощи секундомера оценивали время заполнения бумажных или электронной форм каждой шкалы без учета времени, затрачиваемого на осмотр пациента. Правильность заполнения бланков и интерпретации баллов осуществлялась позднее двумя независимыми рейтерами-экспертами, не осведомленными о данных пациентов.

эРШСИ представляет собой веб-приложение с выстроенным древом решений, реализованное с помощью языков программирования: HTML и JavaScript. Фреймворки и библиотеки JavaScript: React. На рисунке представлена типовая блок-схема калькулятора.

Схема электронной формы расширенной шкалы статуса инвалидизации.

Статистический анализ и визуализация полученных данных выполнены с использованием среды для статистических вычислений R 4.2.1 (R Foundation for Statistical Computing, Австрия).

Описательные данные статистики для количественных переменных представлены в следующем виде: медиана (1-й и 3-й квартили).

Для оценки внутриэкспертной и межэкспертной надежности использовались двухфакторные модели со смешанными эффектами, в которых оценивались коэффициенты внутриклассовой корреляции (intraclass correlation coefficient, ICC) с соответствующими 95% доверительными интервалами (95% ДИ). Интерпретация полученных значений ICC проводилась согласно рекомендациям T.K. Koo и M.Y. Li [5]. Для оценки внутренней согласованности компонентов шкал использована альфа-статистика Кронбаха с соответствующим 95% ДИ.

Результаты

Исследование завершили все 90 пациентов, для каждого пациента получены и обработаны данные по результатам двух визитов. Результаты анализа внутриэкспертной надежности (intra-rater reliability) исследуемых тестов представлены в табл. 1.

Таблица 1. Анализ внутриэкспертной надежности бEDSS, бРШСИ и эРШСИ

Показатель	бEDSS		бРШСИ		эРШСИ
Показатель	ICC [95% ДИ]	p	ICC [95% ДИ]	p	ICC [95% ДИ]	p
Итоговый балл	0,962 [0,937; 0,977]	*	0,997 [0,994; 0,998]	*	0,984 [0,973; 0,991]	*
Зрительная ФС	1	—	1	—	0,583 [0,388; 0,728]	*
Стволовая ФС	0,910 [0,853; 0,945]	*	0,840 [0,746; 0,901]	*	0,852 [0,765; 0,909]	*
Пирамидная ФС	0,922 [0,870; 0,954]	*	0,969 [0,949; 0,982]	*	0,984 [0,973; 0,990]	*
Мозжечковая ФС	0,907 [0,850; 0,944]	*	0,926 [0,880; 0,955]	*	0,913 [0,858; 0,947]	*
Сенсорная ФС	0,765 [0,635; 0,853]	*	0,931 [0,883; 0,959]	*	0,916 [0,864; 0,949]	*
Тазовая ФС	0,825 [0,722; 0,892]	*	0,864 [0,782; 0,916]	*	0,944 [0,907; 0,966]	*
Высшие мозговые функции	0,688 [0,528; 0,801]	*	0,799 [0,685; 0,875]	*	0,894 [0,828; 0,935]	*
Амбулаторность	0,991 [0,985; 0,995]	*	0,999 [0,999; 1]	*	0,981 [0,966; 0,989]	*

Примечание. бEDSS — expanded disability status scale, бумажная оригинальная форма расширенной шкалы статуса инвалидизации; бРШСИ — бумажная форма расширенной шкалы статуса инвалидизации; эРШСИ — электронная форма расширенной шкалы статуса инвалидизации; ФС — функциональная система; ICC — interclass correlation coefficient, коэффициент внутриклассовой корреляции; ДИ — доверительный интервал; * — p<0,0001.

В отношении итогового балла и большинства функциональных систем (ФС) шкалы эРШСИ (Пирамидная, Мозжечковая, Сенсорная, Тазовая ФС и Амбулаторность) отмечена высокая надежность: ICC>0,9. Хорошей надежностью (0,75<ICC<0,9) характеризуются показатели Стволовой ФС (ICC=0,852 [95% ДИ: 0,765; 0,909] и Высших мозговых функций (ICC = 0,894 [95% ДИ: 0,828; 0,935]). Умеренная надежность оценки отмечена для Зрительной ФС (ICC = 0,583 [95% ДИ: 0,388; 0,728]) в отличие от полной согласованности для шкал в бумажном варианте.

В табл. 2 представлены результаты анализа межэкспертной надежности (inter-rater reliability) исследуемых тестов. По сравнению с бумажными вариантами шкал, обладающими низкой внутриклассовой согласованностью (ICC<0,5), при использовании эРШСИ компоненты и итоговый балл эРШСИ показали высокую и хорошую надежность. Высокой надежностью характеризуются показатели Зрительной ФС (ICC = 1), Пирамидной ФС (ICC = 0,973 [95% ДИ: 0,955; 0,984]), Сенсорной ФС (ICC = 0,916 [95% ДИ: 0,864; 0,949]), Тазовой ФС (ICC = 0,912 [95% ДИ: 0,857; 0,946]), Амбулаторности (ICC = 0,999 [95% ДИ: 0,998; 0,999]) и итогового балла (ICC = 0,995 [95% ДИ: 0,992; 0,997]).

Таблица2. Анализ межэкспертной надежности EDSS и РШСИ

Показатель	бEDSS		бРШСИ		эРШСИ
Показатель	ICC [95% ДИ]	p	ICC [95% ДИ]	p	ICC [95% ДИ]	p
Итоговый балл	0,297 [0,064; 0,511]	0,0044	0,275 [0,028; 0,505]	0,0122	0,995 [0,992; 0,997]	*
Зрительная ФС	0,084 [-0,021; 0,230]	0,0788	0,234 [0,020; 0,449]	0,0140	1	—
Стволовая ФС	0,342 [0,184; 0,504]	*	0,241 [0,088; 0,408]	0,0007	0,852 [0,765; 0,909]	*
Пирамидная ФС	0,347 [0,191; 0,508]	*	0,359 [0,162; 0,540]	0,0001	0,973 [0,955; 0,984]	*
Мозжечковая ФС	0,346 [0,186; 0,509]	*	0,365 [0,208; 0,524]	*	0,874 [0,795; 0,923]	*
Сенсорная ФС	0,267 [0,112; 0,434]	0,0002	0,415 [0,257; 0,570]	*	0,916 [0,864; 0,949]	*
Тазовая ФС	0,247 [0,049; 0,445]	0,0055	0,356 [0,192; 0,519]	*	0,912 [0,857; 0,946]	*
Высшие мозговые функции	0,157 [0,012; 0,323]	0,0160	0,234 [0,066; 0,411]	0,0022	0,830 [0,731; 0,894]	*
Амбулаторность	0,447 [0,292; 0,596]	*	0,486 [0,335; 0,629]	*	0,999 [0,998; 0,999]	*

В отношении компонентов шкал отмечена достаточная внутренняя согласованность. Кроме того, достаточная внутренняя согласованность отмечена для каждого рейтера и визита (табл. 3).

Таблица 3. Анализ внутренней согласованности бEDSS, бРШСИ и эРШСИ

Рейтер	Визит	бEDSS	бРШСИ	эРШСИ
1	1	0,79 [0,69; 0,86]	0,75 [0,60; 0,84]	0,77 [0,67; 0,82]
1	2	0,77 [0,61; 0,87]	0,74 [0,60; 0,82]	0,76 [0,66; 0,82]
2	1	0,77 [0,62; 0,86]	0,72 [0,53; 0,82]	0,75 [0,63; 0,81]
2	2	0,78 [0,66; 0,87]	0,76 [0,67; 0,83]	0,76 [0,66; 0,82]

Примечание. Данные представлены как альфа Кронбаха с соответствующим 95% ДИ. бEDSS — expanded disability status scale, бумажная оригинальная форма расширенной шкалы статуса инвалидизации; бРШСИ — бумажная форма расширенной шкалы статуса инвалидизации; эРШСИ — электронная форма расширенной шкалы статуса инвалидизации; ФС — функциональная система.

Медиана времени заполнения шкалы эРШСИ составила 196 (159,5—248,5) с, во время визита 1 — 193,5 (158,5—257,5) с, во время визита 2 — 196,5 (161,5—245) с. Время заполнения электронной формы статистически значимо не отличалось от времени заполнения бумажных форм шкалы бEDSS (Me 181 (159,5—204,5) с) и шкалы бРШСИ (Me 200 (167—289) с). Не выявлена статистически значимая разница во времени, затраченном на заполнение электронной и бумажной форм исследуемых шкал (p>0,05).

Обсуждение

Оценка состояния пациента при помощи шкал и опросников используется в медицинской практике повсеместно. Создание электронных калькуляторов и автоматизация расчета позволяют избежать неточности в интерпретации данных, делают получение результата быстрым и безошибочным.

Сегодня электронные калькуляторы применяются в кардиологии (например CHA2DS2-VASC, — для оценки риска инсульта и системной тромбоэмболии у пациентов с фибрилляцией предсердий), реаниматологии (qSOFA, Шкала комы Глазго и др.), неврологии (NIHSS, Шкала количественной оценки тяжести клинических проявлений миастении, QMGS и др.) и других специальностях. Для оценки болевого синдрома врачи любой специальности используют визуальную аналоговую шкалу (ВАШ), также доступную как в бумажном, так и электронном вариантах. В исследовании B. Byrom и соавт. проведено сравнение электронной и бумажной версий ВАШ. Данные анализа подтверждают, что обе версии ВАШ дают сопоставимые результаты независимо от длины ВАШ [6].

Высокая потребность в удобном и быстром инструменте расчета балла EDSS вдохновляет исследователей к созданию качественно новых алгоритмов для решения данной задачи. A.M. Fouad и соавт. разработали алгоритмический подход (aEDSS), состоящий из набора таблиц с цветовой кодировкой и алгоритмов, которые облегчают и ускоряют оценку результатов неврологического осмотра, включая подшкалы нейростатуса, оценки ФС, амбулаторности и итогового балла EDSS [7]. Данные, полученные при помощи этого алгоритма, обладали высокой согласованностью с оригинальным бумажным инструментом в отношении итогового балла EDSS и оценок ФС (каппа >0,81 для всех показателей). Среднее время, необходимое для расчета EDSS с использованием алгоритмического подхода (16±2,67 мин), значительно меньше, чем при использовании бумажного бланка (31±4,3 мин), p<0,0001.

Методология оценки валидности инструмента (как бумажного, так и электронного) может отличаться в зависимости от его назначения. Так, сравнение двух версий шкалы может быть проведено в одной или разных группах пациентов. Например, для опросников и шкал, для которых требуется лингвистическая валидация, применима методика сравнения воспроизводимости и надежности валидируемого и оригинального инструментов [8]. На основании сопоставимости показателей ICC, внутренней согласованности может быть сделан вывод о валидности нового инструмента. В нашей работе валидация бумажной и электронной форм РШСИ осуществлялась для разных групп пациентов с целью более объективной оценки межэкспертной и внутриэкспертной надежности. Результаты оценки данных показателей бумажной русскоязычной версии РШСИ сопоставимы и полностью согласуются с данными зарубежных исследований в отношении оригинальной англоязычной шкалы EDSS [9—12]. Методика перевода оригинальной версии шкалы EDSS на русский язык и оценка валидности бРШСИ опубликованы ранее [3].

Внутриэкспертная надежность для эРШСИ была несколько выше для отдельных ФС, однако как бумажная, так и электронная форма обладали сопоставимой высокой или хорошей надежностью. Данный показатель является достаточно высоким и в ряде других исследований, так как на него в большей мере влияют субъективные жалобы пациента и естественная флюктуация симптомов заболевания, чем навыки оценки рейтера. Напротив, межэкспертная надежность, являясь важнейшим показателем валидности шкалы, отражает умения рейтера правильно интерпретировать данные неврологического статуса и осуществлять расчет, используя заданный алгоритм. Использование эРШСИ привело к значимому увеличению надежности шкалы: низкая для бумажных версий шкал EDSS и РШСИ надежность оказалась хорошей и даже высокой для большинства компонентов шкал и итогового балла эРШСИ.

В рутинной практике использование электронной системы расчета балла РШСИ должно привести к повышению точности оценки неврологического статуса, что позволит оценивать динамику прогрессирования заболевания и своевременно принимать медицинские решения относительно стратегии терапии. Важность правильной трактовки неврологического статуса особенно актуальна для пациентов с прогрессирующим типом течения заболевания. Изменение балла РШСИ (EDSS) является ключевым показателем для фиксации прогрессирования и изменения типа течения заболевания с последующей сменой терапии [13].

Ограничения нашего исследования — небольшой объем выборки, отсутствие анализа по подгруппам в зависимости от уровня инвалидизации и отсутствие изучения корреляции оценки по EDSS/бРШСИ/эРШСИ с оценками по другим применяемым шкалам.

Заключение

На основании данных нашего исследования можно сделать вывод о достаточной надежности и валидности электронной версии РШСИ. Шкала может использоваться на территории Российской Федерации в рамках рутинной практики и клинических исследований.

Участие авторов:

Концепция и дизайн исследования — Степанова А.Д., Евдошенко Е.П., Давыдовская М.В.

Сбор и обработка материала — Степанова А.Д.

Статистическая обработка — Степанова А.Д.

Написание текста — Степанова А.Д., Евдошенко Е.П., Коробко Д.С.

Редактирование — Шумилина М.В., Барабанова М.А., Аброськина М.В., Василенко А.Ф., Юрченко Ю.Н., Давыдовская М.В.

Авторы заявляют об отсутствии конфликта интересов.

Финансовая поддержка и спонсоры:

Спонсоры исследования: ООО «Мерк», Москва, Россия.

Заинтересованные лица и организации: Медицинская ассоциация врачей и центров рассеянного склероза и других нейроиммунологических заболеваний (МАВРС).

Все права на бумажную и электронную русскоязычные версии «Расширенная шкала статуса инвалидизации» принадлежат ООО «Управляющая компания Кусури», Санкт-Петербург, Россия.

Литература / References

Kurtzke JF. Rating neurologic impairment in multiple sclerosis: An expanded disability status scale (EDSS). Neurology. 1983;33(11):1444-1444. https://doi.org/10.1212/wnl.33.11.1444
Клинические рекомендации. Рассеянный склероз. 2022. Ссылка активна на 21.01.23. https://cr.minzdrav.gov.ru/recomend/739_1
Степанова А.Д., Евдошенко Е.П., Шумилина М.В., Коробко Д.С., Барабанова М.А., Аброськина М.В. и др. Валидация расширенной шкалы статуса инвалидизации (РШСИ) на русском языке для пациентов с рассеянным склерозом в Российской Федерации. Медицинские технологии. Оценка и выбор. 2023;(1):41-49. https://doi.org/10.17116/medtech20234501141
D’Souza M, Heikkilä A, Lorscheider J, Haller V, Kravalis K, Gysin S, et al. Electronic neurostatus-EDSS increases the quality of expanded disability status scale assessments: Experience from two phase 3 clinical trials. Multiple Sclerosis. 2019;26(8):993-996. https://doi.org/10.1177/1352458519845108
Koo TK, Li MY. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine. 2016;15(2):155-163. Erratum in: Journal of Chiropractic Medicine. 2017;16(4):346. https://doi.org/10.1016/j.jcm.2016.02.012
Byrom B, Elash CA, Eremenco S, Bodart S, Muehlhausen W, Platkoet JV, et al. Measurement Comparability of Electronic and Paper Administration of Visual Analogue Scales: A Review of Published Studies. Therapeutic Innovation and Regulatory Science. 2022;56:394-404. https://doi.org/10.1007/s43441-022-00376-2
Fouad AM, Naseer MA, Farghaly M, Negazy MI. New algorithmic approach for easier and faster extended disability status scale calculation. Multiple Sclerosis Journal — Experimental, Translational and Clinical. 2023;9(1):205521732311550. https://doi.org/10.1177/20552173231155055
Sapey-Triomphe L-A, Moulin A, Sonié S, Schmitz C. The Glasgow Sensory Questionnaire: Validation of a French Language Version and Refinement of Sensory Profiles of People with High Autism-Spectrum Quotient. Journal of Autism and Developmental Disorders. 2017;48(5):1549-1565. https://doi.org/10.1007/s10803-017-3422-8
Powell DJH, Liossi C, Schlotz W, Moss-Morris R. Tracking daily fatigue fluctuations in multiple sclerosis: ecological momentary assessment provides unique insights. Journal of Behavioral Medicine. 2017;40(5):772-783. https://doi.org/10.1007/s10865-017-9840-4
Goodkin DE, Cookfair D, Wende K, Bourdette D, Pullicino P, Scherokman B, Whitham R. Inter- and intrarater scoring agreement using grades 1.0 to 3.5 of the Kurtzke Expanded Disability Status Scale (EDSS). Neurology. 1992;42:859-863. https://doi.org/10.1212/wnl.42.4.859
Meyer-Moock S, Feng YS, Maeurer M, Dippel FW, Kohlmann T. Systematic literature review and validity evaluation of the Expanded Disability Status Scale (EDSS) and the Multiple Sclerosis Functional Composite (MSFC) in patients with multiple sclerosis. BMC Neurology. 2014;14(1):58. https://doi.org/10.1186/1471-2377-14-58
Hohol MJ, Orav EJ, Weiner HL. Disease Steps in multiple sclerosis: A simple approach to evaluate disease progression. Neurology. 1995;45(2):251-255. https://doi.org/10.1212/wnl.45.2.251
Lorscheider J, Buzzard K, Jokubaitis V, Spelman T, Havrdova E, Horakova D, et al. Defining secondary progressive multiple sclerosis. Brain. 2016;139(Pt 9):2395-405. https://doi.org/10.1093/brain/aww173