Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.

Горный Б.Э.

ФГБУ «Национальный научно-исследовательский центр терапии и профилактической медицины» Минздрава России

Бунова А.С.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Куликова М.С.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Кушунина Д.В.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Калинина А.М.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Драпкина О.М.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России;
ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава России

Мобильные приложения для контроля и коррекции избыточной массы тела (результаты экспертной оценки)

Авторы:

Горный Б.Э., Бунова А.С., Куликова М.С., Кушунина Д.В., Калинина А.М., Драпкина О.М.

Подробнее об авторах

Прочитано: 2800 раз


Как цитировать:

Горный Б.Э., Бунова А.С., Куликова М.С., Кушунина Д.В., Калинина А.М., Драпкина О.М. Мобильные приложения для контроля и коррекции избыточной массы тела (результаты экспертной оценки). Профилактическая медицина. 2021;24(8):66‑69.
Gornyy BE, Bunova AS, Kulikova MS, Kushunina DV, Kalinina AM, Drapkina OM. Mobile applications in the control and correction of excess body weight (expert assessment results). Russian Journal of Preventive Medicine. 2021;24(8):66‑69. (In Russ.)
https://doi.org/10.17116/profmed20212408166

Рекомендуем статьи по данной теме:
Циф­ро­вая ре­аль­ность: вли­яние на пси­хи­чес­кое здо­ровье мо­ло­де­жи. Жур­нал нев­ро­ло­гии и пси­хи­ат­рии им. С.С. Кор­са­ко­ва. 2025;(10):12-17

Введение

Избыточная масса тела и ожирение представляют собой серьезную проблему для общественного здоровья и здравоохранения во всем мире, являясь ведущими факторами риска развития целого ряда неинфекционных заболеваний, включая диабет, сердечно-сосудистые заболевания и некоторые виды рака [1]. Одной из наиболее значимых причин повышения массы тела является потребление продуктов с высоким содержанием жиров и сахаров в сочетании с недостаточной физической активностью, что позволяет относить избыточную массу тела и ожирение к предотвратимым факторам риска.

В связи с масштабом проблемы очевидна потребность в новых организационных профилактических подходах, которые бы позволяли охватить более широкие слои населения и обеспечить возможность долгосрочного контроля избыточной массы тела.

В последнее время вследствие распространения смартфонов и развития технологий мобильного Интернета начал быстро расти рынок мобильных приложений, в том числе предназначенных для здоровья. К 2017 г. количество таких мобильных приложений в мире выросло до 325 тыс., причем только за год их число увеличилось на 78 тыс. [2].

Мобильные приложения, ориентированные на сферу здоровья, предоставляют уникальные возможности для контроля факторов риска заболеваний, в частности динамики массы тела, особенно у лиц, склонных к ее повышению. Этому способствуют технологии, направленные на повышение медицинской грамотности и поддержание вовлеченности пользователей [3, 4] путем контроля калорийности рациона и энергозатрат; обучение рациональной постановке целей; информационные напоминания о режиме приемов пищи, воды, режиме двигательной активности; поддерживающие сообщения и предоставление обратной связи [5—8].

В ряде систематических обзоров показана эффективность использования мобильных приложений для саморегуляции рациона [9] и контроля массы тела [10—13]. Такие приложения могут применяться как самостоятельно [14, 15], так и в качестве дополнительных компонентов медицинских вмешательств. Так, установлено, что использование приложений [16], в том числе популярных приложений для подсчета калорий (например, MyFitnessPal) [17, 18], в сочетании с режимом очных консультаций дает больший эффект по сравнению с вмешательствами, использующими только приложения [19, 20]. С учетом вышесказанного в условиях многообразия мобильных приложений, в том числе и в сфере контроля и снижения избыточной массы тела, актуальным становится не только специальное изучение рынка таких инструментов, но и проведение их независимой экспертизы (оценки), а также определение целесообразности широкого внедрения цифровых профилактических технологий, потребность в которых продолжает расти.

Наиболее популярным инструментом комплексной оценки мобильных приложений считается шкала Mobile application rating scale (MARS), разработанная S. Stoyanov и соавт. [21].

Опыт применения шкалы MARS был обобщен в обзоре оценки приложений, применяемых для первичной профилактики хронических неинфекционных заболеваний [22]. Этот метод также был использован в нескольких экспертных обзорах мобильных приложений, предназначенных для коррекции отдельных видов рискованного поведения, таких как вождение в нетрезвом виде [23], приверженность психоактивным веществам [24], а также приложений для контроля массы тела [11, 16].

В России проводился ряд исследований, в которых была дана оценка мобильных приложений для помощи лицам с разного рода зависимостями [25—27]. Однако работы носили описательный характер, в них отсутствовали те важные характеристики приложений, которые позволяет оценить шкала MARS.

Цель исследования — оценить русскоязычные мобильные приложения, используемые для контроля и снижения избыточной массы тела, на основе экспертной оценки с применением шкалы MARS.

Материал и методы

Проведено экспертное исследование по оценке русскоязычных мобильных приложений, используемых для контроля и снижения избыточной массы тела, с помощью шкалы MARS [21]. Исследование включало следующие шаги:

Шаг 1. Поиск мобильных приложений в магазинах мобильных приложений и формирование базы данных

Поиск мобильных приложений, доступных в Российской Федерации, в магазинах приложений App Store и Google Play был проведен в январе 2021 г. тремя независимыми исследователями. Поиск осуществляли по ключевым словам «питание», «счетчик калорий», «дневник питания», «правильное питание», «диета», «контроль массы тела», «трекер массы тела», «калькулятор массы тела», которые вводили в поисковую строку магазинов приложений. В первичные базы данных были включены все обнаруженные мобильные приложения.

Затем три первичные базы данных мобильных приложений были объединены в одну и из них были удалены дубликаты. Оставшиеся приложения были проанализированы на соответствие критериям включения:

1) возможность осуществлять расчет калорийности рациона;

2) возможность осуществлять расчет энергозатрат;

3) упоминание в описании приложения по крайней мере двух из следующих четырех элементов изменения поведения:

— возможность постановки целей, которых пользователь хочет достичь;

— адаптация приложения к потребностям пользователя;

— возможность обмена результатами изменений с другими людьми (например, через социальные сети);

— получение поощрений (вознаграждений или благодарностей) за успешное выполнение тех или иных действий или продвижение к поставленной цели.

Оставшиеся в базе данных мобильные приложения для контроля и коррекции избыточной массы тела были проанализированы на соответствие критериям исключения:

1) дата последнего обновления до 01.01.18;

2) отсутствие русскоязычной версии;

3) отсутствие бесплатной версии.

Приложения, не соответствующие критериям включения, были удалены из базы данных, остальные установлены на устройства экспертов: планшеты iPad Air 6, Lenovo Tab 4 Plus, мобильные телефоны Honor View 30 Pro, Honor 10 Lite, iPhone 11 и подготовлены к оценке качества.

Таким образом, исходная база данных включала следующие поля: иконка приложения; его название; платформа; количество оценок; рейтинг; разработчик; количество установок; текущая версия; дата последнего обновления; стоимость полной и базовой версии; возрастная категория; язык интерфейса; краткое описание и ссылка на магазин.

Шаг 2. Оценка мобильных приложений, направленных на контроль и коррекцию избыточной массы тела

Оценка качества мобильных приложений была произведена с помощью шкалы MARS [21] четырьмя научными сотрудниками, выступавшими в роли экспертов. Шкала MARS состоит из 23 компонентов и оценивает такие параметры, как вовлеченность, функциональность, эстетичность и информативность. Кроме того, в шкалу включен раздел субъективной оценки, результаты которой не входят в общую оценку. Каждый компонент раздела шкалы оценивается от 1 балла (плохо, не соответствует требованиям) до 5 баллов (отлично, отвечает всем требованиям) (табл. 1). В ходе работы со шкалой экспертами был проведен дополнительный поиск в электронных библиотеках eLIBRARY, PubMed, Google Scholar и Cyberleninka для получения информации о тестировании приложений в рандомизированных клинических исследованиях.

Таблица 1. Структура шкалы MARS

Параметр шкалы

Характеристика

Компоненты раздела

Вовлеченность

Веселое, интересное, настраиваемое, интерактивное, ориентированное на аудиторию мобильное приложение (например, приложение отправляет уведомления: предупреждения, сообщения, напоминания, предоставляет обратную связь, позволяет делиться информацией)

Развлекательность

Интерес

Кастомизация (настройка под конкретного пользователя)

Интерактивность

Целевая группа

Функциональность

Простота освоения, навигация, внутренняя логика и дизайн жестов для управления приложением

Производительность

Простота использования

Навигация

Жестовый дизайн

Эстетичность

Графический дизайн, общая визуальная привлекательность, цветовая гамма, выдержанность стиля

Макет

Графика

Визуальная привлекательность

Информативность

Приложение содержит информацию высокого качества (например, текст, отзывы, ссылки) из надежного источника

Точность описания приложения в магазине

Наличие целей у приложения

Качество информации

Количество информации

Наглядность информации

Доверие к источнику информации

Наличие доказательной базы

Субъективная оценка качества

Субъективное, личное мнение о приложении, включая рекомендации другим пользователям, вероятность использования, готовность платить и оценку

Вероятность рекомендации другим людям

Частота использования в году

Готовность платить

Оценка в звездах

Для определения согласованности экспертных мнений был рассчитан коэффициент согласия между экспертами (Percent Agreement for Multiple Raters) по каждому приложению [28]. Если коэффициент согласия был менее 50%, результаты оценки выносили на обсуждение для достижения консенсуса. Если коэффициент согласия между экспертами превышал 50%, то мобильное приложение включали в статистический анализ с оценками, поставленными каждым экспертом.

Шаг 3. Статистический анализ

На этом этапе рассчитывали средние значения баллов (M) по изучаемым параметрам шкалы для каждого приложения, а также среднее значение (M) и стандартное отклонение (SD) для всех приложений. Анализ корреляции по Спирмену между рейтингом приложений, оцененным с помощью шкалы MARS, и рейтингом, полученным в магазине приложений, проводили в программе SPSS 23.0.

Результаты и обсуждение

В результате поиска по ключевым словам было найдено 513 приложений, бо́льшая часть из которых (68,4%) представлена в магазине приложений Google Play (см. рисунок). После удаления дубликатов и применения критериев включения/исключения были объединены оставшиеся приложения, представленные в обоих магазинах. Для оценки с использованием шкалы MARS отобрано 25 приложений (см. приложение).

Схема поиска мобильных приложений для контроля и снижения массы тела в App Store и Google Play.

Приложение

Название

Вовлеченность

Функциональность

Эстетичность

Информативность

Сводная оценка по шкале MARS

Рейтинг магазинов приложений

Lifesum: планировщик питания и простые рецепты

4,40

4,69

4,33

3,39

4,20

4,40

Счетчик калорий и дневник питания от YAZIO

4,00

4,56

4,33

3,04

3,98

4,50

Дневник зожника

3,85

4,44

3,83

3,11

3,81

4,50

Калькулятор калорий ХиКи

3,85

4,92

3,83

2,64

3,81

4,80

Мой здоровый рацион: дневник питания и тренировок

3,90

4,38

3,83

3,14

3,81

4,40

Похудеть без диеты

4,05

4,38

4,00

2,57

3,75

4,70

Счетчик калорий и дневник тренировок XBodyBuild

3,85

4,56

4,17

2,39

3,74

4,80

Счетчик калорий

4,00

4,56

3,92

2,43

3,73

4,40

Счетчик Калорий от FatSecret

3,66

4,34

3,83

3,03

3,72

4,70

Здоровье компаньон — Счетчик калорий

3,85

4,00

4,00

2,68

3,63

4,10

Счетчик калорий — EasyFit

4,05

4,00

3,92

2,50

3,62

4,60

Таблица Калорийности — Счетчик и дневник калорий

3,75

4,56

3,75

2,39

3,61

4,20

Calorio — дневник питания, калькулятор калорий

3,80

4,13

3,83

2,46

3,56

4,00

Счетчик калорий & веса Arise

3,70

4,25

3,92

2,39

3,56

4,80

Здоровье и фитнес-трекер — ИМТ, калории, сон, шаги

3,65

3,88

4,00

2,54

3,52

4,10

Счетчик калорий и дневник питания

3,25

4,45

3,67

2,43

3,45

Счетчик калорий и дневник питания — СИТ 30

3,70

4,25

3,83

1,75

3,38

4,60

Счетчик калорий и дневник питания

3,55

3,94

3,75

2,18

3,35

3,30

Худеем вместе. Дневник калорий

3,35

4,25

3,08

2,64

3,33

4,70

Счетчик калорий, дневник питания, диеты от Fiasy

3,50

3,88

3,67

2,04

3,27

2,80

Калькулятор калорий для похудения

3,35

4,19

3,25

2,25

3,26

4,40

Weight Off: похудение, сброс веса, счетчик калорий

3,20

4,13

3,58

2,11

3,25

4,40

Универсальный Дневник — Тренировки Питание Финансы

3,05

4,13

3,42

1,64

3,06

4,50

Fit Diary — Дневник тренировок и здорового питания

2,40

4,00

3,33

1,96

2,92

4,20

Дневник питания: счетчик калорий и БЖУ

2,95

3,56

3,08

1,93

2,88

4,30

Среднее арифметическое (M)

3,63

4,26

3,77

2,47

3,53

4,34

Стандартное отклонение (SD)

0,43

0,30

0,33

0,44

0,32

0,47

Значение коэффициента согласия превышало 50% (78%), что позволило признать экспертные мнения согласованными и рассчитать средние баллы по каждому из разделов шкалы MARS.

Сводный средний рейтинг приложений по шкале MARS был равен 3,53 (SD=0,32) балла с максимальной оценкой 4,20 балла для приложения «Lifesum: планировщик питания и простые рецепты» и минимальной оценкой 2,88 балла для приложения «Дневник питания: счетчик калорий и БЖУ» (см. приложение).

Средние оценки по отдельным параметрам колебались от 4,26 (SD=0,30) балла для функциональности до 2,47 (SD=0,44) балла для информативности. Наиболее вариабельными были оценки приложений по параметрам информативность (SD=0,44) и вовлеченность (SD=0,43)

Следует подчеркнуть, что шкала MARS — это инструмент, основанный на экспертной оценке параметров, которые признаны необходимыми для эффективного использования приложения при проведении вмешательства. И наоборот, оценка пользователя в основном зависит от его субъективного мнения. Этот факт обусловливает проведение всестороннего анализа обоих методов оценки, в противном случае технически хорошо разработанные приложения могут быть переоценены, а те, которые имеют аспекты, получающие высокую субъективную оценку пользователей, могут быть отвергнуты.

Сравнительный анализ обнаружил существенные различия между экспертной оценкой качества, полученной с помощью MARS, и оценкой, которую давали пользователи с помощью звезд (пользовательский рейтинг приложения в магазине) (табл. 2). Средняя оценка пользовательского рейтинга составила 4,34 (SD=0,47), оценка для приложений была выше (в среднем 4,4), чем при применении MARS (в среднем 3,5 балла).

Таблица 2. Результаты анализа корреляции между основными параметрами шкалы MARS и пользовательским рейтингом приложений

Параметр

Вовлеченность

Функциональность

Эстетичность

Информативность

Рейтинг MARS

Пользовательский рейтинг

r

0,295

0,572

0,249

0,235

0,378

1,000

p

0,161

0,004

0,241

0,270

0,069

Низкое значение коэффициента корреляции между рейтингом шкалы MARS и пользовательским рейтингом (0,378) свидетельствует о том, что пользователи в своих оценках не учитывают важные характеристики приложения, необходимые им для достижения цели, например информативность, вовлеченность.

Заключение

Таким образом, впервые в России проведена экспертная оценка мобильных приложений для контроля и коррекции избыточной массы тела с использованием шкалы MARS. Большинство приложений характеризовались высокой функциональностью, которая умеренно коррелировала с субъективной оценкой пользователей. Эстетичность, которая является в большей степени техническим аспектом в разработке приложений, также получила довольно высокую оценку. В то же время такие важные параметры, как вовлеченность и информативность, являлись наиболее слабо оцениваемыми для мобильных приложений. К сожалению, эффективность ни одного из рассматриваемых приложений не была изучена в рандомизированных исследованиях.

Участие авторов: концепция и дизайн исследования — Б.Э. Горный, А.С. Бунова; сбор и обработка материала — А.С. Бунова, М.С. Куликова, Д.В. Кушунина; статистическая обработка данных, написание текста — Б.Э. Горный; редактирование — А.М. Калинина, О.М. Драпкина.

Авторы заявляют об отсутствии конфликта интересов.

The authors declare no conflicts of interest.

Литература / References:

  1. Meldrum DR, Morris MA, Gambone JC. Obesity pandemic: causes, consequences, and solutions-but do we have the will? Fertil Steril. 2017; 107(4):833-839.  https://doi.org/10.1016/j.fertnstert.2017.02.104
  2. MHealth economics 2017 — current status and future trends in mobile health. 2017. Accessed March 18, 2021. https://research2guidance.com/product/mhealth-economics-2017-current-status-and-future-trends-in-mobile-health
  3. Raynor HA, Champagne CM. Position of the Academy of Nutrition and Dietetics: Interventions for the Treatment of Overweight and Obesity in Adults. J Acad Nutr Diet. 2016;116(1):129-147.  https://doi.org/10.1016/j.jand.2015.10.031
  4. Logan AG. Transforming hypertension management using mobile health technology for telemonitoring and self-care support. Can J Cardiol. 2013; 29(5):579-585.  https://doi.org/10.1016/j.cjca.2013.02.024
  5. Azar KM, Lesser LI, Laing BY, Stephens J, Aurora MS, Burke LE, Palaniappan LP. Mobile applications for weight management: theory-based content analysis. Am J Prev Med. 2013;45(5):583-589.  https://doi.org/10.1016/j.amepre.2013.07.005
  6. Norman GJ, Zabinski MF, Adams MA, Rosenberg DE, Yaroch AL, Atienza AA. A review of eHealth interventions for physical activity and dietary behavior change. Am J Prev Med. 2007;33(4):336-345.  https://doi.org/10.1016/j.amepre.2007.05.007
  7. Liu F, Kong X, Cao J, Chen S, Li C, Huang J, Gu D, Kelly TN. Mobile phone intervention and weight loss among overweight and obese adults: a meta-analysis of randomized controlled trials. Am J Epidemiol. 2015; 181(5):337-348.  https://doi.org/10.1093/aje/kwu260
  8. Zhao J, Freeman B, Li M. Can Mobile Phone Apps Influence People’s Health Behavior Change? An Evidence Review. J Med Internet Res. 2016; 18(11):e287. https://doi.org/10.2196/jmir.5692
  9. Semper HM, Povey R, Clark-Carter D. A systematic review of the effectiveness of smartphone applications that encourage dietary self-regulatory strategies for weight loss in overweight and obese adults. Obes Rev. 2016;17(9): 895-906.  https://doi.org/10.1111/obr.12428
  10. Aguilar-Martínez A, Solé-Sedeño JM, Mancebo-Moreno G, Medina FX, Carreras-Collado R, Saigí-Rubió F. Use of mobile phones as a tool for weight loss: a systematic review. J Telemed Telecare. 2014;20(6):339-349.  https://doi.org/10.1177/1357633X14537777
  11. Bardus M, Smith JR, Samaha L, Abraham C. Mobile Phone and Web 2.0 Technologies for Weight Management: A Systematic Scoping Review. J Med Internet Res. 2015;17(11):e259. Published 2015 Nov 16.  https://doi.org/10.2196/jmir.5129
  12. Flores Mateo G, Granado-Font E, Ferré-Grau C, Montaña-Carreras X. Mobile Phone Apps to Promote Weight Loss and Increase Physical Activity: A Systematic Review and Meta-Analysis. J Med Internet Res. 2015;17(11):e253. https://doi.org/10.2196/jmir.4836
  13. Schippers M, Adam PC, Smolenski DJ, Wong HT, de Wit JB. A meta-analysis of overall effects of weight loss interventions delivered via mobile phones and effect size differences according to delivery mode, personal contact, and intervention intensity and duration. Obes Rev. 2017;18(4):450-459.  https://doi.org/10.1111/obr.12492
  14. Tang JC, Abraham C, Greaves CJ, Nikolaou V. Self-directed interventions to promote weight loss: a systematic review and meta-analysis. Health Psychol Rev. 2016;10(3):358-372.  https://doi.org/10.1080/17437199.2016.1172979
  15. Tang J, Abraham C, Greaves C, Yates T. Self-directed interventions to promote weight loss: a systematic review of reviews. J Med Internet Res. 2014; 16(2):e58.  https://doi.org/10.2196/jmir.2857
  16. Patel R, Sulzberger L, Li G, Mair J, Morley H, Shing MN, O’Leary C, Prakash A, Robilliard N, Rutherford M, Sharpe C, Shie C, Sritharan L, Turnbull J, Whyte I, Yu H, Cleghorn C, Leung W, Wilson N. Smartphone apps for weight loss and smoking cessation: Quality ranking of 120 apps. N Z Med J. 2015;128(1421):73-76. 
  17. Hartman SJ, Nelson SH, Cadmus-Bertram LA, Patterson RE, Parker BA, Pierce JP. Technology- and Phone-Based Weight Loss Intervention: Pilot RCT in Women at Elevated Breast Cancer Risk. Am J Prev Med. 2016; 51(5):714-721.  https://doi.org/10.1016/j.amepre.2016.06.024
  18. Ipjian ML, Johnston CS. Smartphone technology facilitates dietary change in healthy adults. Nutrition. 2017;33:343-347.  https://doi.org/10.1016/j.nut.2016.08.003
  19. Laing BY, Mangione CM, Tseng CH, Leng M, Vaisberg E, Mahida M, Bholat M, Glazier E, Morisky DE, Bell DS. Effectiveness of a smartphone application for weight loss compared with usual care in overweight primary care patients: a randomized, controlled trial. Ann Intern Med. 2014;161 (10 Suppl):5-12.  https://doi.org/10.7326/M13-3005
  20. Jospe MR, Roy M, Brown RC, Williams SM, Osborne HR, Meredith-Jones KA, McArthur JR, Fleming EA, Taylor RW. The Effect of Different Types of Monitoring Strategies on Weight Loss: A Randomized Controlled Trial. Obesity (Silver Spring). 2017;25(9):1490-1498. https://doi.org/10.1002/oby.21898
  21. Stoyanov SR, Hides L, Kavanagh DJ, Zelenko O, Tjondronegoro D, Mani M. Mobile app rating scale: a new tool for assessing the quality of health mobile apps. JMIR Mhealth Uhealth. 2015;3(1):e27.  https://doi.org/10.2196/mhealth.3422
  22. Domnich A, Arata L, Amicizia D, Signori A, Patrick B, Stoyanov S, Hides L, Gasparini R, Panatto D. Development and validation of the Italian version of the Mobile Application Rating Scale and its generalisability to apps targeting primary prevention. BMC Med Inform Decis Mak. 2016;16:83.  https://doi.org/10.1186/s12911-016-0323-2
  23. Wilson H, Stoyanov SR, Gandabhai S, Baldwin A. The Quality and Accuracy of Mobile Apps to Prevent Driving After Drinking Alcohol. JMIR Mhealth Uhealth. 2016;4(3):e98.  https://doi.org/10.2196/mhealth.5961
  24. Santo K, Richtering SS, Chalmers J, Thiagalingam A, Chow CK, Redfern J. Mobile Phone Apps to Improve Medication Adherence: A Systematic Stepwise Process to Identify High-Quality Apps. JMIR Mhealth Uhealth. 2016; 4(4):e132. https://doi.org/10.2196/mhealth.6742
  25. Брюн Е.А., Кошкина Е.А., Тетенова Е.Ю., Колгашкин А.Ю., Надеждин А.В. Мобильные приложения для лиц, испытывающих проблемы с потреблением алкоголя. Наркология. 2016;15(4):14-22. 
  26. Кошкина Е.А., Колгашкин А.Ю., Тетенова Е.Ю., Надеждин С.А. Мобильные приложения для больных табачной зависимостью. Наркология. 2016;15(7):3-14. 
  27. Брюн Е.А., Кошкина Е.А., Тетенова Е.Ю., Надеждин А.В., Сокольчик Е.И., Колгашкин А.Ю. Мобильные приложения для больных наркотической зависимостью. Наркология. 2017;16(2):24-37. 
  28. Fleiss JL. Measuring nominal scale agreement among many raters. Psychological bulletin. 1971;76(5):378. 

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.