Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.

Горный Б.Э.

ФГБУ «Национальный научно-исследовательский центр терапии и профилактической медицины» Минздрава России

Бунова А.С.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Кушунина Д.В.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Куликова М.С.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Калинина А.М.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России

Драпкина О.М.

ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России;
ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава России

Оценка русскоязычных мобильных приложений, предназначенных для поддержки отказа от курения

Авторы:

Горный Б.Э., Бунова А.С., Кушунина Д.В., Куликова М.С., Калинина А.М., Драпкина О.М.

Подробнее об авторах

Прочитано: 3800 раз


Как цитировать:

Горный Б.Э., Бунова А.С., Кушунина Д.В., Куликова М.С., Калинина А.М., Драпкина О.М. Оценка русскоязычных мобильных приложений, предназначенных для поддержки отказа от курения. Профилактическая медицина. 2022;25(7):66‑72.
Gornyy BE, Bunova AS, Kushunina DV, Kulikova MS, Kalinina AM, Drapkina OM. Evaluation of Russian-language mobile applications designed to support smoking cessation. Russian Journal of Preventive Medicine. 2022;25(7):66‑72. (In Russ.)
https://doi.org/10.17116/profmed20222507166

Рекомендуем статьи по данной теме:

Введение

Курение является причиной каждой шестой смерти от неинфекционных заболеваний (НИЗ) в мире [1]. В мире насчитывается около 1 млрд курильщиков, 8 млн человек ежегодно умирает от употребления табака [2, 3]. Результаты программ по борьбе с табакокурением свидетельствуют, что только около 3% курильщиков могут бросить курить самостоятельно, в то время как лекарственная, психологическая и поведенческая помощь является ключевой для достижения отказа от курения и профилактики рецидивов [4]. Преимущества отказа от курения не вызывают сомнений, поскольку прекращение курения к 40 годам и 60 годам снижает риск преждевременной смерти на 90 и 40% соответственно [5]. Необходим поиск подходов к персонализированному поведенческому вмешательству наряду с медикаментозным лечением табачной зависимости, что в комбинации дает большой эффект при воздержании от курения более 6 мес. Одним из средств, способствующих отказу от курения, как определено в инициативе ВОЗ «Без табака», считается использование для этих целей мобильных приложений, которые могут быть эффективными и в то же время экономически целесообразными [6].

В настоящее время существует немало мобильных приложений для отказа от курения, но многие из них, как показывают различные оценки, низкого качества и нередко не содержат информацию, основанную на фактических данных [7—9]. Авторами специального обзора обнаружено, что только 6 из 112 приложений, предназначенных для отказа от курения, получили высокую оценку по техническим параметрам [9]. Неудовлетворительное качество мобильных приложений вызывает беспокойство специалистов, поскольку негативный опыт работы с такого рода инструментами может не только снизить их эффективность и поставить под угрозу отношение к ним пользователей, но и привести к отказу от использования новых приложений [10].

Как отмечают специалисты компании Nielsen, четверть наиболее часто загружаемых пользователями мобильных приложений никогда в последующем не используются, а 38% купленных приложений сразу же удаляются после их первого применения [11]. Качество пользовательского интерфейса приложения также, как и содержание, может повлиять на его эффективность. Отмечается, что «приверженность методам лечения является основным фактором, определяющим успех лечения» [12], и приложения, направленные на поддержание здоровья, вряд ли могут быть исключением. Поэтому важно определить и оценить основные факторы, лежащие в основе качества пользовательского опыта, определенные как «взаимодействие пользователя с технологией» [13]. На сегодняшний день установлен ряд факторов, влияющих на качество пользовательского опыта, предложен инструмент для их экспертной оценки [14]. В частности, шкала оценки мобильных приложений (MARS) предлагает следующие четыре измерения качества: вовлеченность, функциональность, эстетичность и информационность [14]. Эта шкала широко использовалась для оценки качества разнообразных мобильных приложений [15—18], в том числе и в России [19, 20]. Но на сегодняшний день в нашей стране нет опыта оценки русскоязычных приложений для отказа от курения.

Цель исследования — дать оценку русскоязычным мобильным приложениям, предназначенным для поддержки отказа от курения, с применением шкалы MARS.

Материал и методы

Проведено экспертное исследование по оценке с помощью шкалы MARS (Mobile Apps Rating Scale) русскоязычных мобильных приложений, используемых для отказа от курения [14]. Метод исследования подробно описан в нашей статье, посвященной оценке мобильных приложений по снижению избыточной массы тела [19].

Поиск мобильных приложений для отказа от курения, доступных в Российской Федерации, выполнен тремя исследователями в феврале 2022 г. в магазинах приложений App Store и Google Play. Поиск проведен с использованием следующих ключевых слов: «курение», «бросить курить», «отказ от курения», «не курю», «трекер сигарет», «контроль курения», «калькулятор сигарет», которые вводили в поисковую строку магазинов приложений. В исходные базы данных включены все обнаруженные мобильные приложения.

Затем базы приложений, полученные каждым экспертом, объединены в одну и из них удалены дубликаты. Оставшиеся приложения проанализированы на соответствие критериям включения:

— отсутствие развлекательного контента (игры, заставки для экрана мобильного телефона и т.д.);

— направленность на отказ от курения;

— наличие русскоязычной версии;

— наличие бесплатной версии.

Приложения, не соответствующие критериям включения, удалены из базы данных, остальные установлены на мобильные устройства экспертов: планшеты iPad Air 6, Lenovo Tab 4 Plus, смартфон Honor 10 Lite.

После установки мобильных приложений на устройства из исследования исключен ряд мобильных приложений, имевших технические проблемы, функционал которых доступен только по подписке, содержащих рекламу препаратов, рекомендации о замене сигарет электронными, с некачественным переводом на русский язык. Кроме того, из базы данных удалены мультиплатформенные приложения, разработанные для двух операционных систем Android и iOS.

Исходная база данных включала следующие поля: иконка приложения; его название; платформа; количество оценок; рейтинг; разработчик; количество установок; текущая версия; дата последнего обновления; стоимость полной и базовой версии; возрастная категория; язык интерфейса; краткое описание и ссылка на магазин.

Для получения информации об использовании изучаемых приложений в рандомизированных клинических исследованиях экспертами проведен дополнительный поиск информации в электронных библиотеках eLibrary, PubMed, Google Scholar и Cyberleninka.

Согласованность экспертных мнений по каждому приложению оценивали с помощью коэффициента согласия (Percent Agreement for Multiple Raters) [21]. Если коэффициент согласия был менее 50%, результаты оценки выносили на обсуждение для достижения консенсуса. Если коэффициент согласия между экспертами превышал 50%, то мобильное приложение включалось в статистический анализ с оценками, полученными каждым экспертом.

Статистический анализ проведен в SPSS 23.0. Рассчитывали среднее значение M и стандартное отклонение SD для каждой из групп и всех приложений в целом. Корреляционную связь между рейтингом приложений, оцененным с помощью шкалы MARS, и рейтингом, полученным в магазине приложений, оценивали с помощью коэффициента ранговой корреляции Спирмена (r). Значимость различий между типами приложений оценивали с помощью теста Краскела—Уоллиса.

Результаты и обсуждение

В результате проведенного поиска найдено 740 приложений, большая часть (68,8%) из которых представлена в магазине приложений Google Play (см. рисунок). После удаления дубликатов приложений проведена их оценка на критерии включения и исключения, объединены приложения, представленные в обоих магазинах. Для оценки с использованием шкалы MARS отобрано 50 приложений (табл. 1).

Результат поиска и отбора мобильных приложений, предназначенных для поддержки отказа от курения, в App Store и Google Play.

Таблица 1. Характеристика приложений, предназначенных для поддержки отказа от курения, по шкале MARS

Название

Вовлеченность

Функциональность

Эстетичность

Информативность

Сводная оценка по шкале MARS

Рейтинг магазинов приложений

Курению Стоп: Бросаем Навсегда

3,9

4,3

3,7

2,8

3,6

4,8

Не курю!

4,5

4,3

3,7

3,1

3,9

4,8

Kwit: Бросить курить сейчас!

3,5

4,3

4,1

2,8

3,7

4,2

Flamy — брось курить

3,6

4,5

3,9

2,9

3,7

4,6

Smoke Free — бросьте курить раз и навсегда

3,9

4,8

4,6

3,2

4,1

4,6

Бросаем курить

3,0

4,6

3,0

2,0

3,2

4,7

SWay:Бросить/меньше курить Таймер Трекер привычки

3,2

4,3

3,4

2,3

3,3

4,7

QuitNow: бросайте курить

4,75

3,89

2,81

3,80

4,4

Бросить курить сигареты со Smokler

3,7

4,8

3,9

2,8

3,8

4,4

Бросьте Курить — EasyQuit

2,7

4,7

3,7

2,0

3,3

4,8

Бросить курить

4,2

4,7

3,9

2,8

3,9

4,4

Курил — бросил

3,5

4,7

3,9

2,9

3,7

4,8

Время бросить курить

3,6

4,5

3,2

2,7

3,5

4,7

DWS: Бездымный счетчик — Брось курить сейчас

3,3

4,5

3,2

2,0

3,3

4,8

No Smoking

2,8

4,3

3,0

1,6

2,9

4,6

Бросить курить/счетчик сигарет

3,1

4,2

3,2

2,3

3,2

NA

Бросить курить: Quit Buddy!

2,9

4,2

3,0

2,1

3,0

4,2

Qwit (Quit Smoking)

3,3

4,5

3,3

2,1

3,3

4,2

Как бросить курить. Способы

3,6

4,3

3,7

2,9

3,6

NA

Счетчик Сигарет

2,1

4,3

2,9

1,8

2,7

4,2

Tobacco — брось курить шаг за шагом

3,3

4,2

3,3

1,8

3,1

2,4

Легкий способ бросить курить

3,4

4,4

3,9

1,9

3,4

2,6

Кеони — Бросить курить

2,3

4,0

3,1

1,7

2,8

4,5

Как бросить курить

3,1

4,3

4,0

2,1

3,4

NA

Бросить Курить

2,1

4,6

2,3

1,6

2,7

NA

Smoke Finance — Счетчик сигарет

2,1

3,9

3,1

1,1

2,6

3,4

Бросай курить

2,9

4,4

3,2

1,4

3,0

NA

Стойка сигарет: Quit smoking

3,1

4,2

3,3

2,1

3,2

NA

Я не курю

2,2

4,3

2,0

1,4

2,5

3,6

Я бросил!

3,5

4,3

3,7

3,1

3,6

NA

Счетчик Сигарет

2,8

3,9

2,7

1,9

2,8

4,7

Бросай курить

2,7

3,5

2,2

1,4

2,4

NA

Контроль сигарет

2,3

4,1

2,0

1,4

2,5

3,9

Бросить курить сигареты

2,6

3,6

3,2

1,0

2,6

4,8

Не курю — бросить курить легко

2,7

4,2

3,2

2,3

3,1

4,8

Бросить курить сигареты!

3,1

4,4

3,8

2,2

3,4

4,8

Stopping Smoking. Quit that! (Я не курю! Бросаем курение)

3,2

4,2

3,8

2,5

3,4

4,4

Nonsmoking counter (Счетчик некурения)

2,5

4,3

3,0

1,0

2,7

3,3

Quit Smoking Together

1,8

4,5

2,1

1,3

2,4

1,0

iSmoked

2,5

4,1

3,2

2,2

3,0

NA

Гипноз Бросить курить

2,1

4,0

3,4

1,5

2,8

3,7

100 Способов бросить курить

2,7

4,3

3,3

1,3

2,9

5,0

Психология курильщика — Бросить курить за 10 дней

2,6

4,7

3,2

1,8

3,1

NA

Я чистый: Бросить курить

2,4

4,6

3,4

1,9

3,1

NA

Брось курить навсегда

2,5

3,8

2,8

2,0

2,8

NA

Не курим! Будильник курящих.

1,6

4,5

2,7

0,9

2,4

NA

ДРУЖОК

2,3

3,2

2,1

1,1

2,2

NA

Count My Cigarettes

2,2

4,3

2,3

1,3

2,5

NA

Мой последний таймер сигареты

2,5

4,2

2,3

1,6

2,7

1,0

Курение записи

3,3

4,3

3,4

2,1

3,3

4,0

M (среднее значение)

2,9

4,3

3,2

2,0

3,1

4,0

SD (стандартное отклонение)

0,6

0,3

0,6

0,6

0,5

1,1

В процессе экспертной оценки приложения разделены на 4 типа:

— информационный (И) — информационные приложения, содержащие текстовые советы, рекомендации, руководства, книги об отказе от курения;

— статистический (С) — приложения для учета статистики, связанной с курением. В эту группу вошли мобильные приложения, которые позволяют рассчитать потраченные/сэкономленные время и деньги, количество выкуренных/невыкуренных сигарет, количество полученных/неполученных никотина и смол, показывают, как восстанавливается здоровье человека в зависимости от времени, прошедшего после отказа от курения;

— комбинированный (К) — включал комбинированные приложения, которые содержали как статистические функции, так и информационные материалы об отказе от курения, например, мотивирующие цитаты, советы или статьи;

— многофункциональный (М) — представлен многофункциональными приложениями. Они позволяли устанавливать цели, вести дневники потребления табака, рассчитывать статистику, связанную с отказом от курения, содержали информационные и поддерживающие мотивацию материалы (награды, ежедневные мотивирующие задания, достижения), чаты для общения, помощь при рецидиве, отвлекающие игры и упражнения, шкалы с отслеживанием прогресса восстановления здоровья и увеличения продолжительности жизни, истории успеха, ссылки для обращения за профессиональной помощью.

Сводный средний рейтинг приложений по шкале MARS равнялся 3,1 (0,5), с максимальной оценкой 4,1 балла для приложения «Smoke Free—бросьте курить раз и навсегда» и минимальной оценкой 2,2 балла для приложения ДРУЖОК (см. табл. 1). Параметрами, главным образом определяющими величину сводного рейтинга, были «функциональность» приложения со средней оценкой 4,3 (0,3) и «эстетичность» — 3,2 (0,6).

Наивысшую оценку по сводной шкале MARS получили приложения типа «многофункциональные» 3,5 (0,4) и «комбинированные» 3,2 (0,3). Во всех группах «функциональность» была наиболее высоко оцениваемым параметром. Статистические различия между типами приложений по этому параметру не выявлены (p=0,207). В наших ранних исследованиях [19, 20] данный параметр также получил наиболее высокие оценки, как и в работе L.A. Bustamante и соавт. [22]. В исследовании S. Seo и соавт., в котором также оценивали приложения для отказа от курения, «функциональность» получила самые высокие оценки для всех типов приложений: для комбинированных — 4,0, многофункциональных — 3,8, информационных — 3,9 [23].

При сравнительном анализе обнаружены существенные различия между экспертной оценкой качества, полученной с помощью шкалы MARS, и оценкой, которую давали пользователи с помощью «звезд» (пользовательский рейтинг приложения в магазине). Средняя оценка пользовательского рейтинга 4,0 (1,1) существенно превышала оценку, полученную экспертным путем с использованием MARS (табл. 2). Как видно из данных, представленных в табл. 3, между рейтингом по шкале MARS и пользовательским рейтингом отмечена слабая корреляционная связь, коэффициент корреляции равен 0,394, это означает, что пользователи в своих оценках не учитывают важные характеристики приложения, необходимые им для достижения цели, например, «информативность» и «вовлеченность».

Таблица 2. Качество русскоязычных мобильных приложений, предназначенных для поддержки отказа от курения, в соответствии со шкалой MARS

Тип приложения

Показатель

Вовлеченность

Функциональность

Эстетичность

Информативность

Сводная оценка

Пользовательский рейтинг

М (n=17)

М

3,5

4,4

3,6

2,5

3,5

4,4

SD

0,5

0,2

0,5

0,4

0,4

0,6

К (n=14)

М

3,0

4,3

3,3

2,1

3,2

4,2

SD

0,4

0,2

0,5

0,4

0,3

0,9

С (n=12)

М

2,4

4,1

2,8

1,4

2,7

3,1

SD

0,3

0,5

0,7

0,3

0,3

1,5

И (n=7)

М

2,3

4,4

3,0

1,6

2,8

4,6

SD

0,4

0,3

0,4

0,4

0,2

0,4

Все приложения (n=50)

М

2,9

4,3

3,2

2,0

3,1

4,0

SD

0,6

0,3

0,6

0,6

0,5

1,1

Тест Крускала—Уоллиса

p

0,001

0,207

0,004

0,001

0,001

0,061

Таблица 3. Результаты корреляционного анализа основных параметров шкалы MARS и пользовательского рейтинга приложений

Параметр

Вовлеченность

Функциональность

Эстетичность

Информативность

Рейтинг по шкале MARS

Пользовательский рейтинг

Пользовательский рейтинг

r

0,391

0,145

0,248

0,401

0,394

1,000

p

0,020

0,406

0,152

0,017

0,019

Полученные результаты также согласуются с проведенной нами ранее экспертной оценкой [19].

Ограничения

В задачи исследования не входил содержательный анализ информации, представленной в приложениях, и не рассмотрено ее соответствие международным и отечественным рекомендациям по отказу от курения.

Выводы

1. Впервые в России проведена экспертная оценка мобильных приложений для отказа от курения с использованием признанной в международном масштабе шкалы MARS. Большинство приложений характеризовались высокой функциональностью, которая умеренно коррелировала с субъективной оценкой пользователей. Эстетичность, которая также является в большей степени техническим аспектом разработки приложений, также получила довольно высокую оценку. В то же время такие важные параметры, как вовлеченность и информативность, получили невысокие оценки, то есть оказались самой слабой характеристикой оцениваемых мобильных приложений. К сожалению, эффективность ни одного из рассматриваемых приложений на практике не изучена в рандомизированных исследованиях.

2. Показано, что при оценке мобильных приложений, направленных на поддержание здоровья, отказ от нездоровых поведенческих привычек необходимо ориентироваться не на пользовательские оценки, а на унифицированные экспертные методы оценки, чтобы не подрывать доверие пользователей к мобильному здравоохранению в целом.

Участие авторов: концепция и дизайн исследования — Б.Э. Горный, А.М. Калинина, А.С. Бунова, О.М. Драпкина; сбор и обработка материала — А.С. Бунова, Д.В. Кушунина, М.С. Куликова, Б.Э. Горный; написание текста — Б.Э. Горный, А.С. Бунова, Д.В. Кушунина, М.С. Куликова; редактирование — А.М. Калинина, О.М. Драпкина.

Авторы заявляют об отсутствии конфликта интересов.

Литература / References:

  1. Beaglehole R, Bonita R, Horton R, Adams C, Alleyne G, Asaria P, Baugh V, Bekedam H, Billo N, Casswell S, Cecchini M, Colagiuri R, Colagiuri S, Collins T, Ebrahim S, Engelgau M, Galea G, Gaziano T, Geneau R, Haines A, Hospedales J, Jha P, Keeling A, Leeder S, Lincoln P, McKee M, Mackay J, Magnusson R, Moodie R, Mwatsama M, Nishtar S, Norrving B, Patterson D, Piot P, Ralston J, Rani M, Reddy KS, Sassi F, Sheron N, Stuckler D, Suh I, Torode J, Varghese C, Watt J; Lancet NCD Action Group; NCD Alliance. Priority actions for the non-communicable disease crisis. Lancet. 2011;377(9775):1438-1447. https://doi.org/10.1016/S0140-6736(11)60393-0
  2. WHO. Tobacoo Fact sheet 2021. Accessed April 01, 2022. https://www.who.int/news-room/fact-sheets/detail/tobacco
  3. World Health Organization. Global Status Report on Noncommunicable Diseases 2014. Geneva: WHO; 2014. Accessed April 1, 2022. https://apps.who.int/iris/handle/10665/148114
  4. Stead LF, Koilpillai P, Fanshawe TR, Lancaster T. Combined pharmacotherapy and behavioural interventions for smoking cessation. The Cochrane Database of Systematic Reviews. 2016;3:CD008286. https://doi.org/10.1002/14651858.CD008286.pub3
  5. Doll R, Peto R, Boreham J, Sutherland I. Mortality in relation to smoking: 50 years’ observations on male British doctors. BMJ. 2004;328(7455):1519. https://doi.org/10.1136/bmj.38142.554479.AE
  6. WHO/ITU Mobile Health for Tobacco Cessation (mTobaccoCessation) Be Healthy Be Mobile Handbooks 2015; 72. Accessed April 1, 2022. https://www.who.int/publications/i/item/mobile-health-for-tobacco-cessation-(mtobaccocessation)
  7. Whittaker R, McRobbie H, Bullen C, Rodgers A, Gu Y, Dobson R. Mobile phone text messaging and app-based interventions for smoking cessation. The Cochrane Database of Systematic Reviews. 2019;10(10):CD006611. https://doi.org/10.1002/14651858.CD006611.pub5
  8. Haskins BL, Lesperance D, Gibbons P, Boudreaux ED. A systematic review of smartphone applications for smoking cessation. Translational Behavioral Medicine. 2017;7(2):292-299.  https://doi.org/10.1007/s13142-017-0492-2
  9. Thornton L, Quinn C, Birrell L, Guillaumier A, Shaw B, Forbes E, Deady M, Kay-Lambkin F. Free smoking cessation mobile apps available in Australia: a quality review and content analysis. Australian and New Zealand Journal of Public Health. 2017;41(6):625-630.  https://doi.org/10.1111/1753-6405.12688
  10. Barnett A, Ding H, Hay KE, Yang IA, Bowman RV, Fong KM., Marshall HM. The effectiveness of smartphone applications to aid smoking cessation: a meta-analysis. Clinical eHealth. 2020;3:69-81.  https://doi.org/10.1016/j.ceh.2020.09.001
  11. Smartphones: So Many Apps, So Much Time. Nielsen. 2014. Accessed February 10, 2022. https://www.nielsen.com/us/en/insights/article/2014/smartphones-so-many-apps-so-much-time/
  12. World Health Organization. Adherence to Long-Term Therapies: Evidence for Action. WHO; 2003. Accessed February 10, 2022. https://www.who.int/chp/knowledge/publications/adherence_full_report.pdf
  13. O’Brien HL, Toms EG. What is user engagement? A conceptual framework for defining user engagement with technology. Journal of the American Society for Information Science and Technology. 2008;59(6):938-955.  https://doi.org/10.1002/asi.20801
  14. Stoyanov SR, Hides L, Kavanagh DJ, Zelenko O, Tjondronegoro D, Mani M. Mobile app rating scale: a new tool for assessing the quality of health mobile apps. JMIR mHealth and uHealth. 2015;3(1):e27.  https://doi.org/10.2196/mhealth.3422
  15. Zhao J, Freeman B, Li M. Can Mobile Phone Apps Influence People’s Health Behavior Change? An Evidence Review. Journal of Medical Internet Research. 2016;18(11):e287. https://doi.org/10.2196/jmir.5692
  16. Semper HM, Povey R, Clark-Carter D. A systematic review of the effectiveness of smartphone applications that encourage dietary self-regulatory strategies for weight loss in overweight and obese adults. Obesity Reviews. 2016; 17(9): 895-906.  https://doi.org/10.1111/obr.12428
  17. Aguilar-Martínez A, Solé-Sedeño JM, Mancebo-Moreno G, Medina FX, Carreras-Collado R, Saigí-Rubió F. Use of mobile phones as a tool for weight loss: a systematic review. Journal of Telemedicine and Telecare. 2014;20(6): 339-349.  https://doi.org/10.1177/1357633X14537777
  18. Bardus M, Smith JR, Samaha L, Abraham C. Mobile Phone and Web 2.0 Technologies for Weight Management: A Systematic Scoping Review. Journal of Medical Internet Research. 2015;17(11):e259. https://doi.org/10.2196/jmir.5129
  19. Горный Б.Э., Бунова А.С., Куликова М.С., Кушунина Д.В., Калинина А.М., Драпкина О.М. Мобильные приложения для контроля и коррекции избыточной массы тела (результаты экспертной оценки). Профилактическая медицина. 2021;24(8):66-72.  https://doi.org/10.17116/profmed20212408166
  20. Bunova A, Wiemker V, Gornyi B, Ferreira-Borges C, Neufeld M. Russian-Language Mobile Apps for Reducing Alcohol Use: Systematic Search and Evaluation. JMIR mHealth and uHealth. 2022;10(1):e31058. https://doi.org/10.2196/31058
  21. Fleiss JL. Measuring nominal scale agreement among many raters. Psychological Bulletin. 1971;76(5):378. 
  22. Bustamante LA, Gill Ménard C, Julien S, Romo L. Behavior Change Techniques in Popular Mobile Apps for Smoking Cessation in France: Content Analysis. JMIR mHealth and uHealth. 2021;9(5):e26082. https://doi.org/10.2196/26082
  23. Seo S, Cho SI, Yoon W, Lee CM. Classification of Smoking Cessation Apps: Quality Review and Content Analysis. JMIR mHealth and uHealth. 2022; 10(2):e17268. https://doi.org/10.2196/17268

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.