Augmented reality in healthcare: advantages and challenges

ARSP и перспективы развития

ARSP (Augmented Reality for Surgical Planning) – это технология дополненной реальности, которая находит широкое применение в области медицины. Она позволяет врачам и хирургам получать уникальные возможности внутриоперационной навигации, трехмерной визуализации анатомии пациента и планировании хирургических вмешательств.

Перспективы развития ARSP связаны с постоянным улучшением технологий дополненной реальности и их интеграцией в медицинскую практику. В будущем, ARSP сможет стать неотъемлемой частью многих медицинских процедур и операций.

Важным направлением развития ARSP является создание более точных и информативных моделей анатомии пациента. Путем сканирования и анализа медицинских снимков, ARSP позволяет создавать трехмерные модели внутренних органов и тканей пациента. Это позволяет врачам более глубоко изучать анатомию пациента и планировать операции на более высоком уровне точности.

ARSP также может стать незаменимым инструментом для обучения медицинских студентов и хирургов. Благодаря возможности трехмерной визуализации и интерактивности, ARSP позволяет врачам погружаться в виртуальную реальность и тренироваться в проведении операций без прямого воздействия на пациента. Это улучшает качество обучения и помогает врачам совершенствоваться в своей профессии.

Помимо этого, ARSP может применяться для создания индивидуальных планов лечения и операций для каждого пациента. Благодаря возможности визуализации и моделирования анатомии пациента, врачи смогут разрабатывать и оптимизировать планы лечения и операций на основе конкретных особенностей каждого пациента. Это позволит повысить эффективность и безопасность медицинских вмешательств, снизить риски и повысить уровень успеха.

Использование ARSP также может улучшить взаимодействие между врачами и пациентами. Пациенты смогут видеть и понимать планы лечения и операций на основе трехмерной визуализации своего тела. Это поможет им принять более осознанные решения, сократить страх и тревогу, а также повысить доверие к медицинскому персоналу.

Таким образом, ARSP представляет огромные перспективы в области медицины. Ее использование может значительно улучшить качество медицинского обслуживания, повысить эффективность и безопасность операций, а также улучшить обучение медицинских специалистов. В будущем, ARSP станет неотъемлемой частью медицинской практики и будет использоваться во многих областях медицины.

ARSP и перспективы развития

ARSP (Augmented Reality for Surgical Planning) – это технология дополненной реальности, которая находит широкое применение в области медицины. Она позволяет врачам и хирургам получать уникальные возможности внутриоперационной навигации, трехмерной визуализации анатомии пациента и планировании хирургических вмешательств.

Перспективы развития ARSP связаны с постоянным улучшением технологий дополненной реальности и их интеграцией в медицинскую практику. В будущем, ARSP сможет стать неотъемлемой частью многих медицинских процедур и операций.

Важным направлением развития ARSP является создание более точных и информативных моделей анатомии пациента. Путем сканирования и анализа медицинских снимков, ARSP позволяет создавать трехмерные модели внутренних органов и тканей пациента. Это позволяет врачам более глубоко изучать анатомию пациента и планировать операции на более высоком уровне точности.

ARSP также может стать незаменимым инструментом для обучения медицинских студентов и хирургов. Благодаря возможности трехмерной визуализации и интерактивности, ARSP позволяет врачам погружаться в виртуальную реальность и тренироваться в проведении операций без прямого воздействия на пациента. Это улучшает качество обучения и помогает врачам совершенствоваться в своей профессии.

Помимо этого, ARSP может применяться для создания индивидуальных планов лечения и операций для каждого пациента. Благодаря возможности визуализации и моделирования анатомии пациента, врачи смогут разрабатывать и оптимизировать планы лечения и операций на основе конкретных особенностей каждого пациента. Это позволит повысить эффективность и безопасность медицинских вмешательств, снизить риски и повысить уровень успеха.

Использование ARSP также может улучшить взаимодействие между врачами и пациентами. Пациенты смогут видеть и понимать планы лечения и операций на основе трехмерной визуализации своего тела. Это поможет им принять более осознанные решения, сократить страх и тревогу, а также повысить доверие к медицинскому персоналу.

Таким образом, ARSP представляет огромные перспективы в области медицины. Ее использование может значительно улучшить качество медицинского обслуживания, повысить эффективность и безопасность операций, а также улучшить обучение медицинских специалистов. В будущем, ARSP станет неотъемлемой частью медицинской практики и будет использоваться во многих областях медицины.

Тенденции

Технологии виртуальной реальности используются при лечении деменции, рака, а также для обучения медперсонала.

• Стартап Wayback специализируется на помощи людям, страдающим от потери памяти и деменции. Для таких людей создали специальную серию фильмов в виртуальной реальности. Их цель — через памятные моменты прошлого стимулировать работу мозга, разбудить у больных долгосрочные воспоминания и вызвать положительные эмоции.
• Студия Start VR из Сиднея разработала приложение виртуальной реальности, с помощью которого проходящие химиотерапию пациенты могут снять стресс. Пациентам давали VR-очки, они могли выбрать виртуальное путешествие, чтобы расслабиться. Похожая разработка есть у стартапа OnComfort.
• IrisVision — это умная VR-гарнитура со встроенным смартфоном Samsung Galaxy, которая позволяет людям с нарушением остроты зрения снова полноценно видеть. Принцип технологии — в устранении так называемых слепых пятен, вызванных макулярной дегенерацией. Система записывает то, что пользователь видит. Затем он может увеличить некоторые области изображения, что позволяет почти полностью избавится от слепых пятен.  

VR-технологии используют для обучения медицинских специалистов, они оказались востребованными во время пандемии. В США применяют VR для обучения медперсонала работе с больными COVID-19, а в России компания «Ланит-Интеграция» внедрила в главном коронавирусном центре Москвы VR-систему для удаленной координации действий медиков.

Настройки программы

Для настройки передаваемого изображения в окне просмотра видеокамер нажимаем кнопку шестерёнки(справа внизу)

Автовоспроизведение – при включенной функции программа будет воспроизводить раннее открытые каналы видеорегистратора

Настройка экрана – Количсетво отображаемых каналов на экране

Видеопоток – Видеопоток реального времени или записи из буфера

Тревога – срабатывает в виде звукового сигнала при подаче тревоги с видеорегистратора

Аудиотрансляция – при включенной функции программа будет транслировать звук при выборе канала видеорегистратора

Для работы регистратора с облачным сервисом, необходимо в настройках регистратора:

1. «Главное меню>Система>Сетев. Службы>ARSP» поставить галочку «Доступно», в поле «IP адрес» ввести «xmeye.net», указать «порт» 15000, «Имя пользователя» ввести «None», поле пароль оставить пустым. (рис. 1)

2. «Главное меню>Система>Сетев. Службы>Облако (P2P)» поставить галочку «Доступен» (тем самым разрешить соединение с облачным сервисом).

Наиболее распространенный вопрос связанный с данным приложением: «Возможно ли просматривать удаленно архив записи?»

Ответ: Да, возможно. Для этого необходимо пройти на сайт: xmeye.net . Выбрать: «Устройство»

Вписать id видеорегистратора, пароль. Далее в правом верхнем углу выбрать: «Воспроизведение», выбрать дату и время.

Второй по актуальности вопрос: «Возможно ли производить запись с видеорегистратора удаленно?»

Ответ: Да, возможно. Если вы хотите производить запись изображения в максимальном качестве, то в видеорегистраторе необходимо выбрать: настройки-компрессия-внешний поток и выбрать качество внешнего потока. Не стоит забывать, что для максимально высокого качества(к примеру 1080p) понадобится «быстрый интернет», как вместе приема, так и в месте где происходит передача информации(т.е. где расположен видеорегистратор).

Drug Sales and Marketing

3D visualization technologies help salesmen representing pharmaceutical companies to demonstrate drug composition, production methods, clinical trial results, medical research outcomes, and drug effect mechanisms to anyone concerned. AR solutions show great potential as an efficient marketing tool used to attract potential customers’ attention and highlight product features and benefits. 

Drug company employees can utilize dedicated apps for these purposes as part of exhibitions, conferences, webinars, specialized conferences, congresses, and other events organized for the medical community. 

Summing Up

Nowadays, incorporating AR and VR into pharma marketing and advertising seems an essential component of the technology-driven future we have dreamed of. The potential of immersive technologies is limitless. 

Boost your medical marketing with modern technologies today and become the leader on the market of the future! And if you looking for a reliable technology partner to realize your greatest ideas, contact us, and let’s talk the details!

March 28, 2023

Volodymyr Fedorychak
Head of Marketing at SmartTek Solutions

Будущее дополненной реальности в здравоохранении

Рост дополненной реальности в здравоохранении, такой как хирургическое моделирование, диагностика, визуализация и управление уходом за пациентами, расширяет возможности продаж на мировом рынке дополненной реальности. Мы можем ожидать большей интеграции AR с другими технологиями и более персонализированного ухода за пациентами. Кроме того, расширение сетей 5G может обеспечить поддержку облачной дополненной реальности, предоставляя приложениям AR более высокую скорость передачи данных и меньшую задержку.

Чтобы узнать больше о дополненной реальности и других тенденциях в отрасли, связанных с искусственным интеллектом и машинным обучением, прочитайте дополнительные статьи на объединить.ай.

Что такое визуализация в медицине

Визуализация в медицине — это направление, которое помогает оценивать структуру органов и их функцию на клеточном и молекулярном уровнях. Для этого специалисты получают изображения, а затем изучают их и ставят диагноз1.

Медицинская визуализация прошла путь длиной более чем в сто лет: от открытия рентгеновских лучей в конце XIX века до разработки современных КТ- и МРТ-аппаратов1.

Новая веха в истории диагностических изображений связана с появлением искусственного интеллекта (ИИ). Алгоритмы предоставляют цифровой «взгляд» на исследования в клинической медицине2:

• обнаруживают и оценивают аномалии на снимках;

• выявляют изменения, которые с трудом распознаются вручную;

• предсказывают развитие заболевания и реакцию на лечение.

Врач оценивает данные интеллектуальной системы, получая новую диагностическую информацию.

Augmented reality in the operating theatre

Surgeons use AR and VR to visualize organs, bones, and other systems in greater detail and practice complicated procedures. However, the truth around AR is that it’s already being used to map out such layouts during surgery, delivering greater accuracy for the surgeon wielding the scalpel.

Projecting MRI data and CT scans directly to the body through the AR headset offers invaluable assistance for surgeons and their teams, as we learned through the neurosurgery/spinal surgery examples at John Hopkins discussed earlier on the page.

• Echopixeltech.com – 3D modeling using CT images via AR delivering patient-specific anatomy.
• Proximie.com – A virtual assistance tool, projecting remote surgeon’s hands onto those of the lead surgeon.
• Medtronic worked alongside Surgical Theater to provide an AR platform during a complex cranial procedure.

Motor Rehabilitation with Augmented Reality

When a stroke patient is released home, there’s still a long period of recovery awaiting, with many occupational exercises necessary to practice daily to improve limb mobility.

Without enough motivation and engagement, post-stroke less than they would at specialist rehabilitation facilities or the hospital.

The greatest challenge for post-stroke recovery patients is regular home-based therapy.

And here’s where augmented reality steps in to help.

AR, along with VR and gamification, is successfully used in the rehabilitation of post-stroke patients, specifically for lower and upper limb motor function loss or deficit.

Augmented reality games have shown promising results in improving patient motivation and engagement to exercise at home.

Augmented reality mobility game for post-stroke recovery. Source: JMIR Publications

Augmented reality can also be used for gait analysis to help clinicians gain a better understanding of joint mobility in patients. AR-assisted gait analysis can help physicians introduce gait impairment interventions early and effectively.

Медицина в ожидании VR/AR

По оценкам консалтинговой компании IndustryARC, еще в 2017 году общемировой рынок технологий виртуальной и дополненной реальностей в здравоохранении составлял $543 млн, а к 2023 году должен вырасти до $1,46 млрд со среднегодовым темпом роста в 18,02%. О более высоких темпах говорят аналитики Fortune Business Insights, которые ожидают ежегодного увеличения применения технологии VR на 42% в течение шести лет.

Что касается российского рынка VR/AR-решений для медицины, то на данный момент его оценка проводилась только в рамках подготовки дорожной карты нацпрограммы «Цифровая экономика». В документе говорится о высоком потенциале отечественных разработчиков, а сфера здравоохранения считается одной из приоритетных отраслей применения VR/AR наравне с образованием, промышленностью и потребительскими сервисами.

По мнению участвовавшей в создании дорожной карты Екатерины Филатовой из AVRA, сейчас в сфере здравоохранения в России решения с VR/AR-технологиями по большей части находятся на стадии разработки — как начальной, так и уже на этапе клинических исследований.

Медицинская сфера достаточно консервативная и требующая внимательной и длительной проработки прежде, чем технологические решения войдут в потребительский сектор. Большая часть решений в настоящее время разрабатывается непосредственно для медиков: обучающие тренажеры, системы удаленного взаимодействия, визуализация процессов, диагнозов и манипуляций. 

президент Ассоциации AR/VR (AVRA), директор по коммуникациям Центра НТИ ДВФУ

Слова эксперта подтверждают и собранные для базы знаний практики: из 15 кейсов от российских разработчиков на VR/AR-решения для медперсонала приходится большая часть, около 50%. Гораздо меньше продуктов насчитывается для реабилитации пациентов, всего 3.

В каких сферах используют AR

С помощью AR можно решить практически неограниченный круг задач. Например, Amazon применяет AR для проверки социального дистанцирования своих работников. В самых людных местах офиса установлены мониторы, на которые транслируются изображения из закреплённых тут же камер наблюдения. Вокруг каждого человека дорисовывается круг безопасного диаметра, и если люди находятся слишком близко, круги вокруг них становятся красными. Во всех остальных случаях они зелёные:

Ещё одна необычная сфера применения — логистические центры. Компания DHL разработала специальную гарнитуру для оптимизации труда сотрудников, состоящую из сканера проектора и специальных очков. Она сканирует штрихкод упаковки и проецирует на очки всю необходимую информацию, включая место посылки на тележке:

AR активно используют в медицине. Существует устройство, считывающее сетку сосудов пациента по тепловому излучению и проецирующее её на его руку. С таким гаджетом средний медперсонал никогда не промахнётся, пока ставит капельницу или делает укол в вену:

Some of the Major Achievements of AR in Healthcare

1. As per a paper published in Wiley Online Library in 2006, a non-invasive imaging device, namely near-infrared vein finder, was tested for vein treatment.

This device would augment the ability to see veins by projecting the image of the vein on the skin. To begin with, this test was carried out on 23 patients with varicose veins and telangiectasias.

The VeinViewer prototype was able to diagnose all these patients with feeder veins, which made it way more effective than a naked eye’s vision or detection with the help of an ultrasound.

2. As per a paper published by Springer Link, in the year 2014, Siemens, Karl Storz and IRCAD introduced a framework for a laparoscopic liver medical procedure that utilizes AR to view sub-surface tumors and vessels.

3. On 30th April 2015, Microsoft declared the Microsoft HoloLens, their first take on augmented reality.

The HoloLens progressed during that time and became fit for anticipating multi-dimensional images for close infrared fluorescence-based image-guided surgery.

As augmented reality propels, it finds expanding applications in medicinal services. In healthcare services nowadays, AR is being utilized to give direction during diagnostic and therapeutic interventions, e.g. during major and critical surgery.

Пространственное разрешение

Активное зондирование позволяет датчику SAR искусственно увеличивать свое пространственное разрешение. Сенсор SAR излучает электромагнитные волны с чирпом различной частоты, который служит маркером в принимаемых волнах. Когда спутник двигается по орбите (или самолет летит по своей траектории), сенсор SAR несколько раз отображает точку на поверхности земли. Маркер чирпа используется для определения местоположения принятых волн. Этот объект в сочетании с методами обработки сигнала позволяют сенсору SAR с короткой антенной искусственно удлинять антенну, что повышает его пространственное разрешение. Чтобы определить местоположение на земле принимаемой волны, сенсор SAR должен смотреть вбок. Если сенсор SAR будет направлен в надир (то есть вертикально вниз), он не сможет использовать время в пути, чтобы различать между собой объекты, находящиеся на одинаковом расстоянии от сенсора на противоположных сторонах.

Увеличение размера диафрагмы камеры для данного датчика позволяет пропускать больше света, тем самым увеличивая разрешение снимков.

Хотя характеристики сенсора SAR обеспечивают уникальную визуализацию наземных объектов, они также приводят к сложностям при обработке данных. Среди проблем, которые необходимо решить, можно отметить устранение тепловых шумов, калибровку для получения значимой величины обратного рассеяния, устранение спекл-шума и устранение радиометрических и геометрических искажений.

По мере того, как спутник вращается вокруг Земли, датчик многократно захватывает изображение. Сочетание этого с методами обработки сигнала позволяет датчику SAR (с короткой антенной) искусственно удлинять свою антенну для получения большей апертуры.

The Augmented Reality Agency

Apart from the fact that this is a potentially multi-billion-dollar market – the opportunities to leverage XR tech, particularly AR, to significantly enrich medical and pharmaceutical training; enhance patient education and care; increase sales and boost marketing; as well as strengthen equipment manufacture – is thus compellingly clear.

Partnering with a professional augmented reality outfit such as Rock Paper Reality (RPR) is the key to unlocking the full benefits of AR technology in the healthcare space. With over a decade of innovative and successful AR experiences, RPR is well-equipped and uniquely positioned to craft powerful and effective AR apps and webAR experiences. Our skills span from dynamic app development and content creation to focused consultation and targeted marketing solutions.

Augmented Practice

The benefits that AR can bring to the field of medicine and education are revolutionary. Medical institutions are beginning to implement AR into their curriculum to provide students with a valuable hands-on learning experiences. Essentially, the idea for using AR in education is to simulate patient and surgical encounters for students to make all of their mistakes on AR rather than in a dissection lab or worse, in a real-life procedure. Students will use AR so they can accurately learn about diagnosing patients with health conditions or take part in an AR surgical procedure. AR technologies will also allow medical professionals to continuously observe and give feedback to students during their practice.

Another advantage of implementing AR into education is that training can now be made more systematic. Through an AR training program, doctors in training can practice on anything and everything that may come up in a real-life medical situation rather than randomly training with what’s given in a dissection lab. Medical students have always based medicine on theory and proven evidence, and now AR technologies actually allow them to visualize and practice those theories during their training. An example of this are AR apps that can be used to overlay anatomy data on a 3D human skeleton, giving them a better understanding of how the human body works. 

Augmented Practice Startups to Watch

1. ImmersiveTouch: ImmersiveTouch provides cutting-edge VR and AR training and education solutions to medical professionals, students, and the healthcare industry. ImmersiveTouch combines their innovative technologies with strong academic partnerships to promote world-class medical education and patient safety. Their company’s comprehensive education solutions include next generation surgical simulators and learning management systems. These can be found in leading medical centers around the world, including Johns Hopkins, the University of Calgary, and the University of Chicago.
2. Touch Surgery: Touch Surgery offers an app that allows users to practice surgery at any place and at any time. They use an interactive mobile surgical simulator that guides you step-by-step through every part of an operation, and every decision that’s made along the way. Using sophisticated technology, Touch Surgery is creating accurate and valuable surgical content, disseminating the best techniques and procedures to improve the quality of surgery worldwide.

High tech advances have clearly improved outcomes in medicine. Still, AR technology has a way to evolve for all this to be realized and implemented into the daily routine of medicine.  AR Hardware needs to fit comfortably and securely on the practitioner’s head. AR images will need to be projected as clear and accurately as possible. Doctors must also begin to buy into the concept that AR can bring vast improvements to their practice. Through the use of AR to assist in surgery, during the training of medical students, and even during regular doctor appointments, we will begin to see AR incorporated more into medicine throughout the coming years. There are a variety of technical and even societal challenges by incorporating AR into medicine, but it’s certainly doable and will be commonly seen within the next few years.

Влияние дополненной реальности на здравоохранение

Исследования о врачебных ошибках показывают, что до 1,500,00 XNUMX XNUMX человек ежегодно получают несмертельные травмы из-за врачебной ошибки. В качестве технологии, применяемой для уменьшения количества медицинских ошибок и улучшения ухода за пациентами и их безопасности, дополненная реальность призвана облегчить врачам с помощью визуализации немедленный доступ к пациентам, помочь лицам, оказывающим первую помощь, с инструкциями по лечению и диагностировать текущее состояние пациентов непосредственно с помощью служб неотложной медицинской помощи (EMS).

Технология AR влияет на медицинское обучение и образование, создавая симуляции операций и позволяя учащимся практиковаться в режиме реального времени, уделяя особое внимание практическим навыкам. Он предоставляет персональную информацию о пациенте медицинским работникам и улучшает взаимодействие между членами бригады по уходу за пациентом

Кроме того, AR может помочь снизить расходы за счет использования функций видеотелемедицины, которые облегчают общение в режиме реального времени с удаленными медицинскими работниками, позволяя здравоохранению эффективно распределять ресурсы.

How to Get Started with Your App?

TTo have a smooth experience with your AR application, you have to meet certain requirements. These requirements include hardware, software, and people who will develop the application.

Hardware

In the hardware aspect of augmented reality deployment, there’s a diverse array of options ranging from commonly used smartphones to specialized immersive devices such as headsets and goggles. Opting to develop applications for smartphones taps into their widespread usage, ensuring that augmented reality in healthcare is accessible to a large audience. This approach greatly expands the reach and impact of AR in healthcare by making it available to most users. Conversely, focusing on specialized equipment like headsets offers a more immersive and detailed experience, particularly advantageous in medical education and complex diagnostic procedures.

Focusing on specific hardware, the Hololens headset is a notable example, widely utilized in medical contexts. It serves as an essential tool for surgical teams, fostering a collaborative environment in critical medical settings. Although Hololens is technically classified under mixed reality, its functionality and use in the medical field align closely with augmented reality principles. It seamlessly blends digital information with the physical world, offering a heightened level of interaction and visualization that is particularly beneficial in surgical planning and execution.

This broad spectrum of hardware choices for deploying augmented reality in healthcare signifies the adaptability and versatility of AR technology in medical contexts. Whether through universally accessible smartphones or advanced headsets like Hololens, AR in healthcare is making significant strides. It not only widens the scope of potential users but also enriches the quality of medical care and education.

As the field of augmented reality continues to grow and evolve, its integration into various aspects of healthcare promises a future where medical procedures, patient care, and medical training are more interactive, effective, and aligned with the needs of both healthcare professionals and patients. The continued development and adoption of AR in healthcare stand as a testament to the ongoing evolution and potential of technology in medicine.

Software

There are several different software development kits available to develop AR and VR applications. It usually comes down to personal preference, but here is a list of the 4 most popular AR software development kits:

• Vuforia – One of the most popular SDK for creating AR apps.
• Wikitude – You can develop AR applications for platforms such as Android, iOS and Smart Glass.
• ARKit – Developed by Apple and specifically made for iOS.
• ARCore – Developed by Google, but unlike ARKit, it can be used for both Android and iOS.

For a deeper dive, check out our comparison of AR SDKs

Specialists

Developing an augmented reality application takes a lot of time, and it’s very hard for beginners to get into this kind of development. It usually takes a couple of developers to work on an AR project, unless you have a really talented Senior coder as we did with the Hand Rehabilitation VR training.