Schaer Roger, García Seco de Herrera Alba, Müller Henning

Abstract

This paper describes the need that medical professionals have of quickly accessing information contained in large and ever-growing datasets. It discusses the importance of creating efficient and effective information retrieval systems in the medical domain and the advantages of using a multimodal search approach combining both text and visual information. It then presents Shangri-La, a Web interface enabling case-based medical search. This interface aims to simplify the access to relevant information for clinicians, allowing them to gain time in their clinical workflow. The paper concludes with perspectives for the future of the developed interface.

Introduction

Au cours des deux dernières décennies, la quantité de données d’imagerie médicale générées quotidiennement a suivi une croissance exponentielle (par exemple, plus de 300 000 images étaient générées en moyenne par jour aux Hôpitaux Universitaires de Genève en 2013) [1]. Avec la démocratisation de techniques d’imagerie 3D, cette croissance a encore accéléré. Ces images peuvent contenir des informations précieuses permettant d’aider un professionnel du domaine médical à établir un diagnostic ou un plan de traitement détaillé et exhaustif. Les professionnels de la santé ont besoin d’accéder à ces collections d’images afin d’utiliser à meilleur escient tout le savoir disponible [2].

En outre, les médecins ne basent pas leurs diagnostics sur des images hors de leur contexte, mais plutôt sur des cas médicaux complets, comprenant une description texte, des données structurées ainsi qu’une ou plusieurs images pertinentes [3].

Plusieurs systèmes de recherche d’information dans le domaine médical existent déjà, tels que ARRS Goldminer¹ ou Yottalook², qui permettent de chercher des articles de journaux du domaine biomédical, mais basé exclusivement sur une requête texte. D’autres systèmes, comme par exemple IRMA (Image Retrieval in Medical Applications)³ ou img(Anaktisi)⁴ se focalisent uniquement sur l’aspect visuel. Au niveau de la recherche multimodale, le groupe CITI (Center of Informatics and Information Technology) propose NovaMedSearch⁵, un moteur de recherche d’informations médicales capable de chercher des images similaires ou des cas médicaux connexes. La NLM (National Library of Medicine) fournit Open-i⁶, permettant la recherche de résumés et d’images dans la littérature biomédicale. De plus, le projet Khresmoi⁷ a développé un système de recherche et d’accès multimodal et multilingue à des informations et documents biomédicaux [4].

Ce papier présente une interface Web axée sur la recherche basée sur des cas médicaux, nommée Shangri-La⁸, qui vise à être facile d’utilisation, moderne et orientée vers les besoins des utilisateurs.

Méthodes

Le concept de base et les diverses technologies utilisées pour le développement de l’interface sont présentés dans cette section, ainsi qu’une description du moteur de recherche ParaDISE (Parallel Distributed Image Search Engine), décrit dans [5], qui est utilisé par Shangri-La.

Concept et technologies

Shangri-La a été développé à la suite de Shambala [6], une interface qui était focalisée sur la recherche d’images uniquement. Les principes de base de l’application Shambala ont été conservés (simplicité d’utilisation, interactivité et modernité), mais le paradigme de Shangri-La est différent.

En effet, le but est de fournir un outil permettant à un clinicien de construire sa base de données de cas médicaux sur lesquels il travaille et de stocker les résultats pertinents s’y rapportant, le tout de la manière la plus intuitive possible.

Techniquement, Shangri-La se présente sous forme d’une application côté client entièrement basée sur HTML5 (HyperText Markup Language 5) et le langage Javascript. Toutes les interactions avec le système de recherche ParaDISE (qui est totalement indépendant et peut être hébergé sur un serveur différent) se font à l’aide d’appels AJAX (Asynchronous JavaScript And XML) vers un service Web dédié, décrit dans la section «Couche services Web de ParaDISE».

Moteur ParaDISE

Le système ParaDISE, utilisé par l’interface Shangri-La, permet d’indexer et de rechercher des images à l’aide de caractéristiques visuelles ainsi qu’à l’aide de contenu textuel. Un des aspects-clés du système est sa capacité d’extension, permettant à des utilisateurs d’ajouter de nouvelles fonctionnalités au système ou de combiner des fonctionnalités existantes de manière innovante.

Couche services Web de ParaDISE

La couche service de ParaDISE, construite sur le moteur décrit dans la section précédente, est constituée de plusieurs services Web utilisant une architecture de type REST (REpresentational State Transfer). Elle étend également les fonctionnalités du système avec la recherche de texte par exemple.

Des requêtes HTTP (HyperText Transfer Protocol) GET et POST standard sont utilisées pour communiquer avec les services Web, ce qui simplifie l’interaction entre le système et diverses applications clientes (interfaces Web ou bureau qui peuvent être développées dans n’importe quel langage capable d’effectuer des requêtes HTTP).

Les divers services Web utilisés sont décrits ci-dessous:

– Service de recherche textuelle «fulltext» – permet la recherche d’articles médicaux par mots-clés. Utilise la librairie de recherche Lucene⁹.

– Service de recherche visuelle – utilise l’information visuelle des images afin de trouver des images similaires en utilisant des techniques CBIR (Content-Based Image Retrieval) ou d’indexer une nouvelle série d’images.

– Service de fusion – responsable de la combinaison de résultats provenant de diverses sources (recherche texte, recherche visuelle) en une liste unique de résultats (à l’aide d’une règle de fusion donnée).

– Service global – fournit une façade pour des applications, permettant de cacher la complexité d’appel à chaque service individuel en fournissant des méthodes générales qui combinent la recherche textuelle, visuelle et la fusion, par exemple.

– Service d’extensions – permet d’accéder à des fonctionnalités supplémentaires qui étendent les bases de ParaDISE. En l’occurrence, le service est responsable de la recherche basée sur les cas. Il utilise les techniques décrites dans [7].

La structure des services Web est visible dans la figure 1.

Ensemble de données

Actuellement, l’ensemble de données suivant est accessible à travers l’interface Shangri-La:

fullscreen

ImageCLEFmed 2013 –ImageCLEF¹⁰ fait partie du Cross-Language Evaluation Forum (CLEF), une compétition de recherche d’information. Une des tâches médicales d’ImageCLEF 2013 concernait la recherche d’articles pertinents pour 35 exemples de cas médicaux, dans une collection de plus de 75 000 articles de la littérature biomédicale à accès libre, comprenant plus de 300 000 images [8]. Ces données représentent un sous-ensemble de PubMed Central¹¹, une base de données bibliographique à accès libre (sous licence CreativeCommons) d’ouvrages scientifiques du domaine biomédical. Le sous-ensemble sélectionné pour ImageCLEF peut être redistribué.

Fonctionnalités de l’interface

L’interface Shangri-La permet à ses utilisateurs d’interagir avec le système de recherche basée sur des cas médicaux décrits dans la littérature médicale avec un effort minimal. L’interface cache la complexité de l’implémentation du système et fournit un simple site Web permettant aux utilisateurs d’acquérir les informations désirées. Afin d’avoir une interaction claire et concise, Shangri-La fournit les 3 pages principales suivantes:

1. Build Case – permet à l’utilisateur de formuler sa requête.

2. Results– fournit toutes les informations nécessaires à soutenir la requête de l’utilisateur.

3. My Articles – affiche une liste d’articles sélectionnés par l’utilisateur.

Des liens vers chacune de ces pages sont constamment visibles afin de permettre à l’utilisateur d’aisément passer d’une vue à l’autre. Les sous-sections suivantes expliquent de manière plus détaillée chacune des 3 pages contenues dans Shangri-La.

Page «Build Case» – Construction d’un cas

L’objectif de la page Build Case est de capturer simplement les informations concernant la requête de l’utilisateur pour le système. Le système de recherche supporte l’utilisation de plusieurs entrées, comprenant une description en texte libre du cas médical ainsi qu’une série d’images exemples. Les images peuvent être ajoutées à l’aide d’un dialogue de sélection de fichiers standard ou par un simple «drag and drop» depuis le système d’exploitation de l’utilisateur vers le navigateur Internet.

Une zone de texte est utilisée pour la saisie du texte et peut contenir plusieurs lignes d’information textuelle afin d’accommoder de longues descriptions de cas. Shangri-La supporte également la reconnaissance vocale en temps réel, qui transcrit une requête dictée par la voix en texte, à l’aide de l’API (Application Programming Interface) Google Chrome Speech (actuellement disponible uniquement dans le navigateur Google Chrome). Cependant, dans la version courante, de nombreuses phrases et termes ne sont pas reconnus. Un exemple d’une requête de recherche est montré dans la figure 2.

De plus, les utilisateurs peuvent naviguer parmi les cas qu’ils ont créés auparavant avec une liste déroulante (illustrée dans la figure 3), permettant un accès facile aux cas.

Page «Results» – Liste des résultats

Le but de la page Results est de fournir toutes les informations permettant de fournir un support à la tâche de recherche basée sur les cas médicaux. Une étude d’utilisateurs [9] démontre que les utilisateurs préfèrent voir des résultats comportant le titre du document accompagné de lignes contenues dans le document qui remplissent les conditions de recherche, plutôt que les premières lignes du document. Shangri-La affiche donc une liste ordrée d’articles retournés par la recherche avec des informations basiques telles que: le titre de l’article, des lignes extraites du corps document répondant à la requête de l’utilisateur ainsi que des images (si disponibles). Un exemple de résultat affiché dans la page Results est visible dans la Figure 4.

fullscreen

fullscreen

En outre, l’interface fournit un lien vers la page d’origine de l’article ainsi qu’un bouton «Ajouter aux favoris». Une vue détaillée de l’article est également disponible sans quitter l’interface Shangri-La. Elle contient le titre de l’article, son résumé et une liste des images incluses dans l’article. De plus, l’utilisateur peut cliquer sur les images d’un article afin de voir une vue agrandie de cette dernière, accompagnée de son descriptif textuel.

Page «My Articles» – Sauvegarde des favoris

Les favoris, également nommés marque-pages ou signets, sont un outil commun permettant de revisiter facilement un résultat trouvé par le passé, même si celui-ci ne se trouvait pas dans les premiers résultats obtenus par la recherche. En effet, un sondage a récemment indiqué que 97% d’utilisateurs de navigateurs Internet connaissent la fonctionnalité des favoris et que 85% des utilisateurs sauvegardent régulièrement des pages Web grâce à cette méthode [10].

fullscreen

Shangri-La permet aux utilisateurs de sauvegarder des articles provenant de la liste de résultats d’une recherche. La page My Articles affiche les articles ajoutés par l’utilisateur à ses favoris. Un aperçu des favoris est affiché sous la même forme que la liste des résultats dans la page Results. L’utilisateur peut interagir avec la liste en consultant les diverses informations contenues dans les articles, visitant les pages d’origine des articles ou en supprimant des entrées de la liste des favoris. La fFigure 6 montre une vue de la page My Articles pour une sélection d’articles.

Conclusions

Shangri-La est une interface Web pour la recherche multimodale basée sur des cas médicaux décrits dans la littérature médicale. Elle simplifie la recherche d’informations pertinentes pour les cliniciens lorsqu’ils étudient des cas médicaux. En outre, l’interface leur permet d’obtenir des informations supplémentaires et plus rapidement, les faisant bénéficier d’un gain de temps dans leur flux de travail clinique.

fullscreen

fullscreen

Concernant l’avenir de l’interface, des tests utilisateurs seront planifiés afin de déterminer son efficacité et sa maniabilité. Ces tests permettront d’observer comment les cliniciens interagissent avec l’interface, afin d’évaluer et d’améliorer l’interface en identifiant les besoins réels des utilisateurs.

Un travail sur la fonctionnalité de reconnaissance vocale est également prévu. Limitée actuellement à l’utilisation dans Google Chrome, il serait intéressant de pouvoir la déployer pour une plus large palette de navigateurs. De plus, la qualité de la reconnaissance, particulièrement pour des termes médicaux, peut encore être améliorée.

Il faut en outre noter que la base de données d’articles provenant de la littérature présente certaines limites, car de nombreux articles ne traitent pas forcément d’un cas médical. De plus, la recherche se base sur le contenu texte et les images de l’article, mais ne tient pas compte du fait qu’un article peut décrire un cas faisant partie d’une plus large étude. En outre, l’utilisation de texte libre a aussi ses limitations et la création d’un mapping entre du texte et des termes sémantiques UMLS (Unified Medical Language System) pourrait nous permettre d’améliorer la performance du système.

D’autres méthodes alternatives d’interaction homme-machine pourraient également être intégrées avec l’interface. Des capteurs de mouvement tels que Leap Motion [11], permettant l’interaction avec un ordinateur au travers la reconnaissance de gestes, sans nécessiter de contact physique avec un clavier ou une souris, pourraient apporter des avantages dans certains environnements médicaux, comme une salle d’opération par exemple. Cette technologie a déjà été implémentée dans l’interface Shambala [1] et pourrait faire l’objet d’une fonctionnalité supplémentaire dans Shangri-La. De plus, des lunettes intelligentes telles que Google Glass, peuvent également être connectées à un système de recherche médicale [12]. Grâce à sa portabilité et sa capacité de reconnaissance vocale, un système utilisant Google Glass peut permettre à un clinicien de garder le contact avec le patient et d’utiliser ses deux mains tout en recherchant des informations supplémentaires.

1 http://goldminer.arrs.org/

2 http://yottalook.com/

3 http://ganymed.imib.rwth-aachen.de/irma/

4 http://orpheus.ee.duth.gr/anaktisi/

5 http://medical.novasearch.org/

6 http://openi.nlm.nih.gov/

7 http://khresmoi.eu/

8 http://shangrila.khresmoi.eu/

9 http://lucene.apache.org/

10 http://www.imageclef.org/

11 http://www.ncbi.nlm.nih.gov/pmc/

Disclosure statement

Ce travail a été soutenu par le programme-cadre pour la recherche FP7 dans le contexte du projet Khresmoi (subvention FP7 257528).

Correspondence

Correspondence:

Roger Schaer

University of Applied Sciences Western Switzerland (HES-SO)

Techno-Pôle 3

CH-3960 Sierre

roger.schaer[at]hevs.ch

Références

1 Widmer A, Schaer R, Markonis D, Müller H. Gesture Interaction for Content-based Medical Image Retrieval. ICMR, Glasgow, UK, 2014.

2 Müller H, Despont-Gros C, Hersh W, Jensen J, Lovis C, Geissbuhler A. Health Care Professionals’ Image Use and Search Behaviour. In: Proceedings of the Medical Informatics Europe Conference (MIE 2006), Maastricht, The Netherlands, 2006, pp. 24–32.

3 Quellec G, Lamard M, Bekri L, Cazuguel G, Roux C, Cochener B. Medical case retrieval from a committee of decision trees. IEEE Trans Inf Technol Biomed. 2010;14(5):1227–35.

4 Hanbury A, Boyer C, Gschwandtner M, Müller H. KHRESMOI: Towards a Multi-Lingual Search and Access System for Biomedical Information. In: Med-e-Tel, Luxembourg, 2011. pp. 412–6.

5 Schaer R, Markonis D, Müller H. Architecture and Applications of the Parallel Distributed Image Search Engine (ParaDISE). In: FoRESEE 2014, 1st International Workshop on Future Search Engines at INFORMATIK 2014, Stuttgart, Germany, 2014.

6 Schaer R, Müller H. A Modern Web Interface for Medical Image Retrieval. Swiss Medical Informatics. 2014. doi:10.4414/smi.30.317.

7 García Seco de Herrera A. Use Case Oriented Medical Visual Information Retrieval & System Evaluation. University of Geneva, 2015.

8 García Seco de Herrera A, Kalpathy-Cramer J, Demner Fushman D, Antani S, Müller H. Overview of the ImageCLEF 2013 Medical Tasks. In: Working Notes of CLEF 2013 (Cross Language Evaluation Forum), Valencia, Spain, 2013.

9 Drori O. Improving Display of Search Results in Information Retrieval Systems – Users’ Study. Center for Research in Computer Science of the Leibniz, 2000.

10 Shen S, Prior SD: My Favorites (Bookmarks) Schema: One Solution to Online Information Storage and Retrieval. In: Proceedings of the 2013 International Conference on Information Systems and Design of Communication, 2013. pp. 33–40.

11 Weichert F, Bachmann D, Rudak B, Fisseler D. Analysis of the Accuracy and Robustness of the Leap Motion Controller. Sensors. 2013;13(5):6380–93.

12 Widmer A, Schaer R, Markonis D, Müller H. Facilitating Medical Information Search using Google Glass connected to a Content-based Medical Image Retrieval System. In: Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Chicago, IL, USA, 2014.

Copyright

Published under the copyright license
“Attribution – Non-Commercial – NoDerivatives 4.0”.
No commercial reuse without permission.
See: emh.ch/en/emh/rights-and-licences/