Named Entity Extraction
Adverse Event Detection
Using Natural Language Processing for Adverse Event Detection.
The Problem
Nuestro cliente, una compañía farmacéutica líder, está desarrollando un algoritmo basado en procesamiento de lenguaje natural (NLP) para detectar eventos adversos en publicaciones de redes sociales. Su objetivo es clasificar entidades nombradas predefinidas por categorías para organizar y abordar inquietudes y experiencias específicas de los pacientes. Para ello, fue necesario analizar más de diez mil publicaciones en redes sociales, con el fin de mejorar la experiencia y la salud de los pacientes, así como reducir la cantidad de falsos negativos en la detección de eventos adversos. Dado el carácter médico y confidencial del proyecto, nuestra expectativa general era alcanzar un 100 % de precisión en todas las categorizaciones y detecciones. A diferencia de las prácticas actuales, este método de control de tipo humano en el bucle mejora la escalabilidad por un factor de 10, ya que solo requiere revisión humana cuando el modelo de aprendizaje automático no proporciona un resultado de clasificación confiable.
• • • •The Solution• • • •
Para iniciar el proyecto, realizamos una selección eficiente de expertos en el tema dentro de la comunidad de DataForce, compuesta por un millón de personas. Formamos el equipo gradualmente con candidatos seleccionados y elegimos cuidadosamente a revisores con experiencia en farmacovigilancia. Se lograron mejoras en la calidad de manera rápida gracias a una combinación de supervisión experta, un proceso de anotación a ciegas y la implementación de indicadores específicos de calidad, como el coeficiente Kappa de Cohen. A medida que avanzaba el proceso de anotación, ampliamos el equipo de trabajo para reducir el tiempo de entrega. En solo unos días, nuestro equipo revisó miles de publicaciones en redes sociales.
Cada tarea fue sometida a anotación a doble ciego y rigurosos controles de calidad para garantizar precisión en la anotación y categorización. En caso de discrepancias, un revisor se encargaba de conciliarlas y realizar la categorización final para cada publicación.
Los equipos implementaban los comentarios de manera inmediata a medida que se disponía de más conjuntos de datos y se actualizaban las directrices para reflejar los casos atípicos y las experiencias imprevistas dentro de las publicaciones en redes sociales. Nuestra plataforma interna de anotaciones, DataForce, se adaptó sin problemas a todos los cambios del proyecto, lo que nos permitió completar el conjunto de datos con un modelo escalable de mejora continua.
El cliente nos informó que este modelo de tipo humano en el bucle resultó ser una opción más escalable y eficiente que la categorización manual tradicional.
DataForce has a global community of over 1,000,000 members from around the globe and linguistic experts in over 250 languages. DataForce is its own platform but can also use client or third-party tools. This way, your data is always under control.