En esta guía sobre process mining vamos a cubrir en profundidad qué es process mining, para qué sirve, qué tipo de empresas y en qué sectores se puede aplicar, cuáles son sus beneficios, ejemplos y casos de uso, los retos que te puedes encontrar y mucho más.
Qué es process mining o minería de procesos
Process Mining o minería de procesos es una técnica que reconstruye los flujos de trabajo de las organizaciones a partir de la información recogida en los logs y bases de datos de los sistemas de información.
Por reconstrucción entendemos una visualización del flujo de trabajo en forma de secuencias de actividades conectadas que señalan el sentido del avance del proceso. Cada vez que se ejecuta un proceso (por ejemplo, cada pedido de pizza desde que se realiza la llamada hasta que el repartidor la entrega), todas las actividades registradas pueden representarse mediante esta visualización. A dicha representación de cada ejecución del proceso la denominamos traza.
Para cada traza disponemos de una serie de datos esenciales: qué actividades, en qué orden, con qué frecuencia han sucedido y qué tiempo han transcurrido entre cada par de actividades contiguas (que representamos como arcos). Sin embargo, la potencia de la minería de procesos proviene de su capacidad para agregar la información de las trazas individuales.
De este modo, puede identificar cada secuencia de traza única (denominada variante) y medir la frecuencia con la que aparece, así como calcular estadísticos sobre las duraciones de cada actividad y los tiempos de los arcos, proporcionando una visión completa del flujo de trabajo.
Obviamente, con esos datos puede ofrecerse todo el abanico estadístico asociado al proceso: la distribución de variantes, y de tiempos de ejecución de actividades y trazas.
Process mining vs. data mining vs. business process management
Existe cierta confusión entre 3 disciplinas, que aunque tengan puntos en común, son distintas.
Process Mining vs. Data Mining
En general, data mining (o minería de datos) es un término generalista que se utiliza para abarcar una serie de técnicas heterogéneas que permiten extraer información relevante de los datos crudos preprocesados (raw data). Pero al igual que sucede con la minería tradicional, en la que cada tipo de materia prima (carbón, diamante, oro, etc.) requiere un método de extracción específico y unas herramientas diferentes, cuando el objetivo es minar datos de procesos nos encontramos con una disciplina analítica muy especializada.
De hecho, como veremos más adelante, la minería de procesos trabaja con unos modelos de datos muy concretos y una serie de algoritmos que la diferencian de otro tipo de técnicas de minería de datos más populares como la regresión, el clustering o la clasificación (que, en cualquier caso, también pueden aplicarse de forma complementaria a la minería de procesos según el caso).
Process Mining vs. (BPM o BPMN) Business Process Management
¿En qué se diferencia una representación basada en minería de procesos de una realizada en BPMN?
Es una concepción completamente diferente:
- La notación BPMN está concebida para el diseño de procesos. Es decir, se trata de una conceptualización de cómo se interpreta que funciona un proceso o de cómo se pretende que funcione. Se trata de un modelo ideal.
- La minería de procesos toma los datos de la realidad y representa lo que ha ocurrido, no lo que se espera que ocurra.
- Por tanto, son técnicas complementarias: podemos consultar a los resultados obtenidos por la minería de procesos cuánto y cómo se parecen al proceso diseñado mediante BPMN o, por el contrario, podemos exportar el resultado en notación BPMN para utilizarlo de entrada para el rediseño de un proceso.
La minería de procesos, al analizar la huella digital en forma de trazas de todo lo que ha sucedido a la hora de ejecutar las operaciones proporciona, por tanto, una visión objetiva de cómo se comportan los negocios reflejando toda su complejidad. Mientras, las notaciones clásicas (BPMN y otras) ofrecen visiones simplificadas que permiten comprensión rápida de lo que se pretende, no de la realidad.
La minería de procesos inevitablemente nos proporciona una visión compleja, pues en la realidad existen muchos más caminos alternativos (variantes) que los que se suele prever por diseño.
Así, la representación agregada de un proceso (la suma de todas las ejecuciones con todas sus variantes a la vez) suele generar imágenes difíciles de desentrañar que se conocen, en la nomenclatura de esta técnica como spaghetti.
La imagen del spaghetti es poco práctica para el análisis, pero no enteramente inútil. Por el contrario, proporciona a los analistas, propietarios del proceso y equipos de mejora una visión general de qué sucede con toda su amplitud. De ahí se procede a observar el número de variantes en que el proceso se descompone y la visualización agregada de todas las trazas que siguen el mismo camino, pudiendo filtrarlas hasta cada ejecución individual.
En resumen: la minería de procesos es una verificación objetiva de qué se ha hecho y cómo se ha hecho para llevar a cabo las operaciones (los procesos) de una organización. La información puede consultarse en distintos niveles de agregación con el fin de analizar las razones que han llevado a cada conducta, sea esperada o, como sucede en la mayoría de ocasiones, inesperadas.
Cómo funciona el Process Mining
El Process Mining se basa en la captura de los eventos que los sistemas de información de la empresa crean cuando se ejecuta una actividad. En otras palabras, se basa en la recopilación de la huella digital de un proceso.
Los eventos se componen de campos básicos y atributos. Los campos básicos son:
- Un identificador único de traza: que identifica todos los eventos de los que se compone una traza. Por ejemplo, cada vez que se pide una pizza a un servicio a domicilio se genera una traza de actividades que se inicia con el pedido y continúa con la asignación a un restaurante de la producción y con su entrega final al cliente.
- La descripción de la actividad: debemos saber qué evento se ha ejecutado. Por ejemplo: “la respuesta a la llamada del cliente” es una actividad (generalmente, aparecerá de una forma menos humana en las bases de datos) que irá seguida, dentro de la misma traza, por la “asignación del pedido” a un restaurante.
- El sello de tiempo: un registro de inicio de la actividad (la “respuesta a la llamada del cliente”) a una hora determinada (cuanto más detalle mejor: minutos, segundos…) y otro de fin de la actividad. La existencia de inicio y fin nos permite conocer tanto la duración de cada actividad como del tiempo invertido entre actividades. Cuando solo disponemos de uno de los registros, solo podremos medir el tiempo entre “inicios de actividad” o “fines de actividad”.
Los atributos son todos los datos adicionales que permiten darle contexto a la variación del proceso. ¿Qué tipos de atributos? No existe una regla específica, pero pueden agruparse alrededor de las ramas de un gráfico de causa-efecto tradicional (diagrama de Ishikawa):
- Personas: qué turno, con qué horario, qué oficina (o qué restaurante siguiendo el ejemplo anterior), con qué cualificación, experiencia…
- Máquinas: todo tipo de medios técnicos que han intervenido para ejecutar la actividad, incluyendo sus sensores (por ejemplo, hornos y temperatura, qué tipo de horno y de qué fabricante).
- Materiales: materias primas y suministros involucrados, para nosotros los ingredientes de la pizza
- Métodos: qué tipo de procedimiento empleado (siguiendo el ejemplo, qué receta).
Fuente: InVerbis Analytics
Los atributos son la forma de dar riqueza plena a la técnica de la minería de procesos. Nos permiten filtrar los datos aislando variantes ejecuciones relacionadas con un factor de comportamiento o por varios de ellos. Lo que, a su vez, nos permite detectar de forma aislada problemas distintos, darles soluciones distintas y generar monitorizaciones distintas.
Para una visión más detallada de cómo funciona la minería de procesos de InVerbis puedes entrar aquí.
Qué empresas pueden hacer Process Mining
Todas. Los procesos, formales o no, documentados o no, siempre existen. La generación de valor se realiza descomponiendo actividades. Obviamente, al nivel de un artesano (un alfarero que controla todas las fases de elaboración de su producto por ejemplo), la complejidad es reducida a la hora de controlar el resultado final y existe un único punto de control.
Pero cuando se incrementa la complejidad, la coordinación de todas las actividades y su alineación con la expectativa del cliente y la eficiencia en costes se aleja. Es por tanto cuando surge la necesidad de estructurar procesos, establecer indicadores de desempeño y evitar que el defecto de una fase se convierta en el input de entrada del siguiente. La vieja idea de garbage-in/garbage out (o, literalmente, si lo que recibes es “basura”, lo que entregas sigue conteniendo “basura”).
Por tanto, tanto las empresas de servicios, como las industriales, las organizaciones sin ánimo de lucro o a la administración pública pueden emplear técnicas de minería de procesos y extraer sus beneficios.
Qué profesionales pueden hacer Process Mining
Los beneficiarios son cualquier persona de una organización cualquiera que sea el nivel directivo o de participación de la gestión del proceso: si la mejora se entiende como un esfuerzo cooperativo, los datos que se aportan son el conocimiento que se necesita para saber cómo mejorar.
Por el lado de los practicantes, están involucrados muchos posibles especialistas:
- Los científicos de datos: pues ellos saben enfocar la explotación de los resultados para su conjugación con otras fuentes de información y crear informes y generar conocimiento para terceros.
- Los consultores de procesos (y los llamados “propietarios del proceso” en organizaciones más orientadas a la gestión transversal): pues son quienes plantean los ciclos de mejora y pueden orientar en qué datos es necesario capturar del proceso, además de cómo enfocar el seguimiento.
- Los equipos de tecnologías de la información: pues la captura de datos y su exportación se produce dentro de su infraestructura. Almacenamiento y transformación de los datos, en responsabilidad cruzada con científicos de datos, es otra responsabilidad que les afecta.
Con todo, la información generada está al alcance de cualquier profesional ejecutando su trabajo en una organización y no existe impedimento en el desconocimiento de los fundamentos científicos de la minería de procesos. Aunque con el liderazgo adecuado no es necesario, interpretar información estadística es altamente beneficioso, pero este aspecto sería equivalente para cualquier explotación de datos, sea o no procedente de minería de procesos.
Para qué sirve Process Mining
La minería de procesos es una técnica transversal.
No tiene límite: siempre que haya huella digital suficiente de flujos de trabajo, del tipo que sea, es aplicable. Pero existen aplicaciones genéricas evidentes:
- Optimización y mejora de procesos: tomar el control, reducir la variación, evitar el desperdicio y la repetición de tareas. Por el mero hecho de descubrir la realidad y poder modelizarla, se puede abordar también la reingeniería de procesos.
- Automatización: para automatizar correctamente, hay que poder conocer qué se hace realmente. La minería permite esa comprobación de la realidad que, además, elimina percepciones y opiniones. Cualquier consultor de este tipo de herramientas puede explicar lo complejo que es desentrañar el proceso real.
- Compliance: la minería de procesos trabaja con el universo completo de datos, no con muestras. Esto permite analizar la conformidad con reglas y procedimientos de todas y cada una de las trazas, lo que nos lleva a la corrección y prevención de riesgos a medida que se producen las ejecuciones y no en el momento de realizar una auditoría. Además de evitar que el muestreo deje fuera casos con potencial dañino.
- Predicción y planificación: capturadas las variantes del proceso, podemos crear modelos predictivos que pueden generar alarmas ante la previsión de aparición de una variante determinada con un tiempo de antelación suficiente. La variante puede ser deseada o indeseada, estar prevista por diseño o no, pero la predicción permite la acción que proceda en cada caso, especialmente de planificación de recursos.
Beneficios de hacer Process Mining
La minería de procesos tiene importantes beneficios.
En primer lugar, que permite descubrir La Vida Real de la Empresa. Al desvelar lo que ocurre en realidad, nos permite entender qué caminos alternativos han permitido alcanzar (o impedir alcanzar) el KPI buscado. Es decir, nos permite huir de las medias como indicadores y concentrarnos en las distribuciones de cada forma de cumplimentar un procedimiento.
Al concentrarnos en las distribuciones, automáticamente tenemos capacidad de dimensionar el potencial de mejora de un proceso. Vemos cuándo somos mejores y cuándo somos peores. Si se puede hacer bien o mejor que el promedio, ¿por qué no podemos aumentar el número de casos?
En segundo lugar, la minería detecta de modo inmediato las repeticiones de actividades. A estas repeticiones se le denominan en minería de procesos como bucles, y pueden ser tanto dentro de una sola actividad, como un ciclo que se devuelve a fases muy lejanas del proceso.
Los casos de bucles permiten determinar rápidamente márgenes de mejora sin tener que realizar reingeniería del proceso: basta con determinar las causas de repetición y establecer las medidas correctivas. El bucle está medido en frecuencia y en el impacto con respecto a las variaciones de tiempos.
Finalmente, otra ventaja importante de la minería de procesos es que puede examinarse el desempeño en tiempo real o muy cercano al tiempo real. Eso permite centrarse en la ejecución del día a día y detectar desviaciones no deseadas o que requieran intervención.
Adicionalmente, el examen constante de detección de variantes y de sus frecuencias de aparición, permite estimar la mutación del proceso. Nuevas actividades, variantes que eran minoritarias y que pasan a realizarse de modo preferente.
Retos de Implementación en Process Mining
La experiencia nos demuestra que las primeras barreras son intelectuales y culturales, después vienen las técnicas.
Barreras culturales
Las barreras culturales residen en el hecho de que las imágenes mentales que manejan las organizaciones sobre su actividad y trabajo no se basan en procesos. La idea de que la generación de valor es una secuencia de trabajos divididos entre diferentes personas y que el final de unos es el comienzo de otros es antigua, pero no forma parte de las conversaciones y visiones de la eficacia. Sí, existen procedimientos, pero tantas veces como un repositorio burocrático de cumplimiento con normas y control interno y no tanto como respuesta a la necesidad de dotar de valor al cliente.
La consecuencia es que no se sabe bien dónde empieza un proceso y dónde termina. Qué actividades contiene o si existe este proceso (vagamente diremos “pago de facturas”) y quién es responsable de cumplirlo. Disciplinas como Six Sigma, el Lean Management o la clásica TQM han abordado este aspecto desde hace mucho tiempo, pero no todas las empresas trabajan con sus cimientos doctrinales.
Un resultado adicional es que, si no existen procesos configurados como unidades de gestión ni seguimiento del flujo del valor interno, no existe una tradición de mejora basada en el pensamiento científico. El viejo ciclo PDCA. En otras palabras, tampoco existe una aproximación cultural hacia la mejora basada en datos y no opiniones. Justo una de las virtudes (y oportunidades) de la minería de procesos.
Acceso a los datos
Superada la barrera cultural, el problema es el acceso a los datos.
¿Tenemos datos que nos informen del proceso? La respuesta es que, dada la masiva informatización de todos los procedimientos de trabajo, existen multitud de datos que, generalmente, permite tener análisis básicos que -lo usual- es que arrojen conclusiones de mejora y de cálculo de costes de no calidad evidentes y útiles.
Puesto que nadie pensó del todo en procesos, ni en minería de procesos, ni en qué conceptos emplear para definir y fijar la huella de la digitalización de procesos, los datos no están bien preparados para minarse de modo fácil y rápido. Además, si se quiere entender bien todo el proceso, no sólo deben capturarse datos que no están, sino que deben poder trazarse a través de más de un sistema de información: pedir una pizza a un call center generará una forma de registrar la llamada que no necesariamente será trazable cuando el pedido llega al restaurante que, seguramente, empleará un identificador diferente del empleado en la fase anterior.
La superación de estas circunstancias se resuelve con horas de trabajo, generalmente de consultores, que deben resolver a mano la captura de los datos, su transformación en un formato minable y, previamente, haber definido lo que es un proceso determinado, su inicio y su fin. Es laborioso en muchas ocasiones, pero no sólo factible sino resuelto con bastante celeridad por un profesional bien entrenado en la disciplina (desde InVerbis ayudamos en esta fase con nuestro equipo).
Pero lo importante es saber que ya existen datos y que son aprovechables para entender el ROI que se puede alcanzar con un mejor diseño del modelo de datos y con sistemas de captura generalizados. Si se quiere ser data-driven y aprovechar la revolución del dato para el control y mejora de procesos, sistematizar la captura para el diseño de mapas de procesos y contar con modelos de datos preparados para minar, es el camino.
Cómo capturar y gestionar los datos para minería de procesos
En una primera fase de implantación, la organización que abraza la minería de procesos suele trabajar con un único proceso y con datos extraídos de un único sistema de información. Casi puede decirse que se abordan más subprocesos que procesos, aunque sea una distinción borrosa.
Para ello basta con una extracción en formato .csv asegurándonos de que disponemos de los campos básicos. Obviamente, las clásicas ETLs y otros formatos de acceso a un sistema (API Rest) son igualmente válidos, pero las exportaciones de datos en formatos tan simples como el .csv son válidas.
Sin embargo, si queremos sistematizar la potencia de la minería de procesos para descubrir, mejorar y controlar nuestra actividad real, necesitamos que los datos sean actualizados -y minados- con alta frecuencia (tiempo real o cercano al tiempo real, cada entorno de negocio impondrá una exigencia). Y tenemos que poder reunir los datos que abarcan los procesos en toda su amplitud sin importar de cuantos sistemas tenemos que beber los datos. Finalmente, de alguna forma tenemos que poder componer los datos para relacionar la cadena de cliente-proveedor interno y analizar el flujo de valor de la empresa.
Para ello hay dos soluciones tecnológicas que requieren algunas integraciones y desarrollos internos, pero que permiten resolver el problema y en las que trabaja InVerbis:
Virtualización de datos
La virtualización de datos permite conectar todos los orígenes al software de virtualización y, posteriormente diseñar “vistas” de los datos. Esas “vistas” son las extracciones que necesitamos con el formato que precisamos para minar. Desde la herramienta de virtualización importamos a InVerbis y procedemos al análisis y al seguimiento de los datos.
Observabilidad
Las técnicas de observabilidad aplicada a sistemas generan, por diseño, trazas de los eventos de la infraestructura de una organización. Esa capacidad de generar trazas, dado que cada día más actividades de trabajo (incluso manuales) están vinculadas a servicios en nube, la generación de trazas se convierte en un problema, dicho con cautela evidentemente, menor.
Cómo empezar a hacer process mining
Elige un proceso
Asegúrate que lo conoces y eres capaz de hacer una mínima descripción de él. Comprueba qué sistemas lo administran y qué huella digital deja en este momento. Si no es completa no importa.
Nos aseguramos de que disponemos de un identificador de traza o ejecución, un sello de tiempo y una explicación del evento (la actividad realizada)
Si el formato para hacerlo no es admitido por la herramienta de InVerbis, ponte en contacto con nosotros y te transformamos el archivo.
Mina. Filtra datos. Exporta resultados. Analiza
Encuentra la fuente de tus problemas. Plantéate qué mejorarías y cómo quieres representar el seguimiento en un dashboard. Conecta los datos para actualizar con la frecuencia que necesites, puedes usar las APIs directamente o… llamarnos.
Consigue resultados y amplía el espectro
Con una herramienta de virtualización (nosotros trabajamos con Denodo) y técnicas de observabilidad mejoraremos los datos y ampliaremos el espectro de análisis de los flujos de generación de valor de tu organización.
