Herramientas Kaizen: Big Data y Data Mining.

Para progresar hoy en día es necesario recurrir a todas las herramientas que se encuentren al alcance de nuestras manos. Dotar de una cultura de datos (Big Data) a las organizaciones a través de la mejora continua (Kaizen). Las empresas que progresan reconocen los datos como un activo estratégico y confían en ellos para la toma de decisiones críticas. El gasto en inteligencia de negocios ha ido aumentando de manera constante en todo el mundo. El éxito del Big Data ha sido gracias a una mayor inversión y esfuerzo en la extracción de datos (Data Mining).

data-mining
Básicamente, el data mining surge para intentar ayudar a comprender el contenido de los datos. Con este fin, hace uso de prácticas estadísticas y, en algunos casos, de algoritmos de búsqueda próximos a la Inteligencia Artificial y a las redes neuronales. La minería de datos es, fundamentalmente, el conjunto de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera automática o semiautomática, con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto.
La mayoría de los datos de interés son producidos en el lugar de trabajo. En las organizaciones que se basan en una cultura Kaizen se conoce como Gemba al lugar “real de trabajo”. Es fundamental conocer el lugar donde se van a generar los datos que más tarde se van a tratar.

Sin embargo, las decisiones incorrectas basada en datos pobres pueden ser desastrosas. Entonces, ¿cómo podemos asegurarnos de que estamos utilizando los datos correctos desde el principio? Para poder hacerlo, debemos ser capaces de responder a las siguientes consideraciones de calidad de datos:

  • ¿Es el dato exacto?
  • ¿Es la información oportuna?
  • ¿La información está completa?
  • ¿Son los datos consistentes?
  • ¿Son los datos relevantes para la decisión?

Datos
Este reto se ha complicado aún más por el crecimiento exponencial de los datos. Algunos estudios muestran que hasta un 90% de los datos del mundo se ha creado en los últimos 2 años solamente. Esta tendencia se está acelerando, lo que garantizar la calidad de estos datos es aún más difícil. A esto se suma el aumento de la complejidad y variedad de datos.

La mayoría de las empresas tienen variedad de aplicaciones software y bases de datos a través de una variedad de plataformas heterogéneas, utilizando una red de las interfaces “punto a punto” para comunicación de datos. Esto incluye soluciones de ERP y SaaS alojadas externamente. El resultado, es por lo general, de un alto nivel de redundancia y en consistencia de datos.

El problema se convierte en extremadamente complejo para rastrear el origen de los datos. En respuesta a esto, muchas de las rutinas de extracción, tratamiento y carga de datos (Extract-Transform-Load: ETL) antes mencionadas por lo general realizan algún tipo de limpieza de datos para su utilización.

Sin embargo, esto puede ser muy arriesgado si no se comprenden realmente los datos y los cambios que han ocurrido en su trayecto a través de los sistemas de la organización. A menos que se asigne y comprenda el rastro de los datos, los procesos ETL simplemente transforman la información equivocada, o una versión antigua de ella que no encaja con el fin previsto.

Esto es análogo a los problemas que se produjeron en las líneas fabricación y producción de los principios de la década de los 80: productos complejos a partir de miles de piezas y subconjuntos de piezas, y a continuación inspeccionar los productos para la conformidad de la calidad después de su salida de la línea de montaje.

No obstante, la inspección no mejora el producto. Simplemente identifica los defectos que deben ser abordados. Los artículos defectuosos fueron desechados o reelaborados a un costo significativo, pero el origen de los defectos a menudo seguían sin ser detectados. Por lo tanto, los problemas se seguían produciendo.

En la organizaciones Kaizen trabajan con el concepto MUDA (residuos/subproductos inútiles, actividades sin valor añadida u obstrucciones al flujo de fabricación) en sus procesos de trabajo. En la mejora continua un MUDA a de ser:

  1. Identificado
  2. Reducido
  3. Eliminado

Para hacer frente a esto, el movimiento de la calidad de la década de 1980 se centró en muchos aspectos, entre ellos podemos tomar como ejemplo los siguientes:

  • Validación de las entradas discretas a los procesos de producción, evitando el uso de componentes defectuosos.
  • Trazabilidad en el punto de origen de componentes y subconjuntos dentro de los productos terminados.
  • Empoderamiento de los trabajadores de primera línea para hacer frente a los problemas, incluso si eso significaba detener toda la línea de producción.
  • La mejora continua de todos los procesos.

A diferencia de los productos físicos, puede ser extremadamente difícil de detectar e identificar los defectos en los datos. Sin embargo, podemos utilizar el enfoque y las lecciones aprendidas por la disciplina de calidad. Para tener éxito, se debe establecer una cultura de colaboración con el compromiso de calidad de los datos, desde los altos directivos hasta los trabajadores de primera línea, que se encuentran en el lugar de trabajo o Gemba, que crean y modifican datos diariamente. Los procedimientos deben ser puestos en marcha para asegurar que los datos son capturados y registrados con precisión, ya que son creados y modificados a través de cada proceso de negocio.

Esto tiene el verdadero espíritu Kaizen sin la cual este proceso no se puede iniciar o estará incompleto. Si no está presente espíritu no habrá ningún impacto en los resultados. A menudo las organizaciones se centran en enseñar a las personas las herramientas y procedimientos, pero sin la creencia de que las cosas pueden mejorar, las herramientas o conversaciones no serán puestos a buen uso. El principal activo de las organizaciones, la gente, tiene que pensar que son necesarios para mejorar y, al mismo tiempo, también tienen que creer que pueden mejorar.

Desde una perspectiva de arquitectura de datos, debemos trazar el origen de los datos y los procesos que actúan sobre ellos, incluyendo las transformaciones que puedan llegar a sufrir. También hay que ser capaz de proporcionar el contexto de por qué se están modificando los datos.

Además, es fundamental que los trabajadores puedan tener la facultad de corregir cualquier dato erróneo, como parte de su función de trabajo diario. Si los datos se originan fuera de la organización, debe ser validado antes de su uso por la misma. La manejo de datos y la administración deben establecerse de manera que se entiendan y acordados por todas las partes responsables.

El principal desafío es entender primero y trazar después el panorama de datos, pero manteniendo la flexibilidad para adaptarse fácilmente. El medio más eficaz de hacerlo es a través de modelos para describir datos (y metadatos), así como los modelos de procesos para describir los procesos de negocio que crean, consumen y cambian los datos. Esto permite que los datos sean entendidos en su contexto, y es la base para identificar la redundancia e inconsistencia.

Todas las manifestaciones de cada objeto de datos críticos para el negocio deben ser identificados y catalogados. Por lo general los objetos más críticos de datos de negocios también son datos maestros, ya que se utilizan en la mayoría de las transacciones (por ejemplo: cliente, producto, ubicación, empleados, etc.). Sin contexto, es extremadamente difícil asegurar que los datos apropiados están siendo utilizados para fines analíticos y de informes, y por lo tanto, para la toma de decisiones.

Con el fin de completar la comprensión, los modelos deben ser apoyados por glosarios integrados de negocio y términos de interés para los responsables de cada área. Es imprescindible que el equipo de negocios sea capaz de utilizar las herramientas que les permitan colaborar entre sí, así como con el personal técnico que los están apoyando.

Los analistas, modeladores y arquitectos construyen los modelos conceptuales y lógicos necesarios de las áreas de interes para el negocios. Se utilizan modelos de datos físicos para describir las implementaciones de sistemas subyacentes, incluyendo la trazabilidad de los datos. Cuando se combina con los flujos de datos, el linaje de datos real de la empresa puede ser comprendido y documentado. Este es el punto en el que se debe establecer la verdadera trazabilidad, que es vital para la comprensión.

De forma general, los datos son la materia prima bruta. En el momento que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretación que surge entre la información y ese modelo represente un valor agregado, entonces nos referimos al conocimiento.

Gemba Kaizen es nada más que el sentido común aplicado a los procesos de las organizaciones, este enfoque de mejora continua ayuda empresas en en todo el mundo. El espíritu Kaizen establece:

  1. Concéntrate y ve a Gemba (lugar real de trabajo)
  2. Conoce a la gente de tu organización
  3. Recopilar datos reales
  4. Comprender situación la real
  5. Encontrar soluciones reales
  6. Implementar rápidamente

Como conclusión podemos decir que para lograr una verdadera colaboración, todos los modelos, los metadatos y glosarios debe integrarse a través de un repositorio común. Se deben aprobar y publicar fácilmente medios de consumo que, por lo general, a través de una interfaz de usuario basada en web sea de fácil manejo. Además, los propios modelos se convierten en los medios para analizar, diseñar, evaluar e implementar cambios en el futuro.

Debido al tamaño y complejidad de la mayoría de los entornos, esto debe hacerse de manera prioritaria, empezando por los objetos más críticos de datos del negocios. Las métricas son establecidas para cuantificar la importancia relativa, así como para evaluar el progreso. Al igual que con cualquier iniciativa de mejora continua, la amplitud y la profundidad se incrementan de forma gradual. El establecimiento de una cultura de datos y la mejora de calidad de los mismo no es un proyecto a corto plazo. Es una disciplina continua, que cuando se ejecuta correctamente, ofrece resultados innovadores y ventaja competitiva en las organizaciones.

Fuentes:

Anuncios
Tagged with: , , , , , , , ,
Publicado en Uncategorized

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

Sígueme en Twitter (@guercano)
Calendario
julio 2015
L M X J V S D
« May   Ago »
 12345
6789101112
13141516171819
20212223242526
2728293031  
A %d blogueros les gusta esto: