Los Datos Malos: Impacto Económico y Soluciones Efectivas

Este artículo fue escrito por Dr. Thomas C. Redman, "el Data Doc", Presidente de Data Quality Solutions, y publicado originalmente en Harvard Business Review el 22 de septiembre de 2016. Data Quality Solutions ayuda a startups y multinacionales; ejecutivos senior, Directores de Datos y líderes a trazar sus caminos hacia futuros basados en datos, con especial énfasis en calidad y análisis. Para obtener más información, visita www.dataqualitysolutions.com.

Actualización de Tom (junio de 2023):

Sin importar tu campo, es útil poner una "etiqueta de valor" a tu trabajo. No menos en mi campo, la calidad de datos. Yo y otros teníamos algunos estudios de caso e incluso más anécdotas, pero nada que calificara como una etiqueta de valor verdaderamente defendible.

Luego, hace unos diez años, aparece una infografía de IBM que describe las "cuatro V del dato" -volumen, variedad, velocidad y valor. Fue una visualización fantástica (desde entonces la han eliminado) y, bajo veracidad, afirmaban que los datos malos cuestan a los EE.UU. $3.1 billones (sí, billones) al año. ¿Es este el número de "etiqueta de valor" que estábamos buscando?

En ese momento, $3.1T representaba aproximadamente el dieciocho por ciento de la economía de los EE.UU. y los estudios de caso eran ampliamente favorables. ¡Aún así, es un número escandaloso! ¡Lo último que quería era afirmar que era correcto y luego ser demostrado lo contrario! Así que hice todo lo posible para verificar el número.

Primero, me puse en contacto con IBM. La gente allí fue bastante cautelosa sobre su metodología, pero defendieron el número. En segundo lugar, utilicé una variedad de modelos para probarlo. Utilicé cálculos similares de la fabricación. Reexaminé los estudios de caso. Pensé en los costos totales asociados con desastres de datos, como la crisis financiera de 2008. Lo más importante, probé la noción de que las "fábricas de datos ocultas", trabajan dentro de las empresas en las que las personas intentan lidiar con datos malos, podrían ser el lugar donde se incurrió gran parte de esos $3.1T.

Por último, mi hijo mayor Andy planteó un punto importante. "Supongamos", dijo, "que el número está mal por un billón de dólares. ¿Qué cambia si el número real es de $2T? Y, quién sabe, puede ser de $4T." Esto cristalizó las cosas para mí y me llevó a escribir el artículo con dos objetivos principales: ¡captar la atención de las personas con un número escandalosamente grande y mostrar dónde se gasta ese dinero!

Los Datos Malos Cuestan a EE.UU. $3 Trillones al Año

Considera esta cifra: $136 mil millones al año. Esa es la estimación de la firma de investigación IDC del tamaño del mercado de big data, a nivel mundial, en 2016. Esta cifra no debería sorprender a nadie con interés en big data.

Pero aquí hay otro número: $3.1 billones , la estimación de IBM del costo anual de los datos de mala calidad, solo en EE.UU., en 2016. Si bien la mayoría de las personas que trabajan con datos todos los días saben que los datos malos son costosos, esta cifra sorprende.

Si bien los números no son realmente comparables y hay una considerable variación en cada uno, solo se puede concluir que en este momento, mejorar la calidad de los datos representa la oportunidad de datos mucho más grande. Se aconseja a los líderes que desarrollen una apreciación más profunda de las oportunidades que presenta mejorar la calidad de los datos y aprovecharlas más plenamente de lo que lo hacen hoy.

La razón por la que los datos malos cuestan tanto es que los tomadores de decisiones, gerentes, trabajadores del conocimiento, científicos de datos y otros deben acomodarlos en su trabajo diario. Y hacerlo es tanto tiempo como costoso. Los datos que necesitan tienen muchos errores y, ante una fecha límite crítica, muchas personas simplemente corrigen ellos mismos para completar la tarea en cuestión . No piensan en comunicarse con el creador de los datos, explicar sus requisitos y ayudar a eliminar las causas raíz.

Muy rápidamente, esta tarea de verificar los datos y hacer correcciones se convierte en otro hecho de la vida laboral. Echa un vistazo a la figura a continuación. El Departamento B, además de hacer su propio trabajo, debe agregar pasos para acom