En este artículo te daremos algunos consejos para que presentes tus datos de manera segura y confiada, sin que tengas que preocuparte por validar información.
El dilema
Uno de los mayores temores a los que se enfrentan los analistas de datos y todos aquellos profesionales que trabajan en el mundo del Big Data es el de validar la información y los datos recogidos durante su proceso observatorio y de discusión, ya que, si bien el análisis en este sector se ha visto bastante perfeccionado por disciplinas como las matemáticas y la estadística, no está exento de errores, principalmente en la fase de previsión y optimización. Para entender a qué nos referimos, puedes revisar nuestro artículo acerca del modelo DIKW.
¿Cómo podemos dar solución a este problema?
En su fase primigenia, cuando los datos están en bruto, es muy fácil verificar la información con la que contamos, dependiendo del tipo de datos que tengamos. Supongamos que las consultas de la base de datos arrojan que tienes N número de empleados. Este número puede ser corroborado por el departamento al que pertenezcan dichas cifras y, con esto, ya habrías validado la información de esa área, lo cual podrías hacer con todas las otras áreas restantes.
Cuando se pasa a la fase de analítica de datos, validar información se convierte en un problema tremendo, ya que todo se basa en las previsiones que se hagan. Estas previsiones, con o sin ayuda de otras disciplinas, siguen siendo eso, previsiones, y la validación de datos se torna nebulosa en ese sentido.
Aquí es donde entramos a esa parte de la matemática denominada no exacta, una matemática más de probabilidad. En esta fase, podemos incorporar pruebas que nos posibiliten trabajar con los datos incluidos y verificar que cumplan con los requisitos asignados en la fase introductoria.
Pruebas para validar información
Una de las formas más simples de validar información es tomar datos aleatorios, digamos, un 70% del total, y entrenar un modelo con dichos datos. El 30% de la información restante se podrá validar con pruebas.
Otra de las cosas que puedes hacer es entrenar con un porcentaje de datos determinado (80%, digamos) y sacar una teoría producto de ese ensayo para evaluarla con el 20% restante. Esta segunda opción permite ratificar si ese modelo funciona con quienes no han sido partícipes del mismo.
Si has probado que toda la información, datos y modelos que tienes funcionan, es momento de implementarlo en la práctica. Un consejo que te damos es no hacerlo con el 100% de la población, lo recomendable es dejar un porcentaje de margen de error.
¿Qué hacer entonces?
Si bien estos pueden ser buenos consejos para validar información, nunca estamos libres de que aparezcan factores que no se tuvieron en cuenta antes, como las personas que, sin haber hecho ningún tipo de análisis, saben mucho más de la empresa y, por tanto, de los datos con los que estás trabajando. Algo así podría convertir tus predicciones en un caos.
Sin embargo, es poco probable que esto pase, y aunque suceda, puedes recurrir a la argumentación objetiva y a la negociación para llegar a un acuerdo y determinar que lo que esa persona está diciendo está bien, pero lo que tú dices es el camino más viable. Así podrás validar información sin caer en discusiones.
Recuerda que puedes encontrar la respuesta a otros dilemas del mismo tipo y de otros tantos en nuestro Curso de Big Data, en donde verás un módulo de Exploración y Visualización de datos. Allí entenderás con más profundidad en qué consiste eso de validar información.
También puedes descargar Tableu, del cual ya se ha hablado ampliamente en otros posts. Con esta herramienta podrás, entre muchas otras cosas, visualizar datos de manera eficiente e interactiva.
