¿Qué es la función Q(z) en estadística Big Data?

Autor: | Última modificación: 26 de julio de 2022 | Tiempo de Lectura: 4 minutos
Temas en este post:

La función Q(z) en estadística Big Data forma parte de las alternativas con las que cuenta un estudio estadístico, de manera que, como un buen data scientist, debes conocer cada una de ellas para elegir asertivamente y potenciar los resultados arrojados por el estudio estadístico de los datos.

En consecuencia, una vez se hayan llevado a cabo estas tareas podrás facilitar la visualización de los datos, la toma de decisiones y las rutas de planeación que ayuden a la organización para la que trabajes. En definitiva, si la función Q(z) en estadística Big Data se encuentra en tus posibles soluciones, ¡quédate hasta el final de este post!

Una de las primeras cuestiones a tener en cuenta es que este tipo de función requiere de otros conocimientos base y otros que lo complementan como el gráfico Q-Q. Por esta razón, en este artículo, te explicamos todo lo relacionado con lo que es la función Q(z) en estadística Big Data.

Distribución gaussiana en estadística

Pues bien, en primer lugar, la función Q(z) en estadística Big Data forma parte de lo que se conoce como la distribución normal o gaussiana. Esta es, posiblemente, la distribución de probabilidad más utilizada, precisamente, porque es la distribución básica para un análisis estadístico.

La importancia de esta distribución, además, radica en que cuenta con el teorema central del límite.

Por otra parte, la función de densidad de probabilidad es:

¿Cuáles son los tipos de distribuciones en estadística? 2

Mientras que la función acumulativa de probabilidad no tiene una forma explícita:

¿Cuáles son los tipos de distribuciones en estadística? 3

¿Qué es la función Q(z) en estadística Big Data?

Entrando en materia, la función Q(z) en estadística Big Data hace referencia a la probabilidad que existe de que una variable aleatoria gaussiana obtenga un valor mayor que x desviaciones típicas por encima de la media.

Por otra parte, para llevara cabo este cálculo se parte de la siguiente fórmula:

¿Qué es la función Q(z) en estadística Big Data? 1

Por ejemplo, para ilustrar cómo funciona, podrás suponer que la media que se está abordando es igual a 0, entonces, su fórmula y sus resultados se presentarían de la siguiente forma:

¿Qué es la función Q(z) en estadística Big Data? 2

Ahora bien, por medio de esta función Q(z) en estadística Big Data también podrás hacer uso de las operaciones pnorm y qnorm en el lenguaje de programación R.

print("En R se calcula con pnorm:")
pnorm(1,lower.tail = F)

print("La inversa se calcula con qnorm:")
qnorm(0.158655,lower.tail = F)

[1] «En R se calcula con pnorm:»
0.158655253931457
[1] «La inversa se calcula con qnorm:»
1.00000104943105

require(ggplot2)
options(repr.plot.height=4,repr.plot.width=6)
plot_qz<-function(l1,l2){ 
    qnorm1sd<-function(x){
        out<-dnorm(x)
        out[x< l1]<-NA
        out
    }

    qnorm05sd<-function(x){
        out<-dnorm(x)
        out[x<l2]<-NA
        out
    }


    qval1<-round(pnorm(l1,lower.tail = F),3)
    qval2<-round(pnorm(l2,lower.tail = F),3)


    xdf<-data.frame(z=c(-4,4))
    ggplot(xdf,aes(x=z))+stat_function(fun=dnorm,args = list(mean = 0, sd=1))+
      stat_function(fun=qnorm1sd, geom="area",fill="red")+
      geom_text(x=l1+1,y=dnorm(l1),size=4,label=paste0("Q(",l1,")=",qval1))+ 
      stat_function(fun=qnorm05sd, geom="area",fill="green",alpha=0.2)+
      geom_text(x=l2+1,y=dnorm(l2),size=4,label=paste0("Q(",l2,")=",qval2))
}
l1<-1
l2<- -0.4
plot_qz(l1,l2)

Por último, la esquematización de la función Q(z) en estadística Big Data se produce a través del gráfico Q-Q, como se ilustra a continuación:

¿Qué es la función Q(z) en estadística Big Data? 3

Gráfico Q-Q y la función Q(z)

El grafico Q-Q es el predilecto para la función Q(z) en estadística Big Data, ya que se utiliza para comparar dos distribuciones pintando sus percentiles una contra la otra y generalmente se utiliza para comparar si una variable sigue una distribución gaussiana.

x<-seq(-4,4,length.out=1000)
plot(x,pnorm(x,lower.tail = F),t="l",ylab="Q(x) - probabilidad",xlab="x - número de desviaciones típicas sobre la media")
grid()
# Es equivalente a:
plot(x,1-pnorm(x),t="l")
¿Qué es la función Q(z) en estadística Big Data? 4
numSamples<-10
#Empezamos con una variable aleatoria ordenada
var_random <-sort(runif(numSamples,min=-5,max=5))

#calculamos su probabilidad de que P(X>x)
p = ((numSamples-1):0)/numSamples

#Basandonos en esta probabilidad, calculamos cual sería su valor si fuera gaussiana
z<-qnorm(p,lower.tail = F)

matrix(c(var_random,p,z),nrow=3,byrow = T,
       dimnames=list(c("x","P(X>x) o Q(x)","valor esperado de x si fuera gaussiana"),NULL))
¿Qué es la función Q(z) en estadística Big Data? 5
#plot(p,var_random)
#El gráfico QQ sería:
plot(z,var_random,
     xlab="número de desviaciones típicas sobre la media teórica",
     ylab="valores reales")
¿Qué es la función Q(z) en estadística Big Data? 6

Evidentemente, el gráfico Q-Q de una variable gaussiana es una línea recta:

numSamples<-1000
gauss_random <-sort(rnorm(numSamples,mean=5,sd=3))
p = ((numSamples-1):0)/numSamples
z<-qnorm(p,lower.tail = F)
plot(z,gauss_random,
     xlab="número de desviaciones típicas sobre la media teoórica",
     ylab="valores reales")
¿Qué es la función Q(z) en estadística Big Data? 7

Existe una función para hacer esto mismo:

qqnorm(gauss_random)
qqline(gauss_random, col = 'orange', lwd =2)
¿Qué es la función Q(z) en estadística Big Data? 8
unif1<-subset(myRandomDataFrame,numFunctions==1)$val
qqnorm(unif1)
qqline(unif1, col = 'orange', lwd =2)
¿Qué es la función Q(z) en estadística Big Data? 9

¿Cómo continuar aprendiendo sobre el Big Data?

En el desarrollo de este post te hemos expuesto todo lo relacionado a Función Q(z) en estadística Big Data como parte de una distribución normal para el desarrollo de un análisis estadístico de los macrodatos. No obstante, este tipo de conocimientos deben adecuarse a tu tipo de interés en los datos procesados.

Si no sabes cómo seguir con el proceso, te recomendamos echar una vistazo a nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning, puesto que, por medio de este, podrás desarrollar todas tus habilidades en el aprendizaje de las herramientas y lenguajes principales en el mundo del manejo de los macrodatos. Además, te especializarás en una gran cantidad de temas relacionados con la forma en la que funcionan los tipos de distribución, como la uniforme, de bernoulli, binomial, de Poisson, exponencial, gaussiana, Chi-cuadrado, T-student y Betav. Durante todo este proceso también contarás con material extra, webinars y cursos que potenciarán lo aprendido en el bootcamp. ¿A qué estás esperando para empezar?

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!