第四章 数据分布可视化

Author

221527116 古林琳

1 解释原始数据

  • faithful是R语言中自带的一个经典数据集，它记录了美国黄石国家公园老忠实间歇泉(Old Faithful geyser)的喷发数据。这个数据集经常被用于统计教学和数据分析示例。

  • faithful数据集包含两个变量，共有272个观测值。

    data = faithful
datatable(data,rownames = FALSE)

  • eruptions: 喷发持续时间，连续数值变量，以分钟为单位，范围：1.6分钟到5.1分钟。

  • waiting: 两次喷发之间的等待时间，连续数值变量，以分钟为单位，范围：43分钟到96分钟。

2 单变量直方图

2.1 绘图要求

  • 利用geom_histogram(aes(y=..density..))绘制eruptions的直方图，使用预设主题：mytheme；

  • 利用geom_rug()为直方图添加地毯图；

  • 利用geom_density()为直方图添加核密度曲线；

  • 利用annotate()在直方图标注峰度和偏度信息；

  • 利用geom_vline() 为直方图添加一条垂直的均值参考线；

  • 利用geom_point()在横轴上添加一个中位数参考点，并在点上方添加文字注释

2.2 作图代码

library(e1071)        # 用于计算偏度系数和峰度系数

df <- data
ggplot(data=df,aes(x=eruptions))+mytheme+    # 绘制直方图
  geom_histogram(aes(y=..density..),fill="lightgreen",color="gray50")+
  geom_rug(size=0.2,color="blue3")+  #添加地毯图，须线宽度为0.2
  geom_density(color="blue2",size=0.7)+ #
  annotate("text",x=2.5,y=0.7,label=paste0("偏度系数 =",round(skewness
(df$eruptions),4)),size=3)+  # 添加注释文本
  annotate("text",x=2.5,y=0.65,label=paste0("峰度系数 =",round(kurtosis
(df$eruptions),4)),size=3)+  # 添加注释文本
  geom_vline(xintercept=mean(df$eruptions),linetype="twodash",size=0.6,color="red")+          # 添加均值垂线，并设置线形、线宽和颜色
  annotate("text",x=mean(df$eruptions),y=0.7,label=paste0("均值线 = ",round(mean(df$eruptions),2)),size=3)+
  geom_point(x=median(df$eruptions),y=0,shape=21,size=4,fill="yellow")+
  annotate("text",x=median(df$eruptions),y=0.05,label="中位数",size=3,color="red3")

2.3 图形观察和代码编写的心得体会

  • 通过这样处理数据，能快速掌握数据的分布特征（如右偏、峰态），并为后续分析（如假设检验、模型选择）提供依据。

3 叠加直方图和镜像直方图

3.1 绘图要求

  • 绘制eruptions和 waiting两个变量的叠加直方图和镜像直方图，使用预设主题：mytheme。

  • 将数据转化为长型数据再作叠加直方图，利用scale_fill_brewer()将叠加直方图配色方案改为set3 。

  • 镜像直方图中eruptions在正方向，waiting在负方向，直方数bins=30，并添加文字标签作标签。

  • 两种图都需要针对原始数据作图和标准标准化数据作图，可以使用scale()函数对变量标准化，分类标准化可以使用plyr::ddply()函数。

3.2 叠加直方图代码

df <- data |>  
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合数据
  ddply("指标",transform,标准化值=scale(指标值)) # 计算标准化值并返回数据框

p1<-ggplot(df)+aes(x=指标值,y=..density..,fill=指标)+
  geom_histogram(position="identity",color="gray60",alpha=0.5)+
  scale_fill_brewer(palette = "set3")
  theme(legend.position=c(0.8,0.8),# 设置图例位置
       legend.background=element_rect(fill="grey90",color="grey"))+
                                                # 设置图例背景色和边框颜色
  ggtitle("(a) 原始数据的叠加直方图")
List of 4
 $ legend.background     :List of 5
  ..$ fill         : chr "grey90"
  ..$ colour       : chr "grey"
  ..$ linewidth    : NULL
  ..$ linetype     : NULL
  ..$ inherit.blank: logi FALSE
  ..- attr(*, "class")= chr [1:2] "element_rect" "element"
 $ legend.position       : chr "inside"
 $ legend.position.inside: num [1:2] 0.8 0.8
 $ title                 : chr "(a) 原始数据的叠加直方图"
 - attr(*, "class")= chr [1:2] "theme" "gg"
 - attr(*, "complete")= logi FALSE
 - attr(*, "validate")= logi TRUE
p1

3.3 镜像直方图代码

df<-data |>
  mutate(
    std.eruptions=scale(eruptions),
    std.waiting=scale(waiting)
  )

p1<-ggplot(df)+aes(x=x)+
   geom_histogram(aes(x=eruptions,y=..density..),color="grey50",fill="red",alpha=0.3)+ # 绘制AQI的直方图（上图）
   geom_label(aes(x=20,y=0.1),label="eruptions",color="red")+  # 添加标签
   geom_histogram(aes(x=waiting,y=-..density..),color="grey50",fill="blue",alpha=0.3)+ # 绘制PM2.5的直方图（下图）
   geom_label(aes(x=60,y=-0.075),label="waiting",color="blue")+  # 添加标签
   xlab("指标值")+ggtitle("(b) 原始数据的镜像直方图")

p2<-ggplot(df)+aes(x=x)+
   geom_histogram(aes(x=std.eruptions,y=..density..),color="grey50",fill="red",alpha=0.3)+ # 绘制AQI的直方图（上图）
   geom_label(aes(x=-0.5,y=0.5),label="eruptions",color="red")+  # 添加标签
   geom_histogram(aes(x=std.waiting,y=-..density..),color="grey50",fill="blue",alpha=0.3)+ # 绘制PM2.5的直方图（下图）
   geom_label(aes(x=0.5,y=-0.5),label="waiting",color="blue")+  # 添加标签
   xlab("指标值")+ggtitle("(b) 标准化的镜像直方图")

grid.arrange(p1,p2,ncol=2)        # 组合图形

3.4 图形观察和代码编写的心得体会

  • 叠加直方图：可以直观比较两个变量的分布形状和重叠情况，可以看出eruptions和waiting的大致分布范围，重叠区域显示了两变量共同出现的值区间，适合比较两个变量在相同值范围内的分布差异。

  • 镜像直方图：可以清晰看到两个变量的分布形状对比，标准化后的图形消除了量纲影响，纯粹比较分布形态，镜像设计避免了重叠区域的视觉混淆，特别适合比较两个量纲不同但相关的变量分布。

  • 这些可视化技术在实际数据分析中非常实用，能够帮助我们快速理解数据分布特征，发现变量间的关系，为后续分析提供直观的参考依据。

4 核密度图

4.1 绘图要求

  • 绘制eruptions和 waiting两个变量的分组核密度图、分面核密度图和镜像核密度图。

  • 分组核密度图，采用geom_density(position="identity") 。

  • 分面核密度图，采用geom_density()+facet_wrap(~xx,scale="free") 。

  • 镜像核密度图中eruptions在正方向，waiting在负方向，直方数bins=30，并添加文字标签作标签。

  • 分组核密度图和镜像核密度图需要针对原始数据作图和标准标准化数据作图。

4.2 分组核密度图

df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

p1<-ggplot(df)+aes(x=指标值,y=..density..,fill=指标)+
  geom_density(position="identity",color="gray60",alpha=0.5)+
  scale_fill_brewer(palette = "Set3")+
  theme(legend.position=c(0.8,0.8),# 设置图例位置
       legend.background=element_rect(fill="grey90",color="grey"))+
                                                # 设置图例背景色和边框颜色
  ggtitle("(a) 原始数据的叠加直方图")
  
p2<-ggplot(df)+aes(x=标准化值,y=..density..,fill=指标)+
  geom_density(position="identity",color="gray60",alpha=0.5)+
  scale_fill_brewer(palette = "Set3")+
  theme(legend.position=c(0.8,0.8),# 设置图例位置
       legend.background=element_rect(fill="grey90",color="grey"))+
                                                # 设置图例背景色和边框颜色
  ggtitle("(a) 标准化数据的叠加直方图")  
  
grid.arrange(p1,p2,ncol=2)

4.3 分面核密度图

ggplot(df)+aes(x=指标值,y=..density..,fill=指标)+
  geom_density(position="identity",color="gray60",alpha=0.5)+           
  scale_fill_brewer(palette="Set3")+       # 设置调色板
  facet_wrap(~指标,scale="free")+    # 按质量等级分面，自由设置y轴
  guides(fill="none")+ 
  theme(legend.position=c(0.8,0.8),# 设置图例位置
       legend.background=element_rect(fill="grey90",color="grey"))

4.4 镜像核密度图

df<-data |>
  mutate(
    std.eruptions=scale(eruptions),
    std.waiting=scale(waiting)
  )

p1<-ggplot(df)+aes(x=x)+
   geom_density(aes(x=eruptions,y=..density..),bins=30,color="grey50",fill="red",alpha=0.3)+ # 绘制AQI的直方图（上图）
   geom_label(aes(x=20,y=0.1),label="eruptions",color="red")+  # 添加标签
   geom_density(aes(x=waiting,y=-..density..),color="grey50",fill="blue",alpha=0.3)+ # 绘制PM2.5的直方图（下图）
   geom_label(aes(x=60,y=-0.075),label="waiting",color="blue")+  # 添加标签
   xlab("指标值")+ggtitle("(b) 原始数据的镜像核密度图")

p2<-ggplot(df)+aes(x=x)+
   geom_density(aes(x=std.eruptions,y=..density..),bins=30,color="grey50",fill="red",alpha=0.3)+ # 绘制AQI的直方图（上图）
   geom_label(aes(x=-0.5,y=0.5),label="eruptions",color="red")+  # 添加标签
   geom_density(aes(x=std.waiting,y=-..density..),color="grey50",fill="blue",alpha=0.3)+ # 绘制PM2.5的直方图（下图）
   geom_label(aes(x=0.5,y=-0.5),label="waiting",color="blue")+  # 添加标签
   xlab("指标值")+ggtitle("(b) 标准化的镜像核密度图")
  
grid.arrange(p1,p2,ncol=2)

4.5 图形观察和代码编写的心得体会

  • 分组核密度图：原始数据图显示变量实际取值范围差异，标准化图专注于比较分布形状的相似性与差异性，曲线峰值和宽度反映变量的集中程度和离散程度。

  • 分面核密度图：使用facet_wrap(~指标, scale="free")为每个变量创建独立子图，各子图y轴刻度自由调整，适应各自的数据范围，移除图例(guides(fill=“none”))，因为分面标题已说明变量。

  • 镜像核密度图：将一个变量的密度曲线向上，另一个向下翻转通过y=-..density..实现镜像效果，添加颜色标签明确标识每个变量。原始数据图显示实际值分布差异，标准化图专注于形状比较，镜像布局避免了重叠，同时保持对比关系。

这些核密度图技术在实际数据分析中非常实用，能够帮助我们：

  • 识别数据的多峰分布

  • 比较不同组别的分布差异

  • 发现数据的偏态和异常特征

  • 直观展示统计检验的前提条件

5 箱线图和小提琴图

5.1 绘图要求

  • 根据实际数据和标准化后的数据绘制eruptions和waiting两个变量的箱线图geom_boxplot和小提琴图geom_violin。

  • 采用stat_summary(fun="mean",geom="point")在箱线图和均值图中要添加均值点。

  • 小提琴图中要加入点图和箱线图

  • 采用调色板前两种颜色，brewer.pal(6,"Set2")[1:2] ，作为箱体填充颜色。

"#66C2A5" "#FC8D62" "#8DA0CB" "#E78AC3" "#A6D854" "#FFD92F"

5.2 箱线图代码

df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

palette<-RColorBrewer::brewer.pal(6,"Set2")[1:2]          # 设置离散型调色板
p1<-ggplot(df,aes(x=指标,y=指标值))+
  geom_boxplot(fill=palette)+      # 绘制箱线图并设置填充颜色
  stat_summary(fun="mean",geom="point",shape=21,size=2.5,fill="white")

p2<-ggplot(df,aes(x=指标,y=标准化值))+
  geom_boxplot(fill=palette)+  # 设置填充颜色和离群点大小
  stat_summary(fun="mean",geom="point",shape=21,size=2.5,fill="white")+
  scale_x_discrete(guide=guide_axis(n.dodge=2))+
ggtitle("(b) 标准化变换")

  grid.arrange(p1,p2,ncol=2)

5.3 小提琴图代码

  • 通过d3r::d3_nest将数据框转化为层次数据“d3.js”作为绘图输入
df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

# 图（a）原始数据小提琴图
p1<-ggplot(df,aes(x=指标,y=指标值,fill=指标))+
     geom_violin(scale="width",trim=FALSE)+
     geom_point(color="black",size=0.8)+  # 添加点
     geom_boxplot(outlier.size=0.7,outlier.color="white",size=0.3,
               width=0.2,fill="white")+  # 添加并设置箱线图和离群点参数
     scale_fill_brewer(palette="Set2")+
     stat_summary(fun=mean,geom="point",shape=21,size=2)+# 添加均值点
     guides(fill="none")+
     ggtitle("(a) 原始数据小提琴图")

# 图（b）数据标准化后的小提琴图
p2<-ggplot(df,aes(x=指标,y=标准化值,fill=指标))+
     geom_violin(scale="width")+
     #geom_point(color="black",size=1)+
     geom_boxplot(,outlier.size=0.7,outlier.color="black",size=0.3,
          width=0.2,fill="white")+
     scale_fill_brewer(palette="Set2")+
     guides(fill="none")+
     ggtitle("(b) 标准化小提琴图")

gridExtra::grid.arrange(p1,p2,ncol=2)        # 组合图形p1和p2

5.4 图形观察和代码编写的心得体会

  • 箱线图：箱线图清晰展示了五数概括（最小值、Q1、中位数、Q3、最大值），可以直观比较两个变量的离散程度和中位数差异，标准化后的图形显示waiting的IQR（箱体长度）相对更大，两个变量在标准化后显示出不同的偏态特征。

  • 小提琴图：小提琴图揭示了传统箱线图无法展示的多模态特征，可以清晰看到eruptions的双峰分布特征，waiting呈现右偏分布，有长尾现象，标准化后图形显示两个分布的”腰部”位置相似，内嵌箱线图提供了精确的分位数参考。

  • 这些技术在实际数据分析中极为实用，能够帮助我们发现：

    • 数据的分布特征（偏态、峰态、多模态）

    • 组间差异的细节模式

    • 异常值的分布情况

    • 统计量与实际分布的关系

6 威尔金森点图、蜂群图和云雨图

6.1 绘图要求

  • 绘制eruptions和 waiting 两个变量的威尔金森点图、蜂群图和云雨图。

  • 三种图形均采用标准化数据作图

  • 威尔金森点图采用geom_dotplot(binaxis="y",bins=30,dotsize = 0.3) ，要求作出居中堆叠和向上堆叠两种情况的图。

  • 蜂群图采用geom_beeswarm(cex=0.8,shape=21,size=0.8)，要求作出不带箱线图和带有箱线图两种情况的图。

  • 云雨图采用geom_violindot(dots_size=0.7,binwidth=0.07) ，要求作出横向和纵向图两种情况的图。

6.2 威尔金森点图代码

分别作矩形热图和极坐标热图

mytheme<-theme_bw()+theme(legend.position="none")
df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

p<-ggplot(df,aes(x=指标,y=指标值,fill=指标))
p1<-p+geom_dotplot(binaxis="y",bins=3,dotsize = 0.3,stackdir="center")+ # 绘制点图
  mytheme+ggtitle("(a) 居中堆叠")

p2<-p+geom_dotplot(binaxis="y",bins=3,dotsize = 0.3)+ # 绘制点图
  mytheme+ggtitle("(b) 向上堆叠")

gridExtra::grid.arrange(p1,p2,ncol=2)

6.3 蜂群图代码

mytheme<-theme_bw()+theme(legend.position="none")
df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

p<-ggplot(df,aes(x=指标,y=指标值))
p1<-p+geom_beeswarm(cex=0.8,shape=21,fill="black",size=0.7,aes(color=指标))+# 设置蜂群的宽度、点的形状、大小和填充颜色
mytheme+ggtitle("(a) 蜂群图")

# 图（b）箱线图+蜂群图
p2<-p+geom_boxplot(size=0.5,outlier.size=0.8,aes(color=指标))+
geom_beeswarm(shape=21,cex=0.8,size=0.8,aes(color=指标))+
mytheme+ggtitle("(b) 箱线图+蜂群图")
gridExtra::grid.arrange(p1,p2,ncol=2)

6.4 云雨图代码

library(see)  # 提供主题函数theme_modern
mytheme<-theme_modern()+
         theme(legend.position="none",
               plot.title=element_text(size=14,hjust=0.5))   # 调整标题位置

df<-data |> 
  gather(eruptions,waiting,key=指标,value=指标值) %>%  # 融合
  ddply("指标",transform,标准化值=scale(指标值))

library(see)  # 提供主题函数theme_modern

# 绘制云雨图
mytheme<-theme_modern()+
         theme(legend.position="none",
               plot.title=element_text(size=14,hjust=0.5))   # 调整标题位置

p1<-ggplot(df,aes(x=指标,y=指标值,fill=指标))+
  geom_violindot(dots_size=0.7,binwidth=0.07)+ # 绘制云雨图并设置点的大小和箱宽
  mytheme+ggtitle("(a) 垂直排列(默认)")

p2<-ggplot(df,aes(x=指标,y=指标值,fill=指标))+
  geom_violindot(dots_size=0.7,binwidth=0.07)+
  coord_flip()+mytheme+ggtitle("(b) 水平排列")

gridExtra::grid.arrange(p1,p2,ncol=2)        # 按2列组合图形p1和p2

6.5 图形观察和代码编写的心得体会

  • 威尔金森点图：直观展示数据点的分布密度，堆叠高度反映频数多少，适合中小规模数据集的实际值展示。

  • 蜂群图：基础蜂群图：使用geom_beeswarm()避免点重叠，调整cex参数控制蜂群宽度，形状和颜色美学映射。

    增强版组合图：箱线图+蜂群图的创新组合，箱线图提供统计量参考，蜂群图展示实际数据分布，尺寸参数精心调整避免视觉冲突。

  • 云雨图：使用see包的geom_violindot()，小提琴图展示密度分布，点图显示实际数据位置，内置分箱算法(binwidth)。

这些技术特别适用于：

  • 展示实际数据点的分布

  • 比较组间差异细节

  • 识别数据聚类模式

  • 呈现统计分析与原始数据的关联