智算多多

智算服务

AI 生态大厅

算力商情政策资讯合作与生态场景方案关于我们

控制台

当前位置: 首页 > 政策资讯 > 资讯详情

《AI应用实战课》第二课:数据探索与数据可视化——从数据海洋中提炼黄金

发布日期：2026-04-04 来源：CSDN软件开发网作者：CSDN软件开发网

引言：数据的罗塞塔石碑

在上一课中，我们探索了人工智能的定义、历史演进及其深远影响力，并初步接触了机器学习的三大范式——监督学习、无监督学习和强化学习。我们搭建了实战环境，学会了使用 Jupyter Notebook 和 scikit-learn 这些强大的工具。然而，当我们面对真实世界中海量、杂乱、充满噪声的数据时，如何才能透过表象看到本质？这正是本课要解决的核心问题。

数据，被誉为新时代的石油。但原油本身无法直接驱动汽车，必须经过提炼、加工才能转化为有价值的燃料。同样，原始数据只有经过精心的探索和直观的可视化，才能转化为可执行的商业洞察。本课将带领大家深入学习数据探索和数据可视化的方法论与技术实现，掌握 Matplotlib 和 Seaborn 这两大利器，为后续的机器学习算法应用打下坚实基础。

第一章：数据探索——机器学习的第一公里

1.1 数据探索的哲学意义

数据探索（Exploratory Data Analysis，简称 EDA）是数据科学项目中最关键却又最容易被忽视的环节。许多初学者急于套用算法模型，却忽略了对数据本身的深入理解，最终导致模型效果不佳甚至得出错误结论。著名统计学家 John Tukey 早在 1977 年就提出了探索性数据分析的概念，强调在正式建模之前，应该"让数据说话"。

从认识论角度看，数据探索是一个从"不知"到"知之"、从"模糊"到"清晰"的认知过程。每一行数据、每一个特征都可能隐藏着重要的业务规律。作为 AI 工程师，我们的职责就是像侦探一样，通过系统化的方法发现这些隐藏的模式。

1.2 数据探索的核心方法论

数据探索通常包括以下几个核心维度：

数据概览与结构分析是探索的第一步。我们需要了解数据集的整体规模、特征数量、数据类型分布等基本信息。使用 Pandas 库的 head()、info()、describe() 等方法，可以快速获得数据的宏观画像。这一步骤看似简单，却能帮助我们发现诸如数据格式错误、缺失值过多、异常值存在等潜在问题。

缺失值分析是数据质量评估的重要内容。缺失值可能由多种原因造成：数据采集设备故障、用户拒绝回答某些问题、数据传输过程中的丢失等。不同类型的缺失需要采用不同的处理策略。例如，完全随机缺失可以简单地删除或用均值填充；而随机缺失或非随机缺失则需要更复杂的处理方法，如使用其他特征预测缺失值。

异常值检测同样至关重要。异常值可能是数据录入错误，也可能是真实的极端情况。区分这两者需要结合业务知识和统计分析方法。常用的异常值检测方法包括：基于统计的 Z-score 方法、四分位距方法（IQR），以及基于机器学习的孤立森林算法等。

特征分布分析帮助我们了解每个特征的取值范围、集中趋势和离散程度。对于连续型特征，我们关注其均值、中位数、标准差、偏度和峰度；对于分类型特征，我们关注各类别的频数分布。特征分布的形态往往能提示我们应该选择什么样的模型和处理方法。

特征间关系分析是数据探索的高阶内容。通过计算特征之间的相关系数，我们可以发现潜在的预测关系，也能识别出可能存在的多重共线性问题。散点图矩阵、热力图等可视化工具在这一阶段发挥着重要作用。

1.3 实战：系统化的数据探索流程

让我们以一个电商平台用户数据集为例，演示完整的数据探索流程。假设我们有一个包含用户基本信息、行为数据和消费记录的数据集，目标是预测用户的生命周期价值（这与第三课的内容相呼应）。

import pandas as pd
import numpy as np

# 加载数据
df = pd.read_csv('ecommerce_users.csv')

# 第一步：数据概览
print("数据集形状：", df.shape)
print("\n前五行数据：")
print(df.head())
print("\n数据类型：")
print(df.dtypes)
print("\n描述性统计：")
print(df.describe())

# 第二步：缺失值分析
missing_stats = df.isnull().sum()
missing_pct = missing_stats / len(df) * 100
print("缺失值统计：")
print(pd.DataFrame({'缺失数量': missing_stats, '缺失比例(%)': missing_pct}))

# 第三步：异常值检测（以消费金额为例）
from scipy import stats
z_scores = stats.zscore(df['total_spent'].dropna())
outliers = df[np.abs(z_scores) > 3]
print(f"发现 {len(outliers)} 个异常值")

# 第四步：特征分布分析
print("消费金额偏度：", df['total_spent'].skew())
print("消费金额峰度：", df['total_spent'].kurtosis())

这个示例展示了数据探索的基本框架。在实际项目中，我们需要根据具体的数据特点和分析目标，灵活调整探索的深度和广度。重要的是要养成系统化思考的习惯，而不是随意地"看数据"。

1.4 数据探索中的常见陷阱

在实践中，数据探索存在一些常见的陷阱需要警惕：

确认偏误是最常见的心理陷阱。当我们对数据有一定的预设时，容易只关注支持自己假设的证据，而忽略与之矛盾的信息。避免的方法是保持开放的心态，让数据真正"说话"，而不是让数据"说我们想听的话"。

过度解读是另一个常见问题。从随机波动中寻找规律是人类的天性，但在数据分析中，这种倾向可能导致错误的结论。我们必须始终用统计检验来验证观察到的模式是否具有显著性。

忽略业务背景会导致技术导向的分析与实际需求脱节。数据探索不能脱离业务语境进行。与业务专家的紧密合作，能够帮助我们提出正确的问题，并正确解读发现的结果。

过早下结论也是需要警惕的。数据探索应该是一个迭代的过程，初步发现应该引导我们进行更深入的分析，而不是急于得出最终结论。保持好奇心和质疑精神，是优秀数据科学家的必备素质。

第二章：数据可视化的艺术与科学

2.1 可视化的认知基础

人类大脑处理视觉信息的能力远超处理文本和数字的能力。研究表明，大脑处理图像的速度是处理文本的 60000 倍，约 90% 传递到大脑的信息是视觉信息。这一生物学事实奠定了数据可视化的科学基础。

数据可视化的本质是将抽象的数据编码为视觉元素，利用人类强大的视觉感知能力来发现模式和规律。不同的视觉编码通道（如位置、长度、角度、颜色、形状）具有不同的感知精度。Cleveland 和 McGill 的经典研究表明，位置编码的感知精度最高，其次是长度、角度、面积，最后是颜色和形状。

选择正确的图表类型是数据可视化的核心技能。每种图表类型都有其适用的数据类型和问题类型。选择错误的图表不仅会降低信息传递效率，还可能误导读者。例如，用饼图展示超过 5 个分类的数据，会使人难以比较各类别的大小；用折线图展示分类型数据，则暗示了不存在的连续性关系。

2.2 数据可视化的核心图表类型

柱状图和条形图是最基础也最常用的图表类型，用于展示分类数据的频数或数值比较。柱状图适合类别名称较短的情况，条形图适合类别名称较长的情况。当类别数量较多时，条形图的可读性更好。

折线图是展示时间序列数据的首选。它强调数据随时间的变化趋势和连续性。使用折线图时要注意时间间隔的一致性，不一致的时间间隔可能导致对变化速度的错误感知。

散点图是展示两个连续变量之间关系的最佳选择。它不仅能揭示变量之间的相关性，还能显示数据的分布模式和异常值。通过添加趋势线或分类着色，可以进一步增强散点图的信息量。

直方图用于展示连续变量的分布形态。通过调整分箱的数量和宽度，可以控制直方图的精细程度。直方图与密度图的结合使用，能够同时展示实际分布和理论分布。

箱线图是展示数据分布和异常值的强大工具。它能同时展示数据的中位数、四分位距、极值和异常值，特别适合比较多组数据的分布特征。

热力图用于展示二维矩阵数据，特别适合展示相关系数矩阵或混淆矩阵。颜色的选择需要考虑色盲友好性，避免仅使用红绿对比。

小提琴图结合了箱线图和密度图的优点，既能展示数据的分布形态，又能显示关键统计量。它特别适合比较不同组别数据的分布差异。

2.3 可视化设计原则

优秀的数据可视化应该遵循以下核心原则：

清晰性原则要求图表能够清晰地传递信息，不产生歧义。这包括：清晰的标题和标签、恰当的坐标轴范围、明确的图例说明、适当的数据标注。

简洁性原则强调去除不必要的视觉元素，避免"图表垃圾"。Edward Tufte 提出的"数据-墨水比"概念，指出图表中用于展示数据的墨水占比应该最大化。不必要的网格线、装饰性图案、过度的颜色都应该去除。

准确性原则要求可视化忠实于数据。常见的违规行为包括：截断坐标轴夸大变化幅度、使用三维效果扭曲面积感知、选择性地展示数据等。数据伦理要求我们诚实地呈现数据。

美观性原则承认美学设计的重要性。美观的图表能够吸引读者的注意力，提升信息传递的效果。颜色的搭配、字体的选择、布局的平衡都需要精心设计。

2.4 可视化与故事叙述

在商业环境中，数据可视化的最终目的是支持决策。因此，可视化作品需要具有叙事能力，能够引导读者得出预期的结论。

故事叙述式的可视化通常遵循以下结构：首先通过概览图表建立背景，然后通过细节图表展示关键发现，最后通过结论图表明确行动建议。这种"总体-部分-总体"的结构能够帮助读者建立完整的认知框架。

交互式可视化是增强叙事能力的有效手段。通过筛选、缩放、悬停等交互功能，读者可以自主探索数据，从不同角度发现规律。这在展示复杂数据关系时尤其有价值。

第三章：Matplotlib—— Python 可视化的基石

3.1 Matplotlib 的历史与架构

Matplotlib 是 Python 数据可视化领域最基础也是最重要的库。它由 John D. Hunter 于 2003 年创建，设计灵感来自 MATLAB 的绘图功能。经过二十余年的发展，Matplotlib 已成为 Python 科学计算生态系统的核心组件之一。

Matplotlib 的架构采用分层设计，从底层到高层依次为：

Backend 层处理与具体输出设备的交互，负责将图形渲染到屏幕、文件或其他介质。Matplotlib 支持多种后端，包括交互式后端（如 Qt、Tkinter）和非交互式后端（如 Agg、PDF）。

Artist 层是 Matplotlib 的核心抽象。所有可见的图形元素（如线条、文本、矩形）都是 Artist 对象。Artist 层提供了创建复杂自定义图形的灵活性。

Scripting 层即 pyplot 模块，提供了类似 MATLAB 的过程式接口。这是大多数用户日常使用的接口，简化了图形创建的过程。

理解这种分层架构有助于我们在遇到问题时知道在哪个层次解决。简单的绑定需求可以用 pyplot 快速实现，复杂的定制需求则需要深入 Artist 层。

3.2 Matplotlib 基础绑定详解

让我们通过一个完整的示例，系统学习 Matplotlib 的基础绑定：

import matplotlib.pyplot as plt
import numpy as np

# 设置中文字体支持
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 创建图形和坐标轴
fig, ax = plt.subplots(figsize=(10, 6))

# 生成示例数据
x = np.linspace(0, 10, 100)
y1 = np.sin(x)
y2 = np.cos(x)

# 绑制折线图
ax.plot(x, y1, 'b-', linewidth=2, label='正弦曲线')
ax.plot(x, y2, 'r--', linewidth=2, label='余弦曲线')

# 设置标题和标签
ax.set_title('三角函数可视化', fontsize=16, fontweight='bold')
ax.set_xlabel('x 轴', fontsize=12)
ax.set_ylabel('y 轴', fontsize=12)

# 设置坐标轴范围
ax.set_xlim(0, 10)
ax.set_ylim(-1.5, 1.5)

# 添加网格
ax.grid(True, linestyle='--', alpha=0.7)

# 添加图例
ax.legend(loc='upper right', fontsize=10)

# 添加注释
ax.annotate('最大值', xy=(np.pi/2, 1), xytext=(np.pi/2, 1.3),
            arrowprops=dict(arrowstyle='->', color='black'),
            fontsize=10)

# 调整布局
plt.tight_layout()

# 保存和显示
plt.savefig('trig_functions.png', dpi=300, bbox_inches='tight')
plt.show()

这个示例展示了 Matplotlib 的核心功能：创建图形、绑定曲线、设置标签、添加注释、调整布局。下面我们对每个部分进行详细说明。

3.3 图形与坐标轴系统

在 Matplotlib 中，Figure 是最顶层的容器，代表整个图形窗口。一个 Figure 可以包含多个 Axes（坐标轴对象），每个 Axes 包含标题、坐标轴标签、绑定内容等元素。

创建 Figure 和 Axes 的推荐方式是使用 plt.subplots() 函数：

# 创建单个坐标轴
fig, ax = plt.subplots()

# 创建 2x2 的坐标轴网格
fig, axes = plt.subplots(2, 2, figsize=(12, 10))

# 创建不等分布的坐标轴
fig = plt.figure(figsize=(12, 8))
ax1 = plt.subplot2grid((3, 3), (0, 0), colspan=3)
ax2 = plt.subplot2grid((3, 3), (1, 0), colspan=2)
ax3 = plt.subplot2grid((3, 3), (1, 2), rowspan=2)
ax4 = plt.subplot2grid((3, 3), (2, 0), colspan=2)

理解 Figure 和 Axes 的关系是掌握 Matplotlib 的关键。这种设计虽然增加了初学者的学习成本，但也提供了极大的灵活性，允许创建任意复杂的布局。

3.4 各类图表的绘制方法

折线图使用 plot() 方法：

# 基础折线图
ax.plot(x, y)

# 带标记的折线图
ax.plot(x, y, 'o-', color='blue', markersize=8, linewidth=2)

# 多系列折线图
ax.plot(x, y1, label='系列1')
ax.plot(x, y2, label='系列2')
ax.legend()

# 填充区域
ax.fill_between(x, y1, y2, alpha=0.3, color='green')

柱状图使用 bar() 和 barh() 方法：

# 垂直柱状图
categories = ['A', 'B', 'C', 'D', 'E']
values = [23, 45, 56, 78, 32]
ax.bar(categories, values, color='steelblue', edgecolor='black')

# 水平柱状图
ax.barh(categories, values, color='coral', height=0.6)

# 分组柱状图
x = np.arange(len(categories))
width = 0.35
ax.bar(x - width/2, values1, width, label='2024年')
ax.bar(x + width/2, values2, width, label='2025年')
ax.set_xticks(x)
ax.set_xticklabels(categories)
ax.legend()

# 堆叠柱状图
ax.bar(categories, values1, label='产品A')
ax.bar(categories, values2, bottom=values1, label='产品B')
ax.legend()

散点图使用 scatter() 方法：

# 基础散点图
ax.scatter(x, y, s=50, c='blue', alpha=0.6)

# 用颜色表示第三个维度
scatter = ax.scatter(x, y, s=50, c=z, cmap='viridis', alpha=0.6)
plt.colorbar(scatter, label='Z 值')

# 用大小表示第三个维度
ax.scatter(x, y, s=z*100, c='blue', alpha=0.6)

# 分组散点图
for category in categories:
    mask = df['category'] == category
    ax.scatter(df[mask]['x'], df[mask]['y'], label=category)
ax.legend()

直方图使用 hist() 方法：

# 基础直方图
ax.hist(data, bins=30, color='steelblue', edgecolor='black')

# 归一化直方图（概率密度）
ax.hist(data, bins=30, density=True, alpha=0.7)

# 堆叠直方图
ax.hist([data1, data2], bins=30, stacked=True, label=['组1', '组2'])
ax.legend()

# 添加核密度估计曲线
from scipy import stats
kde = stats.gaussian_kde(data)
x_range = np.linspace(data.min(), data.max(), 100)
ax.plot(x_range, kde(x_range), 'r-', linewidth=2)

箱线图使用 boxplot() 方法：

# 单组箱线图
ax.boxplot(data, patch_artist=True, 
           boxprops=dict(facecolor='lightblue'))

# 多组箱线图
ax.boxplot([data1, data2, data3], labels=['组1', '组2', '组3'])

# 水平箱线图
ax.boxplot(data, vert=False)

# 显示所有数据点（小提琴图的替代方案）
ax.boxplot(data, patch_artist=True)
x_jitter = np.random.normal(1, 0.04, size=len(data))
ax.scatter(x_jitter, data, alpha=0.4, color='red', s=20)

饼图使用 pie() 方法（需谨慎使用）：

# 基础饼图
sizes = [30, 20, 25, 15, 10]
labels = ['A', 'B', 'C', 'D', 'E']
ax.pie(sizes, labels=labels, autopct='%1.1f%%')

# 突出显示某块
explode = (0.1, 0, 0, 0, 0)  # 突出第一块
ax.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%',
       shadow=True, startangle=90)

# 环形图
ax.pie(sizes, labels=labels, wedgeprops=dict(width=0.5))

热力图使用 imshow() 方法：

# 相关性热力图
correlation_matrix = df.corr()
im = ax.imshow(correlation_matrix, cmap='coolwarm', aspect='auto')

# 设置刻度
ax.set_xticks(range(len(correlation_matrix.columns)))
ax.set_yticks(range(len(correlation_matrix.columns)))
ax.set_xticklabels(correlation_matrix.columns, rotation=45, ha='right')
ax.set_yticklabels(correlation_matrix.columns)

# 添加颜色条
plt.colorbar(im, ax=ax)

# 添加数值标注
for i in range(len(correlation_matrix)):
    for j in range(len(correlation_matrix)):
        value = correlation_matrix.iloc[i, j]
        ax.text(j, i, f'{value:.2f}', ha='center', va='center', 
                color='white' if abs(value) > 0.5 else 'black')

3.5 Matplotlib 高级定制

样式定制是提升图表质量的重要手段：

# 使用内置样式
plt.style.available  # 查看所有可用样式
plt.style.use('seaborn-v0_8-whitegrid')  # 应用样式

# 常用样式：ggplot, seaborn-v0_8-darkgrid, fivethirtyeight, bmh

# 自定义样式
custom_params = {
    'figure.figsize': (10, 6),
    'font.size': 12,
    'axes.labelsize': 14,
    'axes.titlesize': 16,
    'axes.spines.top': False,
    'axes.spines.right': False,
    'grid.alpha': 0.5,
}
plt.rcParams.update(custom_params)

颜色定制涉及色彩理论的应用：

# 使用颜色名称
ax.plot(x, y, color='steelblue')

# 使用十六进制颜色码
ax.plot(x, y, color='#1f77b4')

# 使用 RGB 元组
ax.plot(x, y, color=(0.12, 0.47, 0.71))

# 使用颜色映射
import matplotlib.cm as cm
colors = cm.viridis(np.linspace(0, 1, 5))
for i, color in enumerate(colors):
    ax.plot(x, y[i], color=color)

# 自定义颜色循环
from cycler import cycler
custom_cycler = cycler(color=['#1f77b4', '#ff7f0e', '#2ca02c'])
ax.set_prop_cycle(custom_cycler)

坐标轴定制可以大幅提升图表的可读性：

# 设置坐标轴范围
ax.set_xlim(0, 10)
ax.set_ylim(-5, 5)

# 设置刻度位置和标签
ax.set_xticks([0, 2, 4, 6, 8, 10])
ax.set_xticklabels(['零', '二', '四', '六', '八', '十'])

# 设置对数坐标轴
ax.set_yscale('log')

# 设置双坐标轴
ax2 = ax.twinx()
ax.plot(x, y1, 'b-')
ax2.plot(x, y2, 'r-')
ax.set_ylabel('左轴', color='blue')
ax2.set_ylabel('右轴', color='red')

# 格式化刻度标签
from matplotlib.ticker import FuncFormatter
def currency_formatter(x, pos):
    return f'${x:,.0f}'
ax.yaxis.set_major_formatter(FuncFormatter(currency_formatter))

图例与注释是完善图表信息的关键：

# 图例定制
ax.legend(loc='best', frameon=True, fancybox=True, 
          shadow=True, framealpha=0.8)

# 放置图例在图形外部
ax.legend(bbox_to_anchor=(1.05, 1), loc='upper left')

# 文本注释
ax.text(5, 0, '重要区间', fontsize=12, ha='center', 
        bbox=dict(boxstyle='round', facecolor='wheat', alpha=0.5))

# 箭头注释
ax.annotate('峰值点', xy=(x_max, y_max), xytext=(x_max+1, y_max+0.5),
            arrowprops=dict(arrowstyle='->', color='red', lw=2),
            fontsize=10, color='red')

# 垂直参考线
ax.axvline(x=threshold, color='red', linestyle='--', linewidth=1.5, label='阈值')
# 水平参考线
ax.axhline(y=mean_value, color='green', linestyle='--', linewidth=1.5)
# 填充区域
ax.axvspan(x1, x2, alpha=0.2, color='yellow')

子图布局用于创建复杂的组合图表：

# 使用 subplot2grid 创建复杂布局
fig = plt.figure(figsize=(14, 10))

# 第一行占满
ax1 = plt.subplot2grid((3, 4), (0, 0), colspan=4)
ax1.plot(x, y)

# 第二行分为两部分
ax2 = plt.subplot2grid((3, 4), (1, 0), colspan=2)
ax2.bar(categories, values)

ax3 = plt.subplot2grid((3, 4), (1, 2), colspan=2)
ax3.scatter(x2, y2)

# 第三行分为三部分
ax4 = plt.subplot2grid((3, 4), (2, 0))
ax4.pie(sizes, labels=labels)

ax5 = plt.subplot2grid((3, 4), (2, 1))
ax5.hist(data, bins=20)

ax6 = plt.subplot2grid((3, 4), (2, 2), colspan=2)
ax6.boxplot([data1, data2, data3], labels=['A', 'B', 'C'])

plt.tight_layout()

3.6 Matplotlib 实战：综合案例

让我们通过一个综合案例，展示 Matplotlib 在实际数据分析中的应用：

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.gridspec import GridSpec

# 假设我们有一个销售数据集
np.random.seed(42)
dates = pd.date_range('2024-01-01', '2024-12-31', freq='D')
n_days = len(dates)

# 生成模拟数据
sales = np.random.exponential(scale=5000, size=n_days).cumsum() / 10
sales = sales + np.sin(np.arange(n_days) * 2 * np.pi / 365) * 2000  # 添加季节性
sales = sales + np.random.normal(0, 500, n_days)  # 添加噪声

regions = ['华东', '华南', '华北', '华中', '西部']
region_sales = np.random.dirichlet(np.ones(5), size=12) * sales.reshape(-1, 12).mean(axis=1).reshape(12, 1)
region_sales = region_sales * 10000  # 放大数值

# 创建综合仪表盘
fig = plt.figure(figsize=(16, 12))
gs = GridSpec(3, 3, figure=fig, hspace=0.3, wspace=0.3)

# 1. 时间序列图（占两列）
ax1 = fig.add_subplot(gs[0, :2])
ax1.plot(dates, sales, color='steelblue', linewidth=1.5)
ax1.fill_between(dates, sales, alpha=0.3)
ax1.set_title('2024年销售额趋势', fontsize=14, fontweight='bold')
ax1.set_xlabel('日期')
ax1.set_ylabel('销售额（万元）')
ax1.grid(True, alpha=0.3)
# 添加趋势线
z = np.polyfit(range(n_days), sales, 1)
p = np.poly1d(z)
ax1.plot(dates, p(range(n_days)), 'r--', linewidth=2, label='趋势线')
ax1.legend()

# 2. 月度汇总图
ax2 = fig.add_subplot(gs[0, 2])
monthly_sales = pd.Series(sales, index=dates).resample('M').sum()
colors = plt.cm.Blues(np.linspace(0.4, 1, len(monthly_sales)))
ax2.barh(range(1, 13), monthly_sales.values, color=colors)
ax2.set_yticks(range(1, 13))
ax2.set_yticklabels(['1月', '2月', '3月', '4月', '5月', '6月', 
                      '7月', '8月', '9月', '10月', '11月', '12月'])
ax2.set_xlabel('销售额（万元）')
ax2.set_title('月度销售额', fontsize=14, fontweight='bold')

# 3. 区域分布图
ax3 = fig.add_subplot(gs[1, 0])
region_totals = region_sales.sum(axis=0)
explode = [0.05 if i == region_totals.argmax() else 0 for i in range(5)]
ax3.pie(region_totals, labels=regions, autopct='%1.1f%%', explode=explode,
        shadow=True, startangle=90)
ax3.set_title('区域销售分布', fontsize=14, fontweight='bold')

# 4. 区域对比箱线图
ax4 = fig.add_subplot(gs[1, 1])
ax4.boxplot([region_sales[:, i] for i in range(5)], labels=regions)
ax4.set_ylabel('月销售额（万元）')
ax4.set_title('区域销售额分布对比', fontsize=14, fontweight='bold')
ax4.tick_params(axis='x', rotation=45)

# 5. 相关性热力图
ax5 = fig.add_subplot(gs[1, 2])
# 假设有多个产品线
product_data = np.random.randn(100, 5)
product_data[:, 1] = product_data[:, 0] * 0.7 + np.random.randn(100) * 0.3  # 产品1和产品2相关
correlation = np.corrcoef(product_data.T)
im = ax5.imshow(correlation, cmap='RdYlBu_r', aspect='auto', vmin=-1, vmax=1)
ax5.set_xticks(range(5))
ax5.set_yticks(range(5))
ax5.set_xticklabels(['产品A', '产品B', '产品C', '产品D', '产品E'])
ax5.set_yticklabels(['产品A', '产品B', '产品C', '产品D', '产品E'])
ax5.set_title('产品相关性矩阵', fontsize=14, fontweight='bold')
plt.colorbar(im, ax=ax5)

# 6. 分布直方图
ax6 = fig.add_subplot(gs[2, 0])
ax6.hist(sales, bins=30, color='teal', edgecolor='white', alpha=0.7)
ax6.axvline(sales.mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {sales.mean():.0f}')
ax6.axvline(np.median(sales), color='orange', linestyle='--', linewidth=2, label=f'中位数: {np.median(sales):.0f}')
ax6.set_xlabel('销售额（万元）')
ax6.set_ylabel('频数')
ax6.set_title('销售额分布', fontsize=14, fontweight='bold')
ax6.legend()

# 7. 散点图（探索关系）
ax7 = fig.add_subplot(gs[2, 1])
# 假设有营销投入数据
marketing_spend = np.random.exponential(scale=100, size=100)
customer_count = marketing_spend * 2 + np.random.normal(0, 30, 100)
ax7.scatter(marketing_spend, customer_count, alpha=0.6, c='coral', s=50)
# 添加回归线
z = np.polyfit(marketing_spend, customer_count, 1)
p = np.poly1d(z)
x_line = np.linspace(marketing_spend.min(), marketing_spend.max(), 100)
ax7.plot(x_line, p(x_line), 'r-', linewidth=2)
ax7.set_xlabel('营销投入（万元）')
ax7.set_ylabel('新增客户数')
ax7.set_title('营销投入与客户增长关系', fontsize=14, fontweight='bold')

# 8. KPI 指标卡
ax8 = fig.add_subplot(gs[2, 2])
ax8.axis('off')
# 创建简单的指标卡
metrics = [
    ('年度总销售额', f'{sales.sum():,.0f}万元', '↑ 15%'),
    ('平均日销售额', f'{sales.mean():,.0f}万元', '↑ 8%'),
    ('最高单日销售', f'{sales.max():,.0f}万元', '12月25日'),
    ('客户转化率', '23.5%', '↑ 2.3%')
]
for i, (title, value, change) in enumerate(metrics):
    y_pos = 0.85 - i * 0.22
    ax8.text(0.1, y_pos, title, fontsize=12, color='gray')
    ax8.text(0.1, y_pos - 0.08, value, fontsize=16, fontweight='bold', color='#2c3e50')
    ax8.text(0.7, y_pos - 0.04, change, fontsize=11, 
             color='green' if '↑' in change else 'red')
ax8.set_title('关键指标概览', fontsize=14, fontweight='bold')

# 总标题
fig.suptitle('销售数据分析仪表盘', fontsize=18, fontweight='bold', y=0.98)

plt.savefig('sales_dashboard.png', dpi=300, bbox_inches='tight', facecolor='white')
plt.show()

这个综合案例展示了一个完整的销售数据分析仪表盘，涵盖了时间序列图、柱状图、饼图、箱线图、热力图、直方图、散点图等多种图表类型，并展示了如何将它们组合成一个协调的整体。

第四章：Seaborn——统计可视化的优雅选择

4.1 Seaborn 的定位与特色

Seaborn 是基于 Matplotlib 构建的高级统计数据可视化库。它由 Michael Waskom 开发和维护，以更简洁的 API 和更美观的默认样式著称。Seaborn 的设计理念是让统计可视化变得简单，同时保持足够的定制能力。

Seaborn 相比 Matplotlib 的核心优势包括：

更简洁的 API：Seaborn 封装了许多常见的统计图表类型，用户只需要几行代码就能创建复杂的可视化。例如，带回归线的散点图在 Matplotlib 中需要单独计算回归、绑定散点、绑定回归线，而在 Seaborn 中只需调用 regplot() 函数。

与 Pandas 的深度集成：Seaborn 直接接受 Pandas DataFrame 作为输入，并能自动识别列名作为标签，大大简化了数据可视化的流程。

内置统计功能：Seaborn 能够自动计算和展示统计信息，如置信区间、核密度估计、聚合统计等。这使得统计分析结果的展示变得异常简单。

美观的默认样式：Seaborn 的默认配色和样式经过精心设计，即使不做任何定制，也能生成专业美观的图表。这降低了数据可视化的门槛，让分析师能专注于数据本身而非图形细节。

丰富的调色板：Seaborn 提供了大量精心设计的调色板，包括顺序调色板、发散调色板、分类调色板等，能够适应不同的数据类型和可视化需求。

4.2 Seaborn 的图表分类体系

Seaborn 将图表分为几个主要类别：

关系图用于展示变量之间的关系，包括散点图、折线图及其变体。核心函数包括 relplot()、scatterplot()、lineplot() 等。

分布图用于展示数据的分布特征，包括直方图、核密度估计图、经验分布函数图等。核心函数包括 displot()、histplot()、kdeplot()、ecdfplot() 等。

分类图用于展示分类数据，包括箱线图、小提琴图、条形图、点图等。核心函数包括 catplot()、boxplot()、violinplot()、barplot()、pointplot() 等。

回归图用于展示和拟合回归关系，包括简单线性回归、多项式回归、逻辑回归等。核心函数包括 lmplot()、regplot()、residplot() 等。

矩阵图用于展示矩阵数据，主要是热力图和聚类图。核心函数包括 heatmap()、clustermap() 等。

多图联合用于同时展示单变量分布和双变量关系，核心函数是 jointplot() 和 pairplot()。

4.3 Seaborn 基础绑定详解

让我们通过系统的示例学习 Seaborn 的核心功能：

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

# 设置主题
sns.set_theme(style="whitegrid", palette="deep")

# 加载示例数据集
tips = sns.load_dataset("tips")
iris = sns.load_dataset("iris")
penguins = sns.load_dataset("penguins")

4.4 关系图详解

关系图是探索变量间关系最直观的工具：

# 基础散点图
plt.figure(figsize=(10, 6))
sns.scatterplot(data=tips, x="total_bill", y="tip", hue="time", style="sex", size="size")
plt.title("餐厅消费与小费关系")
plt.show()

# 带回归线的散点图
plt.figure(figsize=(10, 6))
sns.regplot(data=tips, x="total_bill", y="tip", 
            scatter_kws={"alpha": 0.6, "color": "steelblue"},
            line_kws={"color": "red", "linewidth": 2})
plt.title("消费金额与小费的线性关系")
plt.show()

# 更强大的 lmplot（支持分面）
sns.lmplot(data=tips, x="total_bill", y="tip", col="time", row="sex",
           height=4, aspect=1.2, scatter_kws={"alpha": 0.6})
plt.suptitle("不同时段和性别的小费行为差异", y=1.02)
plt.show()

# 时间序列折线图
plt.figure(figsize=(12, 6))
# 生成时间序列数据
dates = pd.date_range("2024-01-01", periods=365)
stock_prices = 100 + np.cumsum(np.random.randn(365) * 2)
df_stock = pd.DataFrame({"Date": dates, "Price": stock_prices,
                          "Volume": np.random.randint(1000000, 5000000, 365)})
sns.lineplot(data=df_stock, x="Date", y="Price", linewidth=1.5)
plt.title("股票价格走势")
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

# 多变量折线图
sns.relplot(data=tips, x="size", y="total_bill", kind="line", 
            hue="sex", style="time", markers=True, dashes=False,
            height=5, aspect=1.5)
plt.title("不同聚餐规模下的消费金额")
plt.show()

4.5 分布图详解

分布图帮助我们理解数据的形态和特征：

# 直方图
plt.figure(figsize=(10, 6))
sns.histplot(data=tips, x="total_bill", bins=30, kde=True, color="steelblue")
plt.title("消费金额分布")
plt.show()

# 分组直方图
plt.figure(figsize=(10, 6))
sns.histplot(data=tips, x="total_bill", hue="time", bins=25, 
             alpha=0.6, kde=True)
plt.title("不同时段的消费金额分布")
plt.show()

# 核密度估计图
plt.figure(figsize=(10, 6))
sns.kdeplot(data=tips, x="total_bill", hue="sex", fill=True, alpha=0.5, linewidth=2)
plt.title("不同性别的消费金额密度估计")
plt.show()

# 二维联合密度图
plt.figure(figsize=(10, 8))
sns.kdeplot(data=tips, x="total_bill", y="tip", hue="time", 
            fill=True, alpha=0.5, levels=5)
plt.title("消费金额与小费的二维密度估计")
plt.show()

# 经验累积分布函数
plt.figure(figsize=(10, 6))
sns.ecdfplot(data=tips, x="total_bill", hue="time")
plt.title("消费金额的经验累积分布函数")
plt.show()

# 使用 displot 进行灵活可视化
sns.displot(data=tips, x="total_bill", col="time", row="sex",
            kind="kde", height=3.5, aspect=1.5, fill=True)
plt.suptitle("多维度分布分析", y=1.02)
plt.show()

4.6 分类图详解

分类图用于展示不同类别之间的差异：

# 箱线图
plt.figure(figsize=(10, 6))
sns.boxplot(data=tips, x="day", y="total_bill", hue="time", palette="Set2")
plt.title("不同星期几的消费金额分布")
plt.legend(title="时段", loc="upper left")
plt.show()

# 小提琴图
plt.figure(figsize=(10, 6))
sns.violinplot(data=tips, x="day", y="total_bill", hue="sex", 
               split=True, inner="quart", palette="muted")
plt.title("消费金额的小提琴图分析")
plt.show()

# 组合箱线图和散点图
plt.figure(figsize=(10, 6))
sns.boxplot(data=tips, x="day", y="total_bill", color="lightgray", width=0.5)
sns.stripplot(data=tips, x="day", y="total_bill", hue="sex", 
              palette="Set2", dodge=True, alpha=0.6, size=4)
plt.title("箱线图与散点图组合展示")
plt.show()

# 条形图（自动计算均值和置信区间）
plt.figure(figsize=(10, 6))
sns.barplot(data=tips, x="day", y="total_bill", hue="time", 
            palette="coolwarm", errorbar=("ci", 95))
plt.title("各星期几的平均消费金额")
plt.show()

# 点图（便于比较）
plt.figure(figsize=(10, 6))
sns.pointplot(data=tips, x="day", y="total_bill", hue="sex", 
              palette="Set1", markers=["o", "s"], linestyles=["-", "--"])
plt.title("不同性别的消费模式差异")
plt.show()

# 计数图
plt.figure(figsize=(10, 6))
sns.countplot(data=tips, x="day", hue="time", palette="husl")
plt.title("各星期几的订单数量")
plt.show()

# 使用 catplot 进行灵活分类图绑定
sns.catplot(data=tips, x="total_bill", y="day", hue="time",
            kind="box", height=5, aspect=1.5, palette="Set3")
plt.title("水平箱线图")
plt.show()

4.7 回归图详解

回归图帮助我们理解变量间的函数关系：

# 线性回归
plt.figure(figsize=(10, 6))
sns.regplot(data=tips, x="total_bill", y="tip", 
            order=1, ci=95, scatter_kws={"alpha": 0.6})
plt.title("线性回归分析")
plt.show()

# 多项式回归
plt.figure(figsize=(10, 6))
sns.regplot(data=tips, x="total_bill", y="tip", 
            order=2, ci=95, scatter_kws={"alpha": 0.6})
plt.title("二阶多项式回归")
plt.show()

# 局部加权回归
plt.figure(figsize=(10, 6))
sns.regplot(data=tips, x="total_bill", y="tip", 
            lowess=True, scatter_kws={"alpha": 0.6})
plt.title("局部加权回归（LOWESS）")
plt.show()

# 残差图
plt.figure(figsize=(10, 6))
sns.residplot(data=tips, x="total_bill", y="tip", lowess=True,
              scatter_kws={"alpha": 0.6}, line_kws={"color": "red"})
plt.axhline(y=0, color="gray", linestyle="--")
plt.title("回归残差分析")
plt.show()

# 分组回归分析
sns.lmplot(data=tips, x="total_bill", y="tip", col="time", hue="sex",
           height=4, aspect=1.2, scatter_kws={"alpha": 0.6})
plt.suptitle("不同条件下的回归关系", y=1.02)
plt.show()

# 逻辑回归（二元响应变量）
tips["large_tip"] = (tips["tip"] / tips["total_bill"]) > 0.15
plt.figure(figsize=(10, 6))
sns.regplot(data=tips, x="total_bill", y="large_tip", 
            logistic=True, scatter_kws={"alpha": 0.6}, y_jitter=0.03)
plt.title("逻辑回归：预测高额小费")
plt.show()

4.8 矩阵图详解

矩阵图特别适合展示相关系数矩阵和混淆矩阵：

# 相关性热力图
plt.figure(figsize=(10, 8))
# 数值特征相关性
numeric_features = tips.select_dtypes(include=[np.number])
correlation = numeric_features.corr()
sns.heatmap(correlation, annot=True, cmap="RdYlBu_r", center=0,
            square=True, linewidths=0.5, fmt=".2f",
            annot_kws={"size": 10, "weight": "bold"})
plt.title("特征相关性矩阵")
plt.show()

# 带聚类的热力图
plt.figure(figsize=(12, 10))
sns.clustermap(correlation, cmap="coolwarm", center=0,
               linewidths=0.5, figsize=(10, 8),
               dendrogram_ratio=(0.2, 0.2))
plt.suptitle("层次聚类热力图", y=1.02)
plt.show()

# 数据矩阵可视化
plt.figure(figsize=(10, 8))
# 选择部分数据展示
sample_data = tips[[1]].head(20)
sns.heatmap(sample_data, annot=True, cmap="YlOrRd", 
            fmt=".1f", linewidths=0.5)
plt.title("数据矩阵可视化")
plt.show()

4.9 多图联合分析

多图联合是数据探索的利器：

# Jointplot：单变量分布 + 双变量关系
g = sns.jointplot(data=tips, x="total_bill", y="tip", 
                   kind="reg", height=8, ratio=4,
                   marginal_kws={"bins": 25, "fill": True},
                   joint_kws={"scatter_kws": {"alpha": 0.6}})
g.figure.suptitle("消费金额与小费的联合分布", y=1.02)
plt.show()

# 带核密度估计的联合图
g = sns.jointplot(data=tips, x="total_bill", y="tip", hue="time",
                   kind="kde", height=8, fill=True, alpha=0.5)
g.figure.suptitle("不同时段的联合密度", y=1.02)
plt.show()

# Pairplot：多变量关系矩阵
g = sns.pairplot(iris, hue="species", height=2.5, aspect=1,
                  diag_kind="kde", markers=["o", "s", "D"],
                  plot_kws={"alpha": 0.6, "s": 30})
g.figure.suptitle("鸢尾花数据集多变量关系分析", y=1.02)
plt.show()

# 自定义 Pairplot
g = sns.PairGrid(penguins, hue="species", height=2.5)
g.map_upper(sns.scatterplot, alpha=0.6, s=30)
g.map_lower(sns.kdeplot, fill=True, alpha=0.5)
g.map_diag(sns.histplot, kde=True, alpha=0.6)
g.add_legend()
g.figure.suptitle("企鹅数据集自定义多变量分析", y=1.02)
plt.show()

4.10 Seaborn 高级定制

主题与样式管理：

# 查看可用主题
# white, dark, whitegrid, darkgrid, ticks
sns.set_theme(style="whitegrid", palette="deep", font="sans-serif", 
              font_scale=1.2, rc={"figure.figsize": (10, 6)})

# 自定义样式
custom_style = {
    "axes.facecolor": "#f5f5f5",
    "axes.edgecolor": "#333333",
    "axes.grid": True,
    "grid.color": "#ffffff",
    "grid.linewidth": 1,
    "font.family": "sans-serif",
    "axes.labelcolor": "#333333",
    "xtick.color": "#333333",
    "ytick.color": "#333333",
}
sns.set_theme(style="whitegrid", rc=custom_style)

调色板管理：

# 查看调色板
sns.color_palette("deep")
sns.color_palette("muted")
sns.color_palette("pastel")
sns.color_palette("bright")
sns.color_palette("dark")
sns.color_palette("colorblind")

# 顺序调色板
sns.color_palette("Blues", as_cmap=True)
sns.color_palette("YlOrRd", as_cmap=True)
sns.color_palette("viridis", as_cmap=True)

# 发散调色板
sns.color_palette("RdBu", as_cmap=True)
sns.color_palette("coolwarm", as_cmap=True)
sns.color_palette("seismic", as_cmap=True)

# 自定义调色板
custom_palette = ["#1f77b4", "#ff7f0e", "#2ca02c", "#d62728", "#9467bd"]
sns.set_palette(custom_palette)

# 创建渐变调色板
gradient_palette = sns.light_palette("seagreen", as_cmap=True)
gradient_palette = sns.dark_palette("purple", as_cmap=True)
gradient_palette = sns.diverging_palette(250, 10, as_cmap=True)

# 显示调色板
sns.palplot(sns.color_palette("husl", 8))
sns.palplot(sns.color_palette("coolwarm", 8))

颜色映射：

# 使用颜色映射
plt.figure(figsize=(10, 6))
sns.scatterplot(data=tips, x="total_bill", y="tip", 
                hue="size", palette="viridis", size="size", sizes=(20, 200))
plt.title("使用颜色和大小映射变量")
plt.colorbar = plt.colorbar(plt.cm.ScalarMappable(cmap="viridis"), 
                            label="聚餐人数")
plt.show()

# 分类颜色映射
plt.figure(figsize=(10, 6))
sns.scatterplot(data=tips, x="total_bill", y="tip", 
                hue="day", palette="Set2", style="time", s=100)
plt.title("分类颜色映射")
plt.show()

第五章：综合实战案例——电商用户数据探索

5.1 项目背景与目标

让我们通过一个综合案例，将前面学习的知识融会贯通。假设我们是一家电商平台的数据分析师，收到了一份用户数据集，需要进行全面的数据探索和可视化分析，为后续的用户价值预测和精准营销提供数据支持。

这个案例将综合运用数据探索方法论、Matplotlib 和 Seaborn 可视化技术，展示完整的数据分析流程。

5.2 数据准备与概览

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
import warnings
warnings.filterwarnings('ignore')

# 设置中文显示和样式
plt.rcParams['font.sans-serif'] = ['SimHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False
sns.set_theme(style="whitegrid", palette="deep", font_scale=1.1)

# 生成模拟电商用户数据
np.random.seed(42)
n_users = 5000

# 用户基本信息
user_ids = [f"U{str(i).zfill(6)}" for i in range(1, n_users + 1)]
genders = np.random.choice(['男', '女'], size=n_users, p=[0.55, 0.45])
ages = np.random.normal(35, 12, n_users).astype(int)
ages = np.clip(ages, 18, 70)  # 限制年龄范围

# 用户等级
levels = np.random.choice(['普通会员', '银卡会员', '金卡会员', '钻石会员'], 
                          size=n_users, p=[0.5, 0.3, 0.15, 0.05])

# 注册时间
register_dates = pd.date_range('2020-01-01', '2024-12-31', freq='D')
register_dates = np.random.choice(register_dates, size=n_users)

# 用户行为数据
recency = np.random.exponential(scale=30, size=n_users).astype(int)  # 最近一次购买距今天数
recency = np.clip(recency, 1, 365)

frequency = np.random.poisson(lam=8, size=n_users)  # 购买次数
frequency = np.clip(frequency, 1, 50)

monetary = np.random.gamma(shape=2, scale=500, size=n_users)  # 消费总金额
monetary = np.clip(monetary, 50, 50000)

# 品类偏好
categories = ['数码电子', '服饰鞋包', '美妆个护', '食品生鲜', '家居用品', '运动户外']
preferred_category = np.random.choice(categories, size=n_users, 
                                       p=[0.25, 0.20, 0.18, 0.15, 0.12, 0.10])

# 创建 DataFrame
df = pd.DataFrame({
    'user_id': user_ids,
    'gender': genders,
    'age': ages,
    'level': levels,
    'register_date': register_dates,
    'recency': recency,
    'frequency': frequency,
    'monetary': monetary,
    'preferred_category': preferred_category
})

# 添加一些缺失值
missing_indices = np.random.choice(n_users, size=int(n_users * 0.02), replace=False)
df.loc[missing_indices, 'age'] = np.nan

missing_indices = np.random.choice(n_users, size=int(n_users * 0.03), replace=False)
df.loc[missing_indices, 'preferred_category'] = np.nan

# 计算衍生特征
df['tenure_days'] = (pd.Timestamp('2025-01-01') - df['register_date']).dt.days
df['avg_order_value'] = df['monetary'] / df['frequency']

print("=" * 60)
print("数据集概览")
print("=" * 60)
print(f"\n数据集形状: {df.shape}")
print(f"用户数量: {len(df)}")
print(f"特征数量: {len(df.columns)}")
print("\n特征列表:")
for i, col in enumerate(df.columns, 1):
    print(f"  {i}. {col}: {df[col].dtype}")

print("\n" + "=" * 60)
print("前10行数据")
print("=" * 60)
print(df.head(10).to_string())

print("\n" + "=" * 60)
print("数据类型统计")
print("=" * 60)
print(df.dtypes.value_counts())

print("\n" + "=" * 60)
print("描述性统计 - 数值特征")
print("=" * 60)
print(df.describe().round(2))

print("\n" + "=" * 60)
print("描述性统计 - 分类特征")
print("=" * 60)
print(df.describe(include=['object', 'category']))

5.3 数据质量分析

# 缺失值分析
print("=" * 60)
print("缺失值分析")
print("=" * 60)

missing_stats = pd.DataFrame({
    '缺失数量': df.isnull().sum(),
    '缺失比例(%)': (df.isnull().sum() / len(df) * 100).round(2)
})
missing_stats = missing_stats[missing_stats['缺失数量'] > 0].sort_values('缺失比例(%)', ascending=False)
print(missing_stats)

# 缺失值可视化
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 缺失值热力图
ax1 = axes
sns.heatmap(df.isnull(), cbar=True, yticklabels=False, ax=ax1, cmap='YlOrRd')
ax1.set_title('缺失值分布热力图', fontsize=12, fontweight='bold')
ax1.set_xlabel('特征')
ax1.set_ylabel('样本')

# 缺失值柱状图
ax2 = axes
missing_counts = df.isnull().sum()
missing_counts = missing_counts[missing_counts > 0]
if len(missing_counts) > 0:
    bars = ax2.bar(range(len(missing_counts)), missing_counts.values, color='coral', edgecolor='black')
    ax2.set_xticks(range(len(missing_counts)))
    ax2.set_xticklabels(missing_counts.index, rotation=45, ha='right')
    ax2.set_ylabel('缺失值数量')
    ax2.set_title('各特征缺失值数量', fontsize=12, fontweight='bold')
    # 添加数值标注
    for bar in bars:
        height = bar.get_height()
        ax2.annotate(f'{int(height)}',
                    xy=(bar.get_x() + bar.get_width() / 2, height),
                    xytext=(0, 3), textcoords="offset points",
                    ha='center', va='bottom', fontsize=10)
else:
    ax2.text(0.5, 0.5, '无缺失值', ha='center', va='center', fontsize=14)
    ax2.set_title('各特征缺失值数量', fontsize=12, fontweight='bold')

plt.tight_layout()
plt.savefig('missing_value_analysis.png', dpi=300, bbox_inches='tight')
plt.show()

# 异常值分析
print("\n" + "=" * 60)
print("异常值分析")
print("=" * 60)

numerical_cols = ['age', 'recency', 'frequency', 'monetary', 'avg_order_value']

fig, axes = plt.subplots(2, 3, figsize=(15, 10))
axes = axes.flatten()

for i, col in enumerate(numerical_cols):
    ax = axes[i]
    data = df[col].dropna()
    
    # 箱线图
    bp = ax.boxplot(data, patch_artist=True, vert=True)
    bp['boxes'].set_facecolor('lightblue')
    
    # 计算 IQR 异常值
    Q1 = data.quantile(0.25)
    Q3 = data.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR

    outliers = data[(data < lower_bound) | (data > upper_bound)]

    
    ax.set_title(f'{col}\n(异常值: {len(outliers)}个, {len(outliers)/len(data)*100:.1f}%)', 
                fontsize=11, fontweight='bold')
    ax.set_ylabel('数值')

# 删除多余的子图
axes[-1].axis('off')

plt.suptitle('数值特征异常值分析', fontsize=14, fontweight='bold', y=1.02)
plt.tight_layout()
plt.savefig('outlier_analysis.png', dpi=300, bbox_inches='tight')
plt.show()

5.4 单变量分析

# 数值变量分布分析
print("=" * 60)
print("数值变量分布分析")
print("=" * 60)

fig, axes = plt.subplots(3, 2, figsize=(14, 15))

# 年龄分布
ax = axes[0, 0]
sns.histplot(data=df, x='age', bins=30, kde=True, color='steelblue', ax=ax)
ax.axvline(df['age'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["age"].mean():.1f}')
ax.axvline(df['age'].median(), color='orange', linestyle='--', linewidth=2, label=f'中位数: {df["age"].median():.1f}')
ax.set_title('用户年龄分布', fontsize=12, fontweight='bold')
ax.set_xlabel('年龄')
ax.legend()

# 最近购买时间分布
ax = axes[0, 1]
sns.histplot(data=df, x='recency', bins=30, kde=True, color='coral', ax=ax)
ax.axvline(df['recency'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["recency"].mean():.1f}')
ax.set_title('最近购买时间分布（天数）', fontsize=12, fontweight='bold')
ax.set_xlabel('距今天数')
ax.legend()

# 购买频次分布
ax = axes[1, 0]
sns.histplot(data=df, x='frequency', bins=25, kde=True, color='seagreen', ax=ax)
ax.axvline(df['frequency'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["frequency"].mean():.1f}')
ax.set_title('购买频次分布', fontsize=12, fontweight='bold')
ax.set_xlabel('购买次数')
ax.legend()

# 消费金额分布
ax = axes[1, 1]
sns.histplot(data=df, x='monetary', bins=30, kde=True, color='purple', ax=ax)
ax.axvline(df['monetary'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["monetary"].mean():.0f}')
ax.axvline(df['monetary'].median(), color='orange', linestyle='--', linewidth=2, label=f'中位数: {df["monetary"].median():.0f}')
ax.set_title('消费总金额分布', fontsize=12, fontweight='bold')
ax.set_xlabel('消费金额（元）')
ax.legend()

# 平均客单价分布
ax = axes[2, 0]
sns.histplot(data=df, x='avg_order_value', bins=30, kde=True, color='teal', ax=ax)
ax.axvline(df['avg_order_value'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["avg_order_value"].mean():.0f}')
ax.set_title('平均客单价分布', fontsize=12, fontweight='bold')
ax.set_xlabel('平均客单价（元）')
ax.legend()

# 会籍时长分布
ax = axes[2, 1]
sns.histplot(data=df, x='tenure_days', bins=30, kde=True, color='gold', ax=ax)
ax.axvline(df['tenure_days'].mean(), color='red', linestyle='--', linewidth=2, label=f'均值: {df["tenure_days"].mean():.0f}')
ax.set_title('会员时长分布', fontsize=12, fontweight='bold')
ax.set_xlabel('会员时长（天）')
ax.legend()

plt.suptitle('用户数值特征分布分析', fontsize=14, fontweight='bold', y=1.01)
plt.tight_layout()
plt.savefig('numerical_distribution.png', dpi=300, bbox_inches='tight')
plt.show()

# 分类变量分布分析
fig, axes = plt.subplots(2, 2, figsize=(14, 12))

# 性别分布
ax = axes[0, 0]
gender_counts = df['gender'].value_counts()
colors = ['#FF6B6B', '#4ECDC4']
wedges, texts, autotexts = ax.pie(gender_counts.values, labels=gender_counts.index, 
                                   autopct='%1.1f%%', colors=colors, startangle=90,
                                   explode=[0.02, 0.02], shadow=True)
ax.set_title('用户性别分布', fontsize=12, fontweight='bold')

# 会员等级分布
ax = axes[0, 1]
level_order = ['普通会员', '银卡会员', '金卡会员', '钻石会员']
level_counts = df['level'].value_counts().reindex(level_order)
bars = ax.bar(range(len(level_counts)), level_counts.values, 
              color=['#95a5a6', '#bdc3c7', '#f39c12', '#9b59b6'], edgecolor='black')
ax.set_xticks(range(len(level_counts)))
ax.set_xticklabels(level_counts.index, rotation=15)
ax.set_ylabel('用户数量')
ax.set_title('会员等级分布', fontsize=12, fontweight='bold')
for bar in bars:
    height = bar.get_height()
    ax.annotate(f'{int(height)}\n({height/len(df)*100:.1f}%)',
                xy=(bar.get_x() + bar.get_width() / 2, height),
                xytext=(0, 3), textcoords="offset points",
                ha='center', va='bottom', fontsize=10)

# 品类偏好分布
ax = axes[1, 0]
category_counts = df['preferred_category'].dropna().value_counts()
colors = plt.cm.Set3(np.linspace(0, 1, len(category_counts)))
bars = ax.barh(range(len(category_counts)), category_counts.values, color=colors, edgecolor='black')
ax.set_yticks(range(len(category_counts)))
ax.set_yticklabels(category_counts.index)
ax.set_xlabel('用户数量')
ax.set_title('品类偏好分布', fontsize=12, fontweight='bold')
for bar in bars:
    width = bar.get_width()
    ax.annotate(f'{int(width)}',
                xy=(width, bar.get_y() + bar.get_height() / 2),
                xytext=(5, 0), textcoords="offset points",
                ha='left', va='center', fontsize=10)

# 年龄分组分布
ax = axes[1, 1]
df['age_group'] = pd.cut(df['age'], bins=[17, 25, 35, 45, 55, 70], 
                         labels=['18-25', '26-35', '36-45', '46-55', '56+'])
age_group_counts = df['age_group'].value_counts().sort_index()
colors = plt.cm.viridis(np.linspace(0.2, 0.8, len(age_group_counts)))
bars = ax.bar(age_group_counts.index, age_group_counts.values, color=colors, edgecolor='black')
ax.set_xlabel('年龄组')
ax.set_ylabel('用户数量')
ax.set_title('年龄分组分布', fontsize=12, fontweight='bold')
for bar in bars:
    height = bar.get_height()
    ax.annotate(f'{int(height)}',
                xy=(bar.get_x() + bar.get_width() / 2, height),
                xytext=(0, 3), textcoords="offset points",
                ha='center', va='bottom', fontsize=10)

plt.suptitle('用户分类特征分布分析', fontsize=14, fontweight='bold', y=1.01)
plt.tight_layout()
plt.savefig('categorical_distribution.png', dpi=300, bbox_inches='tight')
plt.show()

5.5 多变量关系分析

# 相关性分析
print("=" * 60)
print("特征相关性分析")
print("=" * 60)

numerical_df = df[['age', 'recency', 'frequency', 'monetary', 'avg_order_value', 'tenure_days']]
correlation_matrix = numerical_df.corr()

print("\n相关系数矩阵:")
print(correlation_matrix.round(3))

fig, ax = plt.subplots(figsize=(10, 8))
mask = np.triu(np.ones_like(correlation_matrix, dtype=bool))
sns.heatmap(correlation_matrix, mask=mask, annot=True, cmap='RdYlBu_r', center=0,
            square=True, linewidths=0.5, fmt='.2f', annot_kws={'size': 11, 'weight': 'bold'},
            cbar_kws={'label': '相关系数'}, ax=ax)
ax.set_title('特征相关性热力图', fontsize=14, fontweight='bold')
plt.tight_layout()
plt.savefig('correlation_heatmap.png', dpi=300, bbox_inches='tight')
plt.show()

# 散点图矩阵
g = sns.pairplot(df[['age', 'recency', 'frequency', 'monetary', 'avg_order_value']], 
                 hue='level', hue_order=['普通会员', '银卡会员', '金卡会员', '钻石会员'],
                 height=2.2, aspect=1, diag_kind='kde',
                 plot_kws={'alpha': 0.5, 's': 30},
                 diag_kws={'alpha': 0.5, 'fill': True})
g.figure.suptitle('用户特征散点图矩阵（按会员等级着色）', fontsize=14, fontweight='bold', y=1.01)
plt.tight_layout()
plt.savefig('pairplot_by_level.png', dpi=300, bbox_inches='tight')
plt.show()

# RFM 特征关系分析
fig, axes = plt.subplots(1, 3, figsize=(18, 5))

# Recency vs Frequency
ax = axes[0]
sns.scatterplot(data=df, x='recency', y='frequency', hue='level', 
                hue_order=['普通会员', '银卡会员', '金卡会员', '钻石会员'],
                alpha=0.6, s=50, ax=ax)
ax.set_title('最近购买时间 vs 购买频次', fontsize=12, fontweight='bold')
ax.legend(title='会员等级', loc='upper right')

# Frequency vs Monetary
ax = axes[1]
sns.scatterplot(data=df, x='frequency', y='monetary', hue='level',
                hue_order=['普通会员', '银卡会员', '金卡会员', '钻石会员'],
                alpha=0.6, s=50, ax=ax)
ax.set_title('购买频次 vs 消费金额', fontsize=12, fontweight='bold')
ax.legend(title='会员等级', loc='upper left')

# Recency vs Monetary
ax = axes[2]
sns.scatterplot(data=df, x='recency', y='monetary', hue='level',
                hue_order=['普通会员', '银卡会员', '金卡会员', '钻石会员'],
                alpha=0.6, s=50, ax=ax)
ax.set_title('最近购买时间 vs 消费金额', fontsize=12, fontweight='bold')
ax.legend(title='会员等级', loc='upper right')

plt.suptitle('RFM 特征关系分析', fontsize=14, fontweight='bold', y=1.02)
plt.tight_layout()
plt.savefig('rfm_relationships.png', dpi=300, bbox_inches='tight')
plt.show()

# 不同会员等级的特征对比
fig, axes = plt.subplots(2, 2, figsize=(14, 12))

level_order = ['普通会员', '银卡会员', '金卡会员', '钻石会员']

# 消费金额对比
ax = axes[0, 0]
sns.boxplot(data=df, x='level', y='monetary', order=level_order, 
            palette='Set2', ax=ax)
ax.set_title('各会员等级消费金额分布', fontsize=12, fontweight='bold')
ax.set_xlabel('会员等级')
ax.set_ylabel('消费金额（元）')

# 购买频次对比
ax = axes[0, 1]
sns.violinplot(data=df, x='level', y='frequency', order=level_order, 
               palette='Set3', inner='quartile', ax=ax)
ax.set_title('各会员等级购买频次分布', fontsize=12, fontweight='bold')
ax.set_xlabel('会员等级')
ax.set_ylabel('购买次数')

# 平均客单价对比
ax = axes[1, 0]
sns.barplot(data=df, x='level', y='avg_order_value', order=level_order, 
            palette='coolwarm', errorbar=('ci', 95), ax=ax)
ax.set_title('各会员等级平均客单价（带95%置信区间）', fontsize=12, fontweight='bold')
ax.set_xlabel('会员等级')
ax.set_ylabel('平均客单价（元）')

# 最近购买时间对比
ax = axes[1, 1]
sns.boxplot(data=df, x='level', y='recency', order=level_order, 
            palette='muted', ax=ax)
ax.set_title('各会员等级最近购买时间分布', fontsize=12, fontweight='bold')
ax.set_xlabel('会员等级')
ax.set_ylabel('距今天数')

plt.suptitle('不同会员等级用户特征对比', fontsize=14, fontweight='bold', y=1.01)
plt.tight_layout()
plt.savefig('level_comparison.png', dpi=300, bbox_inches='tight')
plt.show()

5.6 综合数据探索报告

# 生成综合数据探索报告
print("=" * 80)
print("电商用户数据探索报告")
print("=" * 80)

print("\n【1. 数据概览】")
print(f"  • 总用户数: {len(df):,}")
print(f"  • 特征数量: {len(df.columns)}")
print(f"  • 数值特征: {len(df.select_dtypes(include=[np.number]).columns)}")
print(f"  • 分类特征: {len(df.select_dtypes(include=['object', 'category']).columns)}")

print("\n【2. 数据质量】")
print(f"  • 缺失值比例: {df.isnull().sum().sum() / (len(df) * len(df.columns)) * 100:.2f}%")
print(f"  • 主要缺失字段: {missing_stats.index.tolist() if len(missing_stats) > 0 else '无'}")

print("\n【3. 用户画像】")
print(f"  • 性别比例: 男 {df[df['gender']=='男'].shape[0]/len(df)*100:.1f}%, 女 {df[df['gender']=='女'].shape[0]/len(df)*100:.1f}%")
print(f"  • 平均年龄: {df['age'].mean():.1f} 岁")
print(f"  • 主力年龄段: 26-45 岁 ({df[(df['age']>=26) & (df['age']<=45)].shape[0]/len(df)*100:.1f}%)")

print("\n【4. 消费行为】")
print(f"  • 人均消费金额: {df['monetary'].mean():.0f} 元")
print(f"  • 人均购买次数: {df['frequency'].mean():.1f} 次")
print(f"  • 平均客单价: {df['avg_order_value'].mean():.0f} 元")
print(f"  • 高价值用户(消费>5000元): {df[df['monetary']>5000].shape[0]/len(df)*100:.1f}%")

print("\n【5. 会员等级分布】")
for level in level_order:
    count = df[df['level'] == level].shape[0]
    pct = count / len(df) * 100
    avg_monetary = df[df['level'] == level]['monetary'].mean()
    print(f"  • {level}: {count} 人 ({pct:.1f}%), 平均消费 {avg_monetary:.0f} 元")

print("\n【6. 品类偏好】")
for cat in category_counts.index:
    count = category_counts[cat]
    pct = count / len(df.dropna(subset=['preferred_category'])) * 100
    print(f"  • {cat}: {count} 人 ({pct:.1f} %)")

print("\n【7. 关键洞察】")
# 计算一些关键指标
high_value_users = df[df['monetary'] > df['monetary'].quantile(0.9)]
print(f"  • 高价值用户（前10%）平均消费: {high_value_users['monetary'].mean():.0f} 元")
print(f"  • 高价值用户平均购买频次: {high_value_users['frequency'].mean():.1f} 次")

# RFM 分析
df['R_score'] = pd.qcut(df['recency'], q=5, labels=[5, 4, 3, 2, 1], duplicates='drop')
df['F_score'] = pd.qcut(df['frequency'], q=5, labels=[1, 2, 3, 4, 5], duplicates='drop')
df['M_score'] = pd.qcut(df['monetary'], q=5, labels=[1, 2, 3, 4, 5], duplicates='drop')
df['RFM_score'] = df['R_score'].astype(int) + df['F_score'].astype(int) + df['M_score'].astype(int)

print(f"  • RFM 评分分布: 最高 {df['RFM_score'].max()} 分, 最低 {df['RFM_score'].min()} 分")
print(f"  • 高 RFM 用户（>=12分）占比: {df[df['RFM_score']>=12].shape[0]/len(df)*100:.1f}%")

# 相关性最强的关系
print(f"  • 购买频次与消费金额相关性: {df['frequency'].corr(df['monetary']):.3f}")
print(f"  • 会籍时长与消费金额相关性: {df['tenure_days'].corr(df['monetary']):.3f}")

print("\n" + "=" * 80)
print("报告生成完成")
print("=" * 80)

5.7 综合可视化仪表盘

# 创建综合可视化仪表盘
fig = plt.figure(figsize=(20, 16))
gs = fig.add_gridspec(4, 4, hspace=0.35, wspace=0.3)

# 1. 关键指标卡片（第一行）
ax_kpi = fig.add_subplot(gs[0, :])
ax_kpi.axis('off')

# 绘制 KPI 卡片
kpi_data = [
    ('总用户数', f'{len(df):,}', '↑ 12%', '#3498db'),
    ('总消费金额', f'{df["monetary"].sum()/10000:.0f}万', '↑ 18%', '#2ecc71'),
    ('平均客单价', f'{df["avg_order_value"].mean():.0f}元', '↑ 5%', '#9b59b6'),
    ('高价值用户', f'{df[df["monetary"]>5000].shape[0]}人', f'{df[df["monetary"]>5000].shape[0]/len(df)*100:.1f}%', '#e74c3c'),
    ('活跃用户(30天)', f'{df[df["recency"]<=30].shape[0]}人', f'{df[df["recency"]<=30].shape[0]/len(df)*100:.1f}%', '#f39c12')
]

for i, (title, value, change, color) in enumerate(kpi_data):
    x_pos = 0.1 + i * 0.18
    # 卡片背景
    ax_kpi.add_patch(plt.Rectangle((x_pos, 0.2), 0.15, 0.6, 
                                    facecolor=color, alpha=0.1, transform=ax_kpi.transAxes))
    # 标题
    ax_kpi.text(x_pos + 0.075, 0.7, title, ha='center', va='center', 
                fontsize=11, color='gray', transform=ax_kpi.transAxes)
    # 数值
    ax_kpi.text(x_pos + 0.075, 0.5, value, ha='center', va='center', 
                fontsize=16, fontweight='bold', color=color, transform=ax_kpi.transAxes)
    # 变化
    ax_kpi.text(x_pos + 0.075, 0.3, change, ha='center', va='center', 
                fontsize=11, 
                color='green' if '↑' in change else 'red', transform=ax_kpi.transAxes)
ax_kpi.set_title('关键业务指标概览', fontsize=14, fontweight='bold', pad=20)

# 2. 消费金额分布
ax1 = fig.add_subplot(gs[1, 0])
sns.histplot(data=df, x='monetary', bins=30, kde=True, color='steelblue', ax=ax1)
ax1.axvline(df['monetary'].mean(), color='red', linestyle='--', linewidth=2, label='均值')
ax1.axvline(df['monetary'].median(), color='orange', linestyle='--', linewidth=2, label='中位数')
ax1.set_title('消费金额分布', fontsize=12, fontweight='bold')
ax1.set_xlabel('消费金额（元）')
ax1.legend(fontsize=8)

# 3. 会员等级分布
ax2 = fig.add_subplot(gs[1, 1])
level_counts = df['level'].value_counts().reindex(level_order)
colors = ['#95a5a6', '#bdc3c7', '#f39c12', '#9b59b6']
ax2.pie(level_counts.values, labels=level_counts.index, autopct='%1.1f%%', 
        colors=colors, startangle=90, explode=[0.02]*4)
ax2.set_title('会员等级分布', fontsize=12, fontweight='bold')

# 4. 品类偏好
ax3 = fig.add_subplot(gs[1, 2:4])
category_counts = df['preferred_category'].value_counts()
colors = plt.cm.Set3(np.linspace(0, 1, len(category_counts)))
bars = ax3.barh(range(len(category_counts)), category_counts.values, color=colors, edgecolor='black')
ax3.set_yticks(range(len(category_counts)))
ax3.set_yticklabels(category_counts.index)
ax3.set_xlabel('用户数量')
ax3.set_title('品类偏好分布', fontsize=12, fontweight='bold')
for bar in bars:
    width = bar.get_width()
    ax3.annotate(f'{int(width)}', xy=(width, bar.get_y() + bar.get_height()/2),
                xytext=(5, 0), textcoords='offset points', ha='left', va='center', fontsize=9)

# 5. 年龄与消费关系
ax4 = fig.add_subplot(gs[2, 0])
sns.scatterplot(data=df, x='age', y='monetary', hue='gender', alpha=0.5, s=30, ax=ax4)
ax4.set_title('年龄与消费金额关系', fontsize=12, fontweight='bold')
ax4.set_xlabel('年龄')
ax4.set_ylabel('消费金额（元）')
ax4.legend(title='性别', fontsize=8)

# 6. RFM 散点图
ax5 = fig.add_subplot(gs[2, 1])
sns.scatterplot(data=df, x='frequency', y='monetary', hue='recency', 
                palette='RdYlGn_r', alpha=0.6, s=30, ax=ax5)
ax5.set_title('购买频次 vs 消费金额', fontsize=12, fontweight='bold')
ax5.set_xlabel('购买次数')
ax5.set_ylabel('消费金额（元）')

# 7. 各等级消费对比
ax6 = fig.add_subplot(gs[2, 2])
sns.boxplot(data=df, x='level', y='monetary', order=level_order, palette='Set2', ax=ax6)
ax6.set_title('各等级消费金额对比', fontsize=12, fontweight='bold')
ax6.set_xlabel('会员等级')
ax6.set_ylabel('消费金额（元）')
ax6.tick_params(axis='x', rotation=15)

# 8. RFM 评分分布
ax7 = fig.add_subplot(gs[2, 3])
sns.histplot(data=df, x='RFM_score', bins=13, kde=True, color='teal', ax=ax7)
ax7.axvline(df['RFM_score'].mean(), color='red', linestyle='--', linewidth=2, label='均值')
ax7.set_title('RFM 综合评分分布', fontsize=12, fontweight='bold')
ax7.set_xlabel('RFM 评分')
ax7.legend(fontsize=8)

# 9. 性别消费对比
ax8 = fig.add_subplot(gs[3, 0])
gender_stats = df.groupby('gender').agg({'monetary': 'mean', 'frequency': 'mean', 'user_id': 'count'}).reset_index()
x = np.arange(2)
width = 0.25
ax8.bar(x - width, gender_stats['monetary']/100, width, label='平均消费(百元)', color='steelblue')
ax8.bar(x, gender_stats['frequency'], width, label='平均购买次数', color='coral')
ax8.bar(x + width, gender_stats['user_id']/100, width, label='用户数量(百人)', color='seagreen')
ax8.set_xticks(x)
ax8.set_xticklabels(gender_stats['gender'])
ax8.set_title('性别维度消费对比', fontsize=12, fontweight='bold')
ax8.legend(fontsize=8)

# 10. 年龄组消费分析
ax9 = fig.add_subplot(gs[3, 1])
age_group_stats = df.groupby('age_group', observed=True).agg({'monetary': 'mean'}).reset_index()
bars = ax9.bar(age_group_stats['age_group'], age_group_stats['monetary'], color='purple', edgecolor='black')
ax9.set_title('各年龄组平均消费', fontsize=12, fontweight='bold')
ax9.set_xlabel('年龄组')
ax9.set_ylabel('平均消费（元）')
for bar in bars:
    height = bar.get_height()
    ax9.annotate(f'{height:.0f}', xy=(bar.get_x() + bar.get_width()/2, height),
                xytext=(0, 3), textcoords='offset points', ha='center', va='bottom', fontsize=9)

# 11. 相关性热力图
ax10 = fig.add_subplot(gs[3, 2])
corr = df[['age', 'recency', 'frequency', 'monetary', 'avg_order_value', 'tenure_days']].corr()
sns.heatmap(corr, annot=True, cmap='RdYlBu_r', center=0, fmt='.2f', 
            annot_kws={'size': 8}, ax=ax10)
ax10.set_title('特征相关性', fontsize=12, fontweight='bold')

# 12. 趋势分析（模拟时间序列）
ax11 = fig.add_subplot(gs[3, 3])
# 创建月度数据
df['register_month'] = df['register_date'].dt.to_period('M')
monthly_users = df.groupby('register_month').size()
monthly_users.index = monthly_users.index.astype(str)
ax11.plot(range(len(monthly_users)), monthly_users.values, 'b-', linewidth=2, marker='o', markersize=4)
ax11.fill_between(range(len(monthly_users)), monthly_users.values, alpha=0.3)
ax11.set_title('月度新用户趋势', fontsize=12, fontweight='bold')
ax11.set_xlabel('月份')
ax11.set_ylabel('新用户数')
ax11.tick_params(axis='x', rotation=45)
ax11.set_xticks(range(0, len(monthly_users), 6))
ax11.set_xticklabels([monthly_users.index[i] for i in range(0, len(monthly_users), 6)], rotation=45, fontsize=8)

# 总标题
fig.suptitle('电商用户数据分析仪表盘', fontsize=18, fontweight='bold', y=0.98)

plt.savefig('ecommerce_dashboard.png', dpi=300, bbox_inches='tight', facecolor='white')
plt.show()

第六章：数据可视化的最佳实践与进阶技巧

6.1 图表选择的决策框架

选择正确的图表类型是数据可视化的第一步，也是最关键的一步。以下是一个系统化的决策框架：

比较类需求：当目标是比较不同类别的数值大小时，首选柱状图或条形图。如果类别较多（超过10个），水平条形图的可读性更好。如果需要同时展示部分与整体的关系，可以考虑堆叠柱状图。

趋势类需求：当目标是展示数据随时间的变化趋势时，折线图是最佳选择。如果需要比较多个序列的趋势，可以使用多系列折线图，但要注意颜色区分度和图例说明。面积图是折线图的变体，适合强调累积效果。

分布类需求：当目标是展示数据的分布特征时，直方图适合展示单个变量的分布，箱线图适合比较多组数据的分布，小提琴图则结合了两者的优点。核密度估计图能更平滑地展示分布形态。

关系类需求：当目标是探索两个变量之间的关系时，散点图是首选。如果需要展示第三个维度，可以使用气泡图（用气泡大小表示）或彩色散点图（用颜色表示）。如果需要拟合关系，可以添加趋势线或使用回归图。

构成类需求：当目标是展示部分与整体的关系时，饼图是最直观的选择，但要限制分类数量在5-6个以内。对于时间序列的部分构成，堆叠面积图更合适。对于比较多个维度的构成，可以使用树状图。

6.2 颜色使用指南

颜色是数据可视化中最具表现力的元素之一，但也最容易被滥用。以下是一些关键原则：

色盲友好性：约有8%的男性和0.5%的女性存在色觉障碍。设计可视化时应避免仅依靠红绿对比来区分信息。推荐使用经过验证的色盲友好调色板，如 viridis、plasma 或 ColorBrewer 的色盲友好方案。

语义一致性：在同一项目中，相同的类别应使用相同的颜色编码。例如，如果用红色表示"下降"，就应始终保持这个语义，避免造成混淆。

文化敏感性：颜色在不同文化中有不同的含义。红色在中国代表喜庆，在西方可能代表危险。在国际化的项目中，需要考虑目标受众的文化背景。

功能性优先：颜色的使用应服务于数据理解，而非装饰目的。每添加一种颜色，都应回答"这个颜色传递了什么信息"的问题。无意义的颜色变化只会增加认知负担。

深浅对比：在表示量级差异时，使用同一色系的深浅变化比使用不同颜色更有效。这是顺序调色板的设计原理。

6.3 标注与注释的艺术

优秀的标注和注释能够极大提升图表的信息传递效率：

标题设计：标题应简洁明了地说明图表内容，采用"主要发现+变量名称"的格式比单纯的变量名称更有信息量。例如，"销售额同比增长20%"比"销售额趋势"更有价值。

轴标签：轴标签应清晰说明变量名称和单位。对于长标签，可以考虑使用缩写并在图例中解释，或者使用倾斜角度。

数据标注：对于关键数据点，直接标注数值比让读者在坐标轴上估测更友好。但应避免过度标注，只在真正重要的点上进行标注。

注释框：对于需要解释的异常值或关键发现，可以使用注释框提供额外信息。注释框应有明确的视觉指向，如箭头或连接线。

图例设计：图例应放在不遮挡数据的位置。对于简单的图表，可以将图例直接整合到图形中（如直接在柱子上标注类别名称）。

6.4 动态与交互式可视化

虽然本课主要聚焦于静态可视化，但了解动态和交互式可视化对于实际应用非常重要：

动画效果：适当的动画能够引导观众注意力，展示变化过程。常见的动画包括：入场动画（元素依次出现）、过渡动画（状态之间的平滑过渡）、强调动画（关键元素的闪烁或放大）。但应避免过度使用动画，以免分散注意力。

交互功能：交互式可视化允许用户自主探索数据。常见的交互功能包括：工具提示（悬停显示详细信息）、缩放平移（探索大数据集）、筛选过滤（关注特定子集）、钻取联动（从概览到细节）。

工具选择：Python 生态中有多种创建交互式可视化的库。Plotly 提供了丰富的交互功能；Bokeh 适合构建仪表盘；Altair 基于声明式语法，代码简洁；Streamlit 可以快速构建数据应用。

6.5 可视化伦理与误导防范

数据可视化具有强大的说服力，这也意味着它可能被用于误导。作为数据分析师，我们需要遵循伦理准则：

坐标轴操纵：截断Y轴或故意改变坐标范围是常见的误导手段。例如，将基线从0改为99，会使1%的变化看起来像100%的变化。解决方案是始终显示完整的Y轴或明确标注截断。

樱桃采摘：选择性展示支持特定观点的数据区间或维度是另一种常见的误导。解决方案是展示完整的时间范围或所有相关维度，对于排除的部分应说明原因。

视觉夸大：使用三维效果、不当的透视或夸张的图形可以误导视觉感知。解决方案是坚持使用二维图表，除非三维确实有助于理解。

相关性因果性混淆：图表可能暗示两个相关变量之间存在因果关系，即使并没有。解决方案是谨慎使用因果性语言，明确说明图表展示的是相关性而非因果性。

第七章：数据探索与可视化的未来趋势

7.1 自动化与智能化

随着人工智能技术的发展，数据探索和可视化正在经历深刻的变革：

自动化探索分析（AutoEDA）：传统的数据探索需要分析师手动检查每个特征，编写大量代码生成图表。AutoEDA 工具（如 Pandas Profiling、Sweetviz、AutoViz）能够自动生成全面的数据探索报告，包括数据概览、缺失值分析、异常值检测、分布可视化和相关性分析。这些工具大幅提高了数据探索的效率，让分析师能够将更多时间用于洞察发现和策略制定。

智能图表推荐：选择合适的图表类型是数据可视化的难点。智能图表推荐系统（如 Tableau 的 Show Me、Power BI 的 Q&A）能够根据数据类型和分析意图，自动推荐最佳的图表类型。这类系统通常基于规则引擎或机器学习模型，能够理解用户的分析意图，降低可视化的门槛。

自然语言交互：自然语言界面正在改变我们与数据交互的方式。用户可以用自然语言提问（如"展示去年各地区的销售趋势"），系统自动解析问题并生成相应的可视化。这种"对话式分析"模式使数据分析更加民主化，让非技术背景的用户也能轻松探索数据。

7.2 Augmented Analytics（增强分析）

增强分析是 Gartner 提出的概念，指的是利用机器学习和自然语言处理技术，增强数据分析和可视化能力：

自动洞察发现：增强分析系统能够自动识别数据中的异常、趋势和关联，并以自然语言解释发现的意义。例如，系统可能自动发现"华东地区Q3销售额同比下降15%，主要原因是新客户获取率下降"，并生成相应的可视化。

智能异常解释：当检测到异常数据时，系统能够自动分析可能的原因，提供解释性洞察。例如，销售额突然下降时，系统能够关联分析各维度，找出可能的影响因素。

预测性可视化：将预测模型的结果以可视化方式呈现，帮助用户理解未来趋势。例如，使用置信区间展示预测的不确定性，或使用情景分析展示不同假设下的预测结果。

7.3 大规模与实时可视化

数据量的爆炸式增长对可视化技术提出了新的挑战：

大规模数据可视化：传统可视化方法在处理百万级以上数据点时会遇到性能瓶颈。解决方案包括：数据采样（选取代表性样本）、数据聚合（先聚合再可视化）、渐进式渲染（先渲染概览，再加载细节）和 GPU 加速渲染。

流式数据可视化：实时数据流（如物联网数据、金融数据）的可视化需要支持增量更新和滑动窗口。技术上，需要高效的渲染引擎和智能的数据更新策略（避免过于频繁的重绘）。

分布式可视化：超大规模数据集可能分布在多个节点上，需要分布式计算和可视化架构。前端负责交互和渲染，后端负责分布式计算和数据预处理。

7.4 嵌入式分析与协作

数据可视化正在从独立的报告走向嵌入式、协作化的形态：

嵌入式分析：将可视化嵌入到业务系统和工作流中，让数据分析成为日常工作的一部分。例如，在CRM系统中嵌入销售漏斗可视化，在库存管理系统中嵌入库存预警可视化。

协作式可视化：支持多人协作的可视化平台正在兴起。用户可以共享可视化作品、添加注释、进行讨论，甚至共同编辑。这种协作模式加速了数据驱动决策的过程。

数据故事化：将数据可视化融入叙事框架，用数据讲述业务故事。这不是简单的图表堆砌，而是有逻辑、有情感、有行动召唤的故事线。优秀的数据故事能够将数据洞察转化为行动动力。

第八章：总结与展望

8.1 本课核心要点回顾

本课我们系统地学习了数据探索和数据可视化的方法论与技术实现。核心要点包括：

数据探索是机器学习项目成功的基石。在建模之前，必须深入了解数据的结构、质量和特征。系统化的探索流程包括数据概览、缺失值分析、异常值检测、分布分析和关系分析。掌握 Pandas 的基础操作是数据探索的起点，但更重要的是培养数据敏感度和批判性思维。

Matplotlib 是 Python 可视化的基石。它的分层架构提供了从快速绑定到深度定制的灵活性。核心概念包括 Figure（图形窗口）、Axes（坐标轴对象）和 Artist（图形元素）。掌握 Matplotlib 的关键在于理解其对象模型，学会从面向过程（pyplot）到面向对象（Figure 和 Axes）的思维转变。

Seaborn 是统计可视化的优雅选择。它基于 Matplotlib 构建，提供了更简洁的 API 和更美观的默认样式。Seaborn 的核心优势在于与 Pandas 的深度集成、内置的统计功能以及丰富的图表类型。分类图、分布图、回归图和矩阵图构成了 Seaborn 的四大支柱。

优秀的数据可视化是科学与艺术的结合。它需要遵循认知科学原理，选择正确的图表类型；遵循设计原则，确保清晰、简洁、准确、美观；遵循伦理准则，避免误导读者。颜色、标注、布局等细节决定了可视化的最终质量。

8.2 与前后课程的联系

本课在整个课程体系中承上启下：

承接第一课：在第一课中，我们搭建了机器学习的开发环境，了解了 AI 的定义和历史，学习了机器学习的三大范式。本课在此基础上，学习了如何处理和理解实际数据。没有数据探索和可视化，我们就是"盲人摸象"，无法把握数据的本质。

启引第三课：在第三课中，我们将学习回归算法与生命周期价值预测。本课中的数据探索流程和可视化技能将直接应用于回归分析的数据准备阶段。理解特征分布、识别异常值、探索特征关系，都是建立优秀回归模型的前提。我们在综合案例中已经初步接触了 RFM 分析和用户价值评估的概念，这正是第三课的核心内容。

贯穿后续课程：数据探索和可视化不仅是独立的技能，更是贯穿整个机器学习工作流程的通用能力。在第四课的分类问题中，我们需要探索类别平衡、特征重要性；在第五课的聚类问题中，我们需要可视化聚类结果；在第六课的降维问题中，我们需要可视化高维数据的低维投影；在第七课和第八课的深度学习和大模型应用中，我们同样需要监控训练过程、评估模型性能。

8.3 实践建议

学习数据探索和可视化，最好的方法就是实践：

找真实数据练习：Kaggle、UCI 机器学习库、政府开放数据平台提供了大量真实数据集。选择你感兴趣的领域，用本课学到的方法进行探索性分析。真实数据的复杂性远超模拟数据，能够帮助你培养处理"脏数据"的能力。

建立个人可视化风格指南：在多次实践中，逐步形成自己的可视化风格，包括颜色方案、字体选择、图表布局等。这不仅能提高效率，还能保证作品的一致性和专业性。

批判性阅读优秀作品：关注财经媒体、数据分析博客、科研论文中的优秀可视化作品，分析它们的成功之处，思考如何应用到自己的项目中。同时，也要关注糟糕的可视化案例，避免犯同样的错误。

持续关注新技术：数据可视化是一个快速发展的领域。保持对新技术、新工具、新方法的关注，如动态可视化、交互式可视化、AI辅助可视化等，能够让你在数据分析领域保持竞争力。

8.4 下一课预告

在下一课中，我们将进入机器学习算法的核心内容——回归算法与生命周期价值预测。我们将学习：

线性回归的原理与实现
多项式回归与正则化方法
决策树回归与随机森林
梯度提升树回归算法
回归模型评估指标与调优
电商用户生命周期价值预测实战

这些内容将帮助我们从数据探索阶段过渡到建模预测阶段，真正发挥数据的价值。记得复习本课关于特征关系分析的内容，因为理解特征之间的关系是建立回归模型的基础。

让我们继续这段精彩的 AI 学习之旅！

本文转载自CSDN软件开发网，作者：CSDN软件开发网，原文标题：《《AI应用实战课》第二课:数据探索与数据可视化——从数据海洋中提炼黄金》，原文链接： https://blog.csdn.net/weixin_42376192/article/details/159796999。本平台仅做分享和推荐，不涉及任何商业用途。文章版权归原作者所有。如涉及作品内容、版权和其它问题，请与我们联系，我们将在第一时间删除内容！

本文相关推荐

暂无相关推荐