クラスタリング分析の完全ガイド — K-meansとHDBSCANでデータの自然なグループを発見する

import numpy as np
import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# サンプルデータの作成（3つのクラスター）
X, y_true = make_blobs(n_samples=500, centers=3, cluster_std=1.0, random_state=42)

# 標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# K-means の実行
kmeans = KMeans(n_clusters=3, random_state=42, n_init=10)
labels = kmeans.fit_predict(X_scaled)

# 結果の可視化
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 真のラベル
axes[0].scatter(X_scaled[:, 0], X_scaled[:, 1], c=y_true, cmap="tab10", s=20, alpha=0.7)
axes[0].set_title("真のクラスター")

# K-means の結果
axes[1].scatter(X_scaled[:, 0], X_scaled[:, 1], c=labels, cmap="tab10", s=20, alpha=0.7)
centers = kmeans.cluster_centers_
axes[1].scatter(centers[:, 0], centers[:, 1], c="red", marker="X", s=200, edgecolors="black")
axes[1].set_title("K-means の結果（K=3）")

plt.tight_layout()
plt.show()

import numpy as np
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

# エルボー法とシルエットスコアの同時評価
K_range = range(2, 11)
inertias = []
silhouette_scores = []

for k in K_range:
    kmeans = KMeans(n_clusters=k, random_state=42, n_init=10)
    labels = kmeans.fit_predict(X_scaled)
    inertias.append(kmeans.inertia_)
    silhouette_scores.append(silhouette_score(X_scaled, labels))

# プロット
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# エルボー法
ax1.plot(K_range, inertias, "bo-")
ax1.set_xlabel("クラスター数 K")
ax1.set_ylabel("イナーシャ（クラスター内距離の合計）")
ax1.set_title("エルボー法")

# シルエットスコア
ax2.plot(K_range, silhouette_scores, "ro-")
ax2.set_xlabel("クラスター数 K")
ax2.set_ylabel("シルエットスコア")
ax2.set_title("シルエット分析")

plt.tight_layout()
plt.show()

best_k = K_range[np.argmax(silhouette_scores)]
print(f"最適な K（シルエットスコア最大）: {best_k}")

import numpy as np
import hdbscan
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import make_moons, make_blobs
import matplotlib.pyplot as plt

# 月形データ（非球状クラスター）+ ノイズ
X_moons, _ = make_moons(n_samples=400, noise=0.08, random_state=42)
noise = np.random.uniform(-1.5, 2.5, (50, 2))  # ノイズ点
X = np.vstack([X_moons, noise])

# HDBSCAN の実行
clusterer = hdbscan.HDBSCAN(min_cluster_size=15, min_samples=5)
labels = clusterer.fit_predict(X)

# 結果の可視化
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# K-means（比較用）
from sklearn.cluster import KMeans
km_labels = KMeans(n_clusters=2, random_state=42).fit_predict(X)
ax1.scatter(X[:, 0], X[:, 1], c=km_labels, cmap="tab10", s=20, alpha=0.7)
ax1.set_title("K-means（K=2）")

# HDBSCAN
colors = labels.copy().astype(float)
colors[labels == -1] = np.nan  # ノイズは灰色
ax2.scatter(X[:, 0], X[:, 1], c=colors, cmap="tab10", s=20, alpha=0.7)
noise_mask = labels == -1
ax2.scatter(X[noise_mask, 0], X[noise_mask, 1], c="gray", s=10, alpha=0.3, label="ノイズ")
ax2.set_title(f"HDBSCAN（{len(set(labels) - {-1})} クラスター + ノイズ {noise_mask.sum()} 点）")
ax2.legend()

plt.tight_layout()
plt.show()

print(f"検出されたクラスター数: {len(set(labels) - {-1})}")
print(f"ノイズとして検出された点: {(labels == -1).sum()}")

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

# サンプル顧客データ
np.random.seed(42)
n = 500
df = pd.DataFrame({
    "年齢": np.concatenate([
        np.random.normal(25, 5, 200),
        np.random.normal(45, 8, 200),
        np.random.normal(60, 6, 100),
    ]),
    "年間購入額": np.concatenate([
        np.random.normal(30000, 10000, 200),
        np.random.normal(80000, 20000, 200),
        np.random.normal(50000, 15000, 100),
    ]),
    "Web訪問回数": np.concatenate([
        np.random.normal(50, 15, 200),
        np.random.normal(20, 8, 200),
        np.random.normal(10, 5, 100),
    ]),
})

# クラスタリング
scaler = StandardScaler()
X_scaled = scaler.fit_transform(df)
kmeans = KMeans(n_clusters=3, random_state=42, n_init=10)
df["クラスター"] = kmeans.fit_predict(X_scaled)

# クラスタープロファイル
profile = df.groupby("クラスター").agg(["mean", "median", "count"])
print("クラスタープロファイル:")
print(profile.round(1))

# 全体平均との差分
overall_mean = df.drop(columns="クラスター").mean()
for cluster_id in sorted(df["クラスター"].unique()):
    cluster_mean = df[df["クラスター"] == cluster_id].drop(columns="クラスター").mean()
    diff = cluster_mean - overall_mean
    print(f"\nクラスター {cluster_id}（全体平均との差分）:")
    for col in diff.index:
        print(f"  {col}: {diff[col]:+.1f}")