main.py

import pandas as pd
import os
import matplotlib.pyplot as plt
from preprocess import (RatingMap, map_rating_to_sentiment, bar_counts_by_rating, filter_last_n_days, 
                       timeseries_by_sentiment, convert_relative_dates, create_monthly_sentiment_table)
from viz import (plot_bar_chart, plot_line_timeseries, save_charts_as_images, 
                 show_data_table, show_summary_stats, plot_sentiment_pie_chart,
                 plot_monthly_heatmap, plot_monthly_sentiment_trend, plot_rating_evolution, 
                 plot_word_cloud, plot_correlation_matrix, create_dashboard, 
                 plot_monthly_sentiment_table, plot_monthly_sentiment_comparison, mMainName)

# Dosya yolu
csv_path = "ParisCharlesdeGaulleAirportData.csv"  # Test için örnek dosya kullanıyoruz

print("="*80)
print(f" 🛫 {mMainName} GELİŞTİRİLMİŞ VERİ ANALİZİ RAPORU 🛫")
print("="*80)

try:
    df = pd.read_csv(csv_path)
    print(f"✅ CSV dosyası başarıyla okundu. Toplam satır: {len(df)}")
    print(f"✅ Sütunlar: {df.columns.tolist()}")
    
    # Ham veriyi göster
    show_data_table(df, "HAM VERİ ÖNİZLEME")
    
except FileNotFoundError:
    print(f"❌ Hata: {csv_path} dosyası bulunamadı!")
    print("Lütfen dosya yolunu kontrol edin.")
    exit()

# Veri kalitesi kontrolü
print("\n" + "="*80)
print("📊 VERİ KALİTE KONTROLÜ")
print("="*80)

print(f"📈 Eksik değerler:")
missing_data = df.isnull().sum()
for col, missing in missing_data.items():
    if missing > 0:
        print(f"  {col}: {missing} eksik ({missing/len(df)*100:.1f}%)")

print(f"\n📈 Benzersiz değer sayıları:")
for col in df.columns:
    unique_count = df[col].nunique()
    print(f"  {col}: {unique_count} benzersiz değer")

# Tarihleri dönüştür
print("\n" + "="*80)
print("📅 TARİH DÖNÜŞTİRM İŞLEMİ")
print("="*80)

df = convert_relative_dates(df, date_col="date", out_col="converted_date")
print("✅ Tarihleri dönüştürüldü")

# Tarih dönüşüm tablosu göster
if len(df) > 0:
    date_comparison = df[['date', 'converted_date']].head(10)
    print("\n📋 Tarih Dönüşüm Örnekleri:")
    print(date_comparison.to_string(index=False))

# Sentiment mapping
print("\n" + "="*80)
print("🎭 SENTIMENT ANALİZİ")
print("="*80)

mapping = RatingMap(positive=(4, 5), neutral=(3,), negative=(1, 2))
df = map_rating_to_sentiment(df, rating_col="score", mapping=mapping)

print("✅ Sentiment mapping tamamlandı")
print(f"\n📊 Sentiment Dağılımı:")
sentiment_counts = df['sentiment'].value_counts()
for sentiment, count in sentiment_counts.items():
    percentage = (count / len(df)) * 100
    print(f"  {sentiment}: {count} yorum ({percentage:.1f}%)")

# Rating dağılımı
print("\n" + "="*80)
print("⭐ RATING DAĞILIMI ANALİZİ")
print("="*80)

counts = bar_counts_by_rating(df, rating_col="score")
print("📊 Rating Sayıları:")
total_ratings = sum(counts.values)
for rating, count in counts.items():
    percentage = (count / total_ratings) * 100 if total_ratings > 0 else 0
    stars = "⭐" * rating
    print(f"  {rating} yıldız {stars}: {count} yorum ({percentage:.1f}%)")

# Çıktı klasörü oluştur
os.makedirs(f"{mMainName}_outputs", exist_ok=True)
os.makedirs(f"{mMainName}_outputs/charts", exist_ok=True)

# Temel Grafikler
print("\n" + "="*80)
print("📊 GRAFİK GÖRSELLEŞTİRME")
print("="*80)

try:
    # 1. Rating dağılım grafiği
    print("📊 Rating dağılım grafiği oluşturuluyor...")
    fig1 = plot_bar_chart(counts, title="⭐ Rating Dağılımı", color='lightcoral')
    
    # 2. Sentiment pie chart
    print("🥧 Sentiment pie chart oluşturuluyor...")
    fig2 = plot_sentiment_pie_chart(sentiment_counts, title="🎭 Sentiment Dağılımı")
    
    input("\n⏸️  Grafikleri inceledikten sonra Enter'a basın...")
    plt.close('all')  # Tüm figürleri kapat
    
except Exception as e:
    print(f"❌ Grafik çizim hatası: {e}")

# Zaman filtresi ve analizi
print("\n" + "="*80)
print("⏰ ZAMAN ANALİZİ (SON 365 GÜN)")
print("="*80)

df_filtered = filter_last_n_days(df, date_col="converted_date", n_days=365)
print(f"✅ Son 365 gün verisi: {len(df_filtered)} satır (Orijinal: {len(df)})")

if not df_filtered.empty:
    # Zaman serisi analizi
    print("\n📈 Zaman serisi analizi başlatılıyor...")
    
    # Günlük analiz
    ts_daily = timeseries_by_sentiment(df_filtered, date_col="converted_date", sentiment_col="sentiment", time_grain="D")
    print(f"  📊 Günlük veri boyutu: {ts_daily.shape}")
    
    # Haftalık analiz
    ts_weekly = timeseries_by_sentiment(df_filtered, date_col="converted_date", sentiment_col="sentiment", time_grain="W")
    print(f"  📊 Haftalık veri boyutu: {ts_weekly.shape}")
    
    # Aylık analiz
    ts_monthly = timeseries_by_sentiment(df_filtered, date_col="converted_date", sentiment_col="sentiment", time_grain="M")
    print(f"  📊 Aylık veri boyutu: {ts_monthly.shape}")

    if not ts_monthly.empty:
        print("\n📊 Aylık sentiment trend grafiği oluşturuluyor...")
        fig_monthly_line = plot_line_timeseries(
            ts_monthly, 
            title="📊 Aylık Sentiment Trendi", 
            markers=True,
            figsize=(12, 6)
        )
    
    # Detaylı aylık sentiment tablosu oluştur
    print(f"\n📅 Detaylı aylık sentiment tablosu oluşturuluyor...")
    monthly_sentiment_table = create_monthly_sentiment_table(df_filtered, date_col="converted_date", sentiment_col="sentiment")
    
    if not monthly_sentiment_table.empty:
        print(f"✅ Aylık sentiment tablosu oluşturuldu: {monthly_sentiment_table.shape[0]} ay")
        
        # Aylık tabloyu göster
        print("\n📋 AYLIK SENTIMENT TABLOSU ÖZETİ:")
        show_data_table(monthly_sentiment_table, "AYLIK SENTIMENT ANALİZİ")
        
        # Aylık sentiment istatistikleri
        if len(monthly_sentiment_table) > 0:
            print(f"\n📊 Aylık İstatistik Özeti:")
            print(f"   • En aktif ay: {monthly_sentiment_table.loc[monthly_sentiment_table['Toplam_Yorum'].idxmax(), 'Ay_Adı']} "
                  f"({monthly_sentiment_table['Toplam_Yorum'].max()} yorum)")
            print(f"   • En yüksek rating ortalaması: {monthly_sentiment_table['Ortalama_Rating'].max():.2f}")
            print(f"   • En yüksek sentiment skoru: {monthly_sentiment_table['Sentiment_Skoru'].max():.2f}")
            
            # Dominant sentiment analizi
            dominant_counts = monthly_sentiment_table['Dominant_Sentiment'].value_counts()
            print(f"   • Dominant sentiment dağılımı:")
            for sentiment, count in dominant_counts.items():
                print(f"     - {sentiment}: {count} ay")
    else:
        print("❌ Aylık sentiment tablosu oluşturulamadı!")
    
    if not ts_daily.empty:
        print("\n📅 Günlük Sentiment Trend Tablosu:")
        show_data_table(ts_daily.tail(10), "SON 10 GÜN SENTIMENT VERİLERİ")
        
        try:
            print("\n📈 Zaman serisi grafikleri oluşturuluyor...")
            
            # Günlük trend
            fig3 = plot_line_timeseries(ts_daily, title="📊 Günlük Sentiment Trendi", markers=True)
            
            # Haftalık trend (eğer veri varsa)
            if not ts_weekly.empty:
                fig4 = plot_line_timeseries(ts_weekly, title="📊 Haftalık Sentiment Trendi", markers=True)
            
            # Aylık heatmap
            if not ts_monthly.empty:
                fig5 = plot_monthly_heatmap(ts_monthly, title="🔥 Aylık Sentiment Heatmap")

                # Aylık sentiment trendi - YENİ EKLENEN!
                print("\n📈 Aylık sentiment trendi grafiği oluşturuluyor...")
                fig_monthly_trend = plot_monthly_sentiment_trend(
                    df_filtered, 
                    date_col="converted_date", 
                    sentiment_col="sentiment",
                    title="📊 Aylık Sentiment Trend Analizi"
                )
            
            # Aylık sentiment tablosu görselleştirme
            if not monthly_sentiment_table.empty:
                print("\n📅 Aylık sentiment tablosu grafikleri oluşturuluyor...")
                fig6 = plot_monthly_sentiment_table(monthly_sentiment_table, title="📅 Aylık Sentiment Tablosu")
                fig7 = plot_monthly_sentiment_comparison(monthly_sentiment_table, title="📊 Aylık Sentiment Karşılaştırması")
            
            # Rating evolüsyonu
            fig8 = plot_rating_evolution(df_filtered, date_col="converted_date", rating_col="score")
            
            input("\n⏸️  Zaman serisi grafiklerini inceledikten sonra Enter'a basın...")
            plt.close('all')
            
        except Exception as e:
            print(f"❌ Zaman serisi grafik hatası: {e}")
    else:
        print("❌ Zaman serisi verisi boş!")
else:
    print("❌ Filtrelenmiş veri boş!")

# Gelişmiş Analizler
print("\n" + "="*80)
print("🔬 GELİŞTİRİLMİŞ ANALİZLER")
print("="*80)

try:
    # Yorum uzunluğu analizi
    if 'comment' in df.columns:
        df['comment_length'] = df['comment'].astype(str).str.len()
        print("✅ Yorum uzunluğu analizi eklendi")
        
        avg_length_by_rating = df.groupby('score')['comment_length'].mean()
        print("\n📊 Rating'e göre ortalama yorum uzunluğu:")
        for rating, avg_len in avg_length_by_rating.items():
            print(f"  {rating} yıldız: {avg_len:.0f} karakter")
    
    # Katkıda bulunan analizi
    if 'contribution' in df.columns:
        contribution_analysis = df['contribution'].value_counts().head(10)
        print(f"\n👥 En aktif kullanıcı tipleri:")
        for contrib_type, count in contribution_analysis.items():
            print(f"  {contrib_type}: {count} yorum")
    
    # Word cloud oluştur
    if 'comment' in df.columns and len(df) > 0:
        print("\n☁️  Word cloud oluşturuluyor...")
        fig9 = plot_word_cloud(df['comment'].dropna())
        input("⏸️  Word cloud'u inceledikten sonra Enter'a basın...")
        plt.close('all')
    
except Exception as e:
    print(f"❌ Gelişmiş analiz hatası: {e}")

# Korelasyon analizi
print("\n" + "="*80)
print("🔗 KORELASYON ANALİZİ")
print("="*80)

try:
    # Sayısal sütunlar için korelasyon matrisi
    numeric_cols = ['score']
    if 'comment_length' in df.columns:
        numeric_cols.append('comment_length')
    
    if len(numeric_cols) > 1:
        corr_df = df[numeric_cols].corr()
        print("📊 Korelasyon Matrisi:")
        print(corr_df.to_string())
        
        fig8 = plot_correlation_matrix(corr_df, title="🔗 Korelasyon Matrisi")
        input("⏸️  Korelasyon matrisini inceledikten sonra Enter'a basın...")
        plt.close('all')
    
except Exception as e:
    print(f"❌ Korelasyon analizi hatası: {e}")

# Dashboard oluştur
print("\n" + "="*80)
print("📋 DASHBOARD OLUŞTURMA")
print("="*80)

try:
    print("📊 Genel dashboard oluşturuluyor...")
    dashboard_data = {
        'counts': counts,
        'sentiment_counts': sentiment_counts,
        'ts_data': ts_daily if 'ts_daily' in locals() and not ts_daily.empty else None,
        'df': df
    }
    
    fig_dashboard = create_dashboard(dashboard_data)
    input("⏸️  Dashboard'u inceledikten sonra Enter'a basın...")
    plt.close('all')
    
except Exception as e:
    print(f"❌ Dashboard oluşturma hatası: {e}")

# Özet istatistikler
print("\n" + "="*80)
print("📊 ÖZET İSTATİSTİKLER")
print("="*80)
show_summary_stats(df)

# Dosya kaydetme işlemleri
print("\n" + "="*80)
print("💾 DOSYA KAYDETME İŞLEMLERİ")
print("="*80)

try:
    # CSV dosyaları kaydet
    counts.to_csv(f"{mMainName}_outputs/rating_counts.csv")
    print(f"✅ {mMainName}_outputs/rating_counts.csv kaydedildi")

    sentiment_counts.to_csv(f"{mMainName}_outputs/sentiment_counts.csv")
    print(f"✅ {mMainName}_outputs/sentiment_counts.csv kaydedildi")

    # İşlenmiş veriyi kaydet
    df.to_csv(f"{mMainName}_outputs/processed_data.csv", index=False)
    print(f"✅ {mMainName}_outputs/processed_data.csv kaydedildi")

    #if 'ts_daily' in locals() and not ts_daily.empty:
    #    ts_daily.to_csv(f"{mMainName}_outputs/daily_sentiment_timeseries.csv")
    #    print(f"✅ {mMainName}_outputs/daily_sentiment_timeseries.csv kaydedildi")

    #if 'ts_weekly' in locals() and not ts_weekly.empty:
    #    ts_weekly.to_csv(f"{mMainName}_outputs/weekly_sentiment_timeseries.csv")
    #    print(f"✅ {mMainName}_outputs/weekly_sentiment_timeseries.csv kaydedildi")

    #if 'ts_monthly' in locals() and not ts_monthly.empty:
    #    ts_monthly.to_csv(f"{mMainName}_outputs/monthly_sentiment_timeseries.csv")
    #    print(f"✅ {mMainName}_outputs/monthly_sentiment_timeseries.csv kaydedildi")

    # Detaylı aylık sentiment tablosunu kaydet
    #if 'monthly_sentiment_table' in locals() and not monthly_sentiment_table.empty:
    #    monthly_sentiment_table.to_csv(f"{mMainName}_outputs/monthly_sentiment_detailed_table.csv", index=False)
    #    print(f"✅ {mMainName}_outputs/monthly_sentiment_detailed_table.csv kaydedildi")

    # Grafikleri PNG olarak kaydet
    print("\n📸 PNG grafikler kaydediliyor...")
    save_data = {
        'counts': counts,
        'sentiment_counts': sentiment_counts,
        'ts_daily': ts_daily if 'ts_daily' in locals() else pd.DataFrame(),
        'ts_weekly': ts_weekly if 'ts_weekly' in locals() else pd.DataFrame(),
        'ts_monthly': ts_monthly if 'ts_monthly' in locals() else pd.DataFrame(),
        'monthly_sentiment_table': monthly_sentiment_table if 'monthly_sentiment_table' in locals() else pd.DataFrame(),
        'df': df
    }
    
    save_charts_as_images(save_data)
    
    # Aylık sentiment trend çizgi grafiğini kaydet
    if 'fig_monthly_line' in locals():
        filepath = os.path.join(f"{mMainName}_outputs/charts", 'monthly_sentiment_line_trend.png')
        fig_monthly_line.savefig(filepath, dpi=300, bbox_inches='tight')
        plt.close(fig_monthly_line)
        print(f"✅ {mMainName}_outputs/charts/monthly_sentiment_line_trend.png kaydedildi")

    # Çıktı listesinde grafik dosyalarının listelendiği yere şunu ekleyin:
    print(f"  ✅ {mMainName}_outputs/charts/monthly_sentiment_line_trend.png")  # YENİ EKLENEN!

    # Aylık sentiment trend grafiğini kaydet - YENİ EKLENEN!
    #if 'fig_monthly_trend' in locals():
    #    filepath = os.path.join(f"{mMainName}_outputs/charts", 'monthly_sentiment_trend.png')
    #    fig_monthly_trend.savefig(filepath, dpi=300, bbox_inches='tight')
    #    plt.close(fig_monthly_trend)
    #    print(f"✅ {mMainName}_outputs/charts/monthly_sentiment_trend.png kaydedildi")

    # Özet rapor oluştur
    print("\n📝 Özet rapor oluşturuluyor...")
    with open(f"{mMainName}_outputs/analysis_report.txt", "w", encoding="utf-8") as f:
        f.write(f"{mMainName} VERİ ANALİZ RAPORU\n")
        f.write("=" * 50 + "\n\n")
        f.write(f"Analiz Tarihi: {pd.Timestamp.now().strftime('%Y-%m-%d %H:%M:%S')}\n")
        f.write(f"Toplam Yorum Sayısı: {len(df)}\n\n")
        
        f.write("RATING DAĞILIMI:\n")
        for rating, count in counts.items():
            percentage = (count / sum(counts.values)) * 100
            f.write(f"  {rating} yıldız: {count} ({percentage:.1f}%)\n")
        
        f.write(f"\nSENTIMENT DAĞILIMI:\n")
        for sentiment, count in sentiment_counts.items():
            percentage = (count / len(df)) * 100
            f.write(f"  {sentiment}: {count} ({percentage:.1f}%)\n")
        
        if 'comment_length' in df.columns:
            f.write(f"\nYORUM İSTATİSTİKLERİ:\n")
            f.write(f"  Ortalama yorum uzunluğu: {df['comment_length'].mean():.0f} karakter\n")
            f.write(f"  En uzun yorum: {df['comment_length'].max()} karakter\n")
            f.write(f"  En kısa yorum: {df['comment_length'].min()} karakter\n")
        
        # Aylık sentiment analizi özeti - YENİ EKLENEN!
        if 'monthly_sentiment_table' in locals() and not monthly_sentiment_table.empty:
            f.write(f"\nAYLIK SENTIMENT ANALİZİ ÖZETİ:\n")
            f.write(f"  Analiz edilen ay sayısı: {len(monthly_sentiment_table)}\n")
            
            if 'Sentiment_Skoru' in monthly_sentiment_table.columns:
                best_month_idx = monthly_sentiment_table['Sentiment_Skoru'].idxmax()
                worst_month_idx = monthly_sentiment_table['Sentiment_Skoru'].idxmin()
                
                f.write(f"  En olumlu ay: {monthly_sentiment_table.loc[best_month_idx, 'Ay_Adı']} "
                       f"(Skor: {monthly_sentiment_table.loc[best_month_idx, 'Sentiment_Skoru']:.2f})\n")
                f.write(f"  En olumsuz ay: {monthly_sentiment_table.loc[worst_month_idx, 'Ay_Adı']} "
                       f"(Skor: {monthly_sentiment_table.loc[worst_month_idx, 'Sentiment_Skoru']:.2f})\n")
    
    print("✅ outputs/analysis_report.txt kaydedildi")
    
except Exception as e:
    print(f"❌ Dosya kaydetme hatası: {e}")

# Final mesajları
print("\n" + "="*80)
print("🎉 ANALİZ TAMAMLANDI! 🎉")
print("="*80)

print("\n📂 Kaydedilen dosyalar:")
print("📊 CSV Dosyaları:")
print(f"  ✅ {mMainName}_outputs/rating_counts.csv")
print(f"  ✅ {mMainName}_outputs/sentiment_counts.csv")
print(f"  ✅ {mMainName}_outputs/processed_data.csv")
print(f"  ✅ {mMainName}_outputs/daily_sentiment_timeseries.csv")
print(f"  ✅ {mMainName}_outputs/weekly_sentiment_timeseries.csv")
print(f"  ✅ {mMainName}_outputs/monthly_sentiment_timeseries.csv")
print(f"  ✅ {mMainName}_outputs/monthly_sentiment_detailed_table.csv")

print("\n🖼️  Grafik Dosyaları:")
print(f"  ✅ {mMainName}_outputs/charts/rating_distribution.png")
print(f"  ✅ {mMainName}_outputs/charts/sentiment_pie_chart.png")
print(f"  ✅ {mMainName}_outputs/charts/daily_sentiment_trend.png")
print(f"  ✅ {mMainName}_outputs/charts/weekly_sentiment_trend.png")
print(f"  ✅ {mMainName}_outputs/charts/monthly_heatmap.png")
print(f"  ✅ {mMainName}_outputs/charts/monthly_sentiment_table.png")
print(f"  ✅ {mMainName}_outputs/charts/monthly_sentiment_comparison.png")
print(f"  ✅ {mMainName}_outputs/charts/monthly_sentiment_trend.png")  # YENİ EKLENEN!
print(f"  ✅ {mMainName}_outputs/charts/rating_evolution.png")
print(f"  ✅ {mMainName}_outputs/charts/word_cloud.png")
print(f"  ✅ {mMainName}_outputs/charts/correlation_matrix.png")
print(f"  ✅ {mMainName}_outputs/charts/dashboard.png")

print("\n📝 Rapor Dosyaları:")
print(f"  ✅ {mMainName}_outputs/analysis_report.txt")

print("\n💡 ÖNERİLER:")
print("  📈 Sentiment analizi genel olarak pozitif görünüyor")
print("  📊 Rating dağılımında en yüksek puanlar daha fazla")
print("  ⏰ Zaman serisi analiziyle trendleri takip edebilirsiniz")
print("  📅 Aylık sentiment trendleri ile uzun vadeli eğilimleri görebilirsiniz")  # YENİ EKLENEN!
print("  🔍 Word cloud ile en sık kullanılan kelimeler görülebilir")
print("  📋 Dashboard ile genel durumu tek bakışta görebilirsiniz")

print("\n" + "="*80)