# Extraer columnas específicas con cut
$ cut -d',' -f1,3,4 empleados.csv
nombre,departamento,salario
Juan Pérez,IT,45000
María González,Ventas,52000
Carlos Rodríguez,IT,48000
Ana López,Marketing,38000
Pedro Martínez,Ventas,49000
Elena García,IT,42000

# Extraer rango de columnas
$ cut -d',' -f2-4 empleados.csv
edad,departamento,salario
28,IT,45000
34,Ventas,52000
41,IT,48000

# Selección con awk (más flexible)
$ awk -F',' '{print $1, $4}' empleados.csv
nombre salario
Juan Pérez 45000
María González 52000
Carlos Rodríguez 48000

# Selección con condiciones
$ awk -F',' 'NR>1 && $2 > 30 {print $1, $2, $3}' empleados.csv
María González 34 Ventas
Carlos Rodríguez 41 IT
Pedro Martínez 35 Ventas

# Reordenar columnas
$ awk -F',' '{print $4, $1, $3}' empleados.csv | head -3
salario nombre departamento
45000 Juan Pérez IT
52000 María González Ventas

# Ordenar por salario (numérico, descendente)
$ (head -1 empleados.csv; tail -n +2 empleados.csv | sort -t',' -k4 -nr)
nombre,edad,departamento,salario,ciudad
María González,34,Ventas,52000,Barcelona
Pedro Martínez,35,Ventas,49000,Sevilla
Carlos Rodríguez,41,IT,48000,Valencia
Juan Pérez,28,IT,45000,Madrid
Elena García,26,IT,42000,Barcelona
Ana López,29,Marketing,38000,Madrid

# Ordenar por departamento, luego por salario
$ (head -1 empleados.csv; tail -n +2 empleados.csv | sort -t',' -k3,3 -k4,4nr)
nombre,edad,departamento,salario,ciudad
Carlos Rodríguez,41,IT,48000,Valencia
Juan Pérez,28,IT,45000,Madrid
Elena García,26,IT,42000,Barcelona
Ana López,29,Marketing,38000,Madrid
María González,34,Ventas,52000,Barcelona
Pedro Martínez,35,Ventas,49000,Sevilla

# Ordenar por edad (preservando header)
$ (head -1 empleados.csv; tail -n +2 empleados.csv | sort -t',' -k2 -n)
nombre,edad,departamento,salario,ciudad
Elena García,26,IT,42000,Barcelona
Juan Pérez,28,IT,45000,Madrid
Ana López,29,Marketing,38000,Madrid
María González,34,Ventas,52000,Barcelona
Pedro Martínez,35,Ventas,49000,Sevilla
Carlos Rodríguez,41,IT,48000,Valencia

# Ordenar por ciudad, luego por nombre
$ (head -1 empleados.csv; tail -n +2 empleados.csv | sort -t',' -k5,5 -k1,1)
nombre,edad,departamento,salario,ciudad
Elena García,26,IT,42000,Barcelona
María González,34,Ventas,52000,Barcelona
Ana López,29,Marketing,38000,Madrid
Juan Pérez,28,IT,45000,Madrid
Pedro Martínez,35,Ventas,49000,Sevilla
Carlos Rodríguez,41,IT,48000,Valencia

# Preparar archivos para join (deben estar ordenados)
$ tail -n +2 empleados.csv | cut -d',' -f3,1,4 | sort > emp_sorted.csv
$ tail -n +2 departamentos.csv | sort > dept_sorted.csv

$ cat emp_sorted.csv
IT,Carlos Rodríguez,48000
IT,Elena García,42000
IT,Juan Pérez,45000
Marketing,Ana López,38000
Ventas,María González,52000
Ventas,Pedro Martínez,49000

$ cat dept_sorted.csv
IT,200000,Carlos Silva
Marketing,100000,Pedro López
Ventas,150000,Ana Ruiz

# Join empleados con departamentos
$ join -t',' emp_sorted.csv dept_sorted.csv
IT,Carlos Rodríguez,48000,200000,Carlos Silva
IT,Elena García,42000,200000,Carlos Silva
IT,Juan Pérez,45000,200000,Carlos Silva
Marketing,Ana López,38000,100000,Pedro López
Ventas,María González,52000,150000,Ana Ruiz
Ventas,Pedro Martínez,49000,150000,Ana Ruiz

# Join con campos específicos y formato personalizado
$ join -t',' -o 1.2,1.3,2.2,2.3 emp_sorted.csv dept_sorted.csv
Carlos Rodríguez,48000,200000,Carlos Silva
Elena García,42000,200000,Carlos Silva
Juan Pérez,45000,200000,Carlos Silva
Ana López,38000,100000,Pedro López
María González,52000,150000,Ana Ruiz
Pedro Martínez,49000,150000,Ana Ruiz

# Crear archivo con datos "sucios"
$ cat > datos_sucios.csv << 'EOF'
nombre,edad,salario,departamento
 Juan Pérez ,28,45.000,IT
María   González,34,"52,000",VENTAS
carlos rodriguez,41,48000 ,it
Ana López,29,  38000,Marketing  
Pedro Martínez,35,$49000,Ventas
EOF

# 1. Eliminar espacios en blanco extra
$ sed 's/^[ \t]*//g; s/[ \t]*$//g; s/[ \t]*,[ \t]*/,/g' datos_sucios.csv
nombre,edad,salario,departamento
Juan Pérez,28,45.000,IT
María   González,34,"52,000",VENTAS
carlos rodriguez,41,48000,it
Ana López,29,38000,Marketing
Pedro Martínez,35,$49000,Ventas

# 2. Normalizar departamentos (mayúsculas)
$ awk -F',' 'BEGIN{OFS=","} 
{
    # Limpiar espacios
    gsub(/^[ \t]+|[ \t]+$/, "", $4)
    # Convertir a mayúsculas
    $4 = toupper($4)
    print
}' datos_sucios.csv
nombre,edad,salario,departamento
 Juan Pérez ,28,45.000,IT
María   González,34,"52,000",VENTAS
carlos rodriguez,41,48000 ,IT
Ana López,29,  38000,MARKETING
Pedro Martínez,35,$49000,VENTAS

# 3. Limpiar salarios (quitar símbolos, normalizar)
$ awk -F',' 'BEGIN{OFS=","} 
NR==1 {print; next}
{
    # Limpiar nombre (espacios extra)
    gsub(/[ \t]+/, " ", $1)
    gsub(/^[ \t]+|[ \t]+$/, "", $1)
    
    # Limpiar salario
    gsub(/[$,".]/, "", $3)  # Quitar $, comas, puntos
    gsub(/^[ \t]+|[ \t]+$/, "", $3)  # Quitar espacios
    
    # Normalizar departamento
    gsub(/^[ \t]+|[ \t]+$/, "", $4)
    $4 = toupper($4)
    
    print
}' datos_sucios.csv
nombre,edad,salario,departamento
Juan Pérez,28,45000,IT
María González,34,52000,VENTAS
carlos rodriguez,41,48000,IT
Ana López,29,38000,MARKETING
Pedro Martínez,35,49000,VENTAS

# 4. Script completo de limpieza
$ cat > clean_csv.awk << 'EOF'
BEGIN { FS=OFS="," }
NR==1 { 
    # Procesar header
    for(i=1; i<=NF; i++) {
        gsub(/^[ \t]+|[ \t]+$/, "", $i)
        $i = tolower($i)
    }
    print
    next 
}
{
    # Limpiar nombre
    gsub(/^[ \t]+|[ \t]+$/, "", $1)
    gsub(/[ \t]+/, " ", $1)
    
    # Validar edad (solo números)
    if($2 !~ /^[0-9]+$/) $2 = "N/A"
    
    # Limpiar salario
    gsub(/[$,".]/, "", $3)
    gsub(/^[ \t]+|[ \t]+$/, "", $3)
    if($3 !~ /^[0-9]+$/) $3 = "0"
    
    # Normalizar departamento
    gsub(/^[ \t]+|[ \t]+$/, "", $4)
    $4 = toupper($4)
    
    print
}
EOF

$ awk -f clean_csv.awk datos_sucios.csv
nombre,edad,salario,departamento
Juan Pérez,28,45000,IT
María González,34,52000,VENTAS
carlos rodriguez,41,48000,IT
Ana López,29,38000,MARKETING
Pedro Martínez,35,49000,VENTAS

#!/bin/bash
# csv_analyzer.sh - Analizador integral de archivos CSV

CSV_FILE="$1"
REPORT_DIR="reports"
TIMESTAMP=$(date '+%Y%m%d_%H%M%S')

# Validar argumentos
if [[ $# -ne 1 || ! -f "$CSV_FILE" ]]; then
    echo "Uso: $0 archivo.csv"
    echo "El archivo debe existir"
    exit 1
fi

# Crear directorio de reportes
mkdir -p "$REPORT_DIR"

echo "🔍 Analizando archivo: $CSV_FILE"
echo "📊 Generando reportes en: $REPORT_DIR/"
echo

# 1. ANÁLISIS BÁSICO
echo "=== ANÁLISIS BÁSICO ==="
TOTAL_LINES=$(wc -l < "$CSV_FILE")
TOTAL_RECORDS=$((TOTAL_LINES - 1))
echo "📄 Total de líneas: $TOTAL_LINES"
echo "📋 Total de registros: $TOTAL_RECORDS"

# Detectar delimitador
COMMA_COUNT=$(head -1 "$CSV_FILE" | tr -cd ',' | wc -c)
TAB_COUNT=$(head -1 "$CSV_FILE" | tr -cd '\t' | wc -c)
if [[ $COMMA_COUNT -gt $TAB_COUNT ]]; then
    DELIMITER=","
    echo "🔗 Delimitador detectado: coma (CSV)"
else
    DELIMITER=$'\t'
    echo "🔗 Delimitador detectado: tabulación (TSV)"
fi

# Número de columnas
COLUMNS=$(head -1 "$CSV_FILE" | tr "$DELIMITER" '\n' | wc -l)
echo "📊 Número de columnas: $COLUMNS"
echo

# 2. ESTRUCTURA DE DATOS
echo "=== ESTRUCTURA DE DATOS ==="
echo "Columnas detectadas:"
head -1 "$CSV_FILE" | tr "$DELIMITER" '\n' | nl -w3 -s') '
echo

# 3. ANÁLISIS DE CALIDAD DE DATOS
echo "=== ANÁLISIS DE CALIDAD ==="
QUALITY_REPORT="$REPORT_DIR/quality_report_$TIMESTAMP.txt"

{
    echo "Reporte de Calidad de Datos - $(date)"
    echo "Archivo: $CSV_FILE"
    echo "======================================="
    echo
    
    # Detectar líneas vacías
    EMPTY_LINES=$(grep -c "^$" "$CSV_FILE")
    echo "Líneas vacías: $EMPTY_LINES"
    
    # Detectar líneas con diferente número de campos
    echo "Verificando consistencia de campos..."
    awk -F"$DELIMITER" -v expected="$COLUMNS" '
    NR==1 { next }
    NF != expected { 
        print "Línea " NR ": " NF " campos (esperado: " expected ")" 
        inconsistent++
    }
    END { 
        if(inconsistent > 0) print "Total líneas inconsistentes:", inconsistent
        else print "✅ Todas las líneas tienen el número correcto de campos"
    }' "$CSV_FILE"
    
    # Detectar valores faltantes
    echo
    echo "Análisis de valores faltantes por columna:"
    awk -F"$DELIMITER" '
    NR==1 { 
        for(i=1; i<=NF; i++) header[i] = $i
        next 
    }
    {
        for(i=1; i<=NF; i++) {
            if($i == "" || $i ~ /^[ \t]*$/) missing[i]++
            total[i]++
        }
    }
    END {
        for(i=1; i<=length(header); i++) {
            pct = (missing[i]/total[i])*100
            printf "%-20s: %d faltantes (%.1f%%)\n", header[i], missing[i], pct
        }
    }' "$CSV_FILE"
    
} > "$QUALITY_REPORT"

cat "$QUALITY_REPORT"
echo "📋 Reporte de calidad guardado en: $QUALITY_REPORT"
echo

# 4. ANÁLISIS ESTADÍSTICO
echo "=== ANÁLISIS ESTADÍSTICO ==="
STATS_REPORT="$REPORT_DIR/stats_report_$TIMESTAMP.txt"

{
    echo "Reporte Estadístico - $(date)"
    echo "Archivo: $CSV_FILE"
    echo "=============================="
    echo
    
    # Identificar columnas numéricas
    echo "Análisis de columnas numéricas:"
    awk -F"$DELIMITER" '
    NR==1 { 
        for(i=1; i<=NF; i++) header[i] = $i
        next 
    }
    {
        for(i=1; i<=NF; i++) {
            if($i ~ /^[0-9]+(\.[0-9]+)?$/) {
                numeric[i] = 1
                values[i][NR] = $i
                sum[i] += $i
                count[i]++
                if(min[i] == "" || $i < min[i]) min[i] = $i
                if(max[i] == "" || $i > max[i]) max[i] = $i
            }
        }
    }
    END {
        for(i=1; i<=length(header); i++) {
            if(numeric[i]) {
                avg = sum[i]/count[i]
                printf "\n%-20s:\n", header[i]
                printf "  Min: %g, Max: %g, Promedio: %.2f\n", min[i], max[i], avg
                printf "  Total: %g, Registros: %d\n", sum[i], count[i]
            }
        }
    }' "$CSV_FILE"
    
    echo
    echo "Análisis de columnas categóricas:"
    awk -F"$DELIMITER" '
    NR==1 { 
        for(i=1; i<=NF; i++) header[i] = $i
        next 
    }
    {
        for(i=1; i<=NF; i++) {
            if($i !~ /^[0-9]+(\.[0-9]+)?$/ && $i != "") {
                categorical[i][tolower($i)]++
                cat_total[i]++
            }
        }
    }
    END {
        for(i=1; i<=length(header); i++) {
            if(length(categorical[i]) > 0) {
                printf "\n%-20s: (%d valores únicos)\n", header[i], length(categorical[i])
                # Mostrar top 5 valores
                j = 0
                for(val in categorical[i]) {
                    if(j++ < 5) {
                        pct = (categorical[i][val]/cat_total[i])*100
                        printf "  %-15s: %d (%.1f%%)\n", val, categorical[i][val], pct
                    }
                }
                if(length(categorical[i]) > 5) {
                    printf "  ... y %d más\n", length(categorical[i])-5
                }
            }
        }
    }' "$CSV_FILE"
    
} > "$STATS_REPORT"

cat "$STATS_REPORT"
echo "📊 Reporte estadístico guardado en: $STATS_REPORT"
echo

# 5. GENERAR VISUALIZACIÓN BÁSICA (ASCII)
echo "=== VISUALIZACIÓN ASCII ==="
VIZ_REPORT="$REPORT_DIR/visualization_$TIMESTAMP.txt"

{
    echo "Visualización ASCII - $(date)"
    echo "============================="
    echo
    
    # Histograma simple de primera columna numérica
    awk -F"$DELIMITER" '
    NR==1 { next }
    $2 ~ /^[0-9]+$/ {
        ranges[int($2/10)*10]++
    }
    END {
        print "Distribución por rangos (columna 2):"
        PROCINFO["sorted_in"] = "@ind_num_asc"
        for(range in ranges) {
            printf "%2d-%2d: ", range, range+9
            for(i=0; i "$VIZ_REPORT"

cat "$VIZ_REPORT"
echo "📈 Visualización guardada en: $VIZ_REPORT"
echo

# 6. REPORTE FINAL
FINAL_REPORT="$REPORT_DIR/final_report_$TIMESTAMP.html"
{
    cat << EOF




    
    


    

        
📊 Reporte de Análisis CSV
        
Archivo: $(basename "$CSV_FILE")
        
Fecha: $(date)
    
    
    

        
📋 Resumen Ejecutivo
        
Total de registros: $TOTAL_RECORDS
        
Columnas: $COLUMNS
        
Formato: $([ "$DELIMITER" = "," ] && echo "CSV" || echo "TSV")
    
    
    

        
🔍 Estructura de Datos
        
$(head -1 "$CSV_FILE" | tr "$DELIMITER" '\n' | nl -w3 -s') ')
    
    
    

        
📊 Vista Previa de Datos
        
$(head -6 "$CSV_FILE")
    
    


EOF
} > "$FINAL_REPORT"

echo "🎯 ANÁLISIS COMPLETADO"
echo "📁 Todos los reportes generados en: $REPORT_DIR/"
echo "🌐 Reporte HTML principal: $FINAL_REPORT"
echo
echo "Archivos generados:"
ls -la "$REPORT_DIR"/*"$TIMESTAMP"* 2>/dev/null || echo "No se generaron archivos con timestamp"