Análisis resultados

A continuación, te detallo los resultados que podrías obtener al aplicar el algoritmo Random Forest en Weka utilizando el conjunto de datos Iris, y explicaré el significado de cada una de las variables y métricas que suelen presentarse en el informe de resultados.

Resultados de Random Forest en Weka

=== Run information ===

Scheme:       weka.classifiers.trees.RandomForest -- numTrees 100
Relation:     iris
Instances:    150
Attributes:   5
              sepallength
              sepalwidth
              petallength
              petalwidth
              class
Test mode:    10-fold cross-validation

=== Classifier model (full training set) ===
RandomForest
------------------
Number of trees: 100
Size of each tree: (varies)
...

=== Stratified cross-validation ===
=== Summary ===

Correctly Classified Instances         144               96      %
Incorrectly Classified Instances         6                4      %
Kappa statistic                          0.94  
Mean absolute error                      0.035 
Root mean squared error                  0.1586
Relative absolute error                  7.8705 %
Root relative squared error             33.6353 %
Total Number of Instances              150     

=== Detailed Accuracy By Class ===

                 TP Rate  FP Rate  Precision  Recall   F-Measure  MCC      ROC Area  PRC Area  Class
                 0.980    0.000    1.000      0.980    0.990      0.985    0.990     0.987     Iris-setosa
                 0.940    0.030    0.940      0.940    0.940      0.910    0.952     0.880     Iris-versicolor
                 0.960    0.030    0.941      0.960    0.950      0.925    0.961     0.905     Iris-virginica
Weighted Avg.    0.960    0.020    0.960      0.960    0.960      0.940    0.968     0.924     

=== Confusion Matrix ===

  a  b  c   <-- classified as
 49  0  1 |  a = Iris-setosa
  0 47  3 |  b = Iris-versicolor
  0  0 50 |  c = Iris-virginica

Interpretación de los Resultados

Información General de Ejecución

• Scheme: weka.classifiers.trees.RandomForest -- numTrees 100
  • Indica que se está utilizando el clasificador Random Forest con 100 árboles.
• Relation: iris
  • Se refiere al conjunto de datos que se está utilizando.
• Instances: 150
  • El total de instancias (observaciones) en el conjunto de datos.
• Attributes: 5
  • Número total de atributos (características) en el conjunto de datos.
• Test mode: 10-fold cross-validation
  • Se utilizó validación cruzada de 10 pliegues para evaluar el rendimiento del modelo.

Modelo del Clasificador

• Número de árboles: 100
  • Indica cuántos árboles se han construido para el modelo Random Forest.
• Tamaño de cada árbol: Varía
  • Cada árbol puede tener un tamaño diferente dependiendo de los datos y las divisiones.

Resumen de Validación Cruzada Estratificada

• Correctly Classified Instances: 144 (96%)
  • Porcentaje de instancias que fueron clasificadas correctamente por el modelo.
• Incorrectly Classified Instances: 6 (4%)
  • Porcentaje de instancias que fueron clasificadas incorrectamente.
• Kappa statistic: 0.94
  • Este valor mide la concordancia entre las predicciones del modelo y las clases reales, ajustado por el azar. Un valor cercano a 1 indica una excelente concordancia.
• Mean absolute error (MAE): 0.035
  • Promedio de las diferencias absolutas entre las predicciones y las clases reales.
• Root mean squared error (RMSE): 0.1586
  • Promedio de los errores al cuadrado, da una idea de la magnitud del error.
• Relative absolute error: 7.8705 %
  • Este valor representa el error absoluto en relación con la media de las clases reales.
• Root relative squared error: 33.6353 %
  • Indica la relación del error cuadrático respecto a la media de las clases reales.
• Total Number of Instances: 150
  • Reitera la cantidad total de instancias en el conjunto de datos.

Detalle de Exactitud por Clase

• TP Rate (Tasa de Verdaderos Positivos): Proporción de instancias de la clase que fueron correctamente clasificadas.
• FP Rate (Tasa de Falsos Positivos): Proporción de instancias de otras clases que fueron clasificadas incorrectamente como la clase en cuestión.
• Precision: Proporción de instancias clasificadas como positivas que realmente son positivas.
• Recall: Mide la capacidad del modelo para identificar correctamente las instancias positivas.
• F-Measure: Promedio armonioso entre la precisión y el recall.
• MCC (Coeficiente de Correlación de Matthews): Proporciona una medida única del rendimiento del clasificador, teniendo en cuenta verdaderos y falsos positivos y negativos.
• ROC Area (Área bajo la Curva ROC): Mide la capacidad del modelo para diferenciar entre clases, con un valor más alto indicando mejor rendimiento.
• PRC Area (Área bajo la Curva de Precisión): Similar a ROC, pero enfocado en la precisión y el recall.

Matriz de Confusión

  a  b  c   <-- classified as
 49  0  1 |  a = Iris-setosa
  0 47  3 |  b = Iris-versicolor
  0  0 50 |  c = Iris-virginica

• Interpretación:
  • Iris-setosa: 49 instancias correctamente clasificadas (a), 0 clasificadas incorrectamente como Iris-versicolor (b) y 1 como Iris-virginica (c).
  • Iris-versicolor: 47 instancias correctamente clasificadas (b), 0 clasificadas incorrectamente como Iris-setosa (a) y 3 como Iris-virginica (c).
  • Iris-virginica: 50 instancias correctamente clasificadas (c), 0 clasificadas incorrectamente como Iris-setosa (a) y 0 como Iris-versicolor (b).

Conclusión

Los resultados indican que el modelo Random Forest ha logrado un rendimiento sobresaliente al clasificar las instancias del conjunto de datos Iris, con una alta precisión y un bajo número de errores. El modelo no solo es efectivo, sino que también proporciona métricas que permiten evaluar su desempeño en profundidad. Las métricas como el Kappa y las tasas de verdaderos y falsos positivos ofrecen información sobre cómo el modelo está funcionando en relación con las clases reales.

Aquí tienes la interpretación detallada de los resultados del algoritmo Random Forest aplicado en otro conjunto de datos breast-cancer en Weka.

Información General de Ejecución

• Scheme: weka.classifiers.trees.RandomForest -P 100 -I 100 -num-slots 1 -K 0 -M 1.0 -V 0.001 -S 1
  • -P 100: Se está utilizando un muestreo (bagging) con 100 iteraciones.
  • -I 100: Número de árboles a construir en el modelo (100 árboles).
  • -num-slots 1: Se usa un solo hilo para construir los árboles.
  • -K 0: Indica que no se está limitando el número de atributos a considerar en cada división.
  • -M 1.0: Este parámetro especifica el tamaño de los subconjuntos de datos a muestrear.
  • -V 0.001: Valor mínimo para realizar una división, generalmente relacionado con el error.
  • -S 1: Establece la semilla para la generación aleatoria, lo que permite la reproducibilidad de los resultados.
• Relation: breast-cancer
  • Se refiere al conjunto de datos utilizado.
• Instances: 286
  • Total de instancias (observaciones) en el conjunto de datos.
• Attributes: 10
  • Total de atributos (características) en el conjunto de datos. Los atributos incluyen:
  • age, menopause, tumor-size, inv-nodes, node-caps, deg-malig, breast, breast-quad, irradiat, Class.
• Test mode: 10-fold cross-validation
  • Se utilizó validación cruzada de 10 pliegues para evaluar el rendimiento del modelo.

Modelo del Clasificador

• Classifier model: RandomForest
  • Se trata de un modelo de bosque aleatorio que utiliza bagging con un número determinado de iteraciones.
• Time taken to build model: 0.05 seconds
  • Tiempo que tardó el modelo en construirse, indicando que fue relativamente rápido.

Resumen de Validación Cruzada Estratificada

• Correctly Classified Instances: 199 (69.5804 %)
  • El porcentaje de instancias que fueron clasificadas correctamente por el modelo. En este caso, el modelo clasificó correctamente aproximadamente el 69.58% de las instancias.
• Incorrectly Classified Instances: 87 (30.4196 %)
  • Porcentaje de instancias que fueron clasificadas incorrectamente. Esto indica que el modelo tuvo errores en el 30.42% de las clasificaciones.
• Kappa statistic: 0.1736
  • El valor de Kappa indica la concordancia entre las predicciones del modelo y las clases reales, ajustada por el azar. Un Kappa de 0.1736 sugiere que hay una concordancia baja entre el modelo y las verdaderas etiquetas.
• Mean absolute error (MAE): 0.3727
  • Promedio de las diferencias absolutas entre las predicciones y las clases reales.
• Root mean squared error (RMSE): 0.4613
  • Promedio de los errores al cuadrado. Este valor también proporciona información sobre la magnitud de los errores.
• Relative absolute error: 89.0857 %
  • El error absoluto en relación con la media de las clases reales. Un valor alto indica que el error es considerable en comparación con la magnitud de las etiquetas.
• Root relative squared error: 100.9171 %
  • Indica la relación del error cuadrático respecto a la media de las clases reales.
• Total Number of Instances: 286
  • Reitera la cantidad total de instancias en el conjunto de datos.

Detalle de Exactitud por Clase

• TP Rate (Tasa de Verdaderos Positivos): Proporción de instancias de la clase que fueron correctamente clasificadas.
  • no-recurrence-events: 87.1% de las instancias de esta clase fueron clasificadas correctamente.
  • recurrence-events: Solo el 28.2% de las instancias fueron clasificadas correctamente.
• FP Rate (Tasa de Falsos Positivos): Proporción de instancias de otras clases que fueron clasificadas incorrectamente como la clase en cuestión.
  • no-recurrence-events: 71.8% de las instancias de esta clase fueron clasificadas incorrectamente.
  • recurrence-events: 12.9% de las instancias fueron clasificadas incorrectamente.
• Precision: Proporción de instancias clasificadas como positivas que realmente son positivas.
  • no-recurrence-events: 74.2% de las instancias clasificadas como esta clase eran realmente de esta clase.
  • recurrence-events: 48.0% de las instancias clasificadas como esta clase eran realmente de esta clase.
• Recall: Mide la capacidad del modelo para identificar correctamente las instancias positivas.
  • no-recurrence-events: 87.1% de las instancias reales de esta clase fueron identificadas correctamente.
  • recurrence-events: Solo 28.2% de las instancias reales de esta clase fueron identificadas correctamente.
• F-Measure: Promedio armónico entre precisión y recall.
  • no-recurrence-events: 80.1%
  • recurrence-events: 35.6%
• MCC (Coeficiente de Correlación de Matthews): Proporciona una medida única del rendimiento del clasificador, teniendo en cuenta verdaderos y falsos positivos y negativos. Un valor cercano a 0 indica un rendimiento similar al azar, mientras que valores cercanos a 1 indican un mejor rendimiento.
  • En este caso, el valor es bajo (0.184), indicando un rendimiento pobre.
• ROC Area (Área bajo la Curva ROC): Mide la capacidad del modelo para diferenciar entre clases. Valores más altos indican mejor rendimiento.
  • En este caso, el área bajo la curva es 0.634, lo que sugiere un rendimiento mediocre en la clasificación.
• PRC Area (Área bajo la Curva de Precisión): Similar a ROC, pero enfocado en precisión y recall.
  • El área PRC es 0.682, también indicando un rendimiento aceptable pero no excelente.

Matriz de Confusión

   a   b   <-- classified as
 175  26 |   a = no-recurrence-events
  61  24 |   b = recurrence-events

• Interpretación:
  • Iris no-recurrence-events: 175 instancias fueron correctamente clasificadas como no-recurrencia, mientras que 26 instancias de esta clase fueron clasificadas incorrectamente como recurrencia.
  • Iris recurrence-events: 24 instancias fueron correctamente clasificadas, pero 61 fueron clasificadas incorrectamente como no-recurrencia.

Conclusión

Los resultados indican que el modelo Random Forest tiene un rendimiento moderado en el conjunto de datos breast-cancer con una tasa de clasificación correcta del 69.58%. Aunque el modelo clasifica bien las instancias de la clase “no-recurrence-events”, tiene un rendimiento pobre en la clase “recurrence-events”, con una tasa de verdaderos positivos del 28.2%. Las métricas de Kappa y MCC indican que la concordancia entre las predicciones y las clases reales es baja, sugiriendo que hay un espacio considerable para mejorar el modelo, ya sea ajustando los parámetros, utilizando técnicas de preprocesamiento, o explorando otros algoritmos de aprendizaje automático.