C4.5

C4.5 es un algoritmo usado para generar un árbol de decisión desarrollado por Ross Quinlan.^[1]​ C4.5 es una extensión del algoritmo ID3 desarrollado anteriormente por Quinlan. Los árboles de decisión generados por C4.5 pueden ser usados para clasificación, y por esta razón, C4.5 está casi siempre referido como un clasificador estadístico.

C4.5 construye árboles de decisión desde un grupo de datos de entrenamiento de la misma forma en que lo hace ID3, usando el concepto de entropía de información. Los datos de entrenamiento son un grupo ${displaystyle S={s_{1},s_{2},...}}$ de ejemplos ya clasificados. Cada ejemplo ${displaystyle s_{i}={x_{1},x_{2},...}}$ es un vector donde ${displaystyle x_{1},x_{2},...}$ representan los atributos o características del ejemplo. Los datos de entrenamiento son aumentados con un vector ${displaystyle C={c_{1},c_{2},...}}$ donde ${displaystyle c_{1},c_{2},...}$ representan la clase a la que pertenece cada muestra.

En cada nodo del árbol, C4.5 elige un atributo de los datos que más eficazmente dividen el conjunto de muestras en subconjuntos enriquecidos en una clase u otra. Su criterio es el normalizado para ganancia de información (diferencia de entropía) que resulta en la elección de un atributo para dividir los datos. El atributo con la mayor ganancia de información normalizada se elige como parámetro de decisión. El algoritmo C4.5 divide recursivamente en sublistas más pequeñas.

Este algoritmo tiene unos pocos casos base.

En pseudocódigo, el algoritmo general para construir árboles de decisión es:^[2]​

J48 es una implementación open source en lenguaje de programación Java del algoritmo C4.5 en la herramienta weka de minería de datos.

En C4.5 se hicieron un número de mejoras a ID3. Algunas de ellas son:

Quinlan continuó con la creación del C5.0 y el See5 (C5.0 para Unix / Linux, See5 para Windows) con fines comerciales. C5.0 ofrece una serie de mejoras en el C4.5. Algunas de estas son:^[4]​

Los Fuentes de una versión para Linux de un único subproceso de C5.0 están disponibles bajo licencia GPL. También se encuentra disponible una implementación del algoritmo en R