Imitando la toma de decisiones humana

A lo largo de este texto hemos profundizado en una multitud de estrategias orientadas a alcanzar un objetivo singular: desarrollar habilidades superlativas en el juego de ajedrez. Aunque la meta de alcanzar la perfección en este juego de estrategia todavía está lejos de ser alcanzada, y no se espera que se logre en un futuro próximo, existen otros objetivos fascinantes que merecen atención. Uno de estos propósitos destacados es el de “imitar” el comportamiento humano. Ahora bien, ¿en qué consiste precisamente esta imitación del comportamiento humano?

La imitación del comportamiento humano en este contexto se traduce en la capacidad de jugar al ajedrez de manera semejante a cómo lo haría una persona. El aspecto crucial a entender aquí es que los programas de ajedrez contemporáneos no reflejan un estilo de juego que se asemeje significativamente al de un ser humano. Esto ocurre debido a que el método de determinar las jugadas es absolutamente distinto.

A lo largo de este texto hemos detallado cómo los ordenadores utilizan una combinación de exploración en el árbol de juego y el empleo de heurísticas para tomar decisiones. En contraste, los seres humanos utilizamos los mismos componentes, pero de manera completamente diferente. Un humano no tiene la capacidad de explorar más de 100 posiciones en su mente, incluso los individuos más dotados, mientras que un ordenador puede explorar millones de posiciones en cuestión de segundos. No obstante, la calidad de la heurística humana, es decir, la habilidad de evaluar una posición y discernir cuáles son las jugadas con mayor probabilidad de suceder, es notablemente superior. AlphaZero, en cambio, representa un punto intermedio donde consigue tener una heurística más avanzada, pero su habilidad para buscar entre nodos es menor en comparación con los programas de ajedrez tradicionales.

La Tabla 1 proporciona una comparación detallada de las diversas maneras en las que se puede abordar el ajedrez, desde la perspectiva humana y de la máquina. Las aproximaciones mostradas en la tabla pueden variar en función del tiempo dedicado a analizar una posición concreta.

Modelo	Nodos explorados	Calidad de la heurística
Humanos	$<$100	Muy buena
AlphaZero	$\approx$10000	Buena
Programas tradicionales	$>$1000000	Mala

Comparación de uso de búsqueda y heurísticas entre humanos y programas de ordenador

La notable discrepancia entre el estilo de juego de los programas de ajedrez y los jugadores humanos hace que sea un desafío considerable para los primeros imitar con precisión el comportamiento de los últimos. Sin embargo, AlphaZero, con su enfoque innovador, ha logrado exhibir un estilo de juego más “humano” en comparación con los programas tradicionales.

Un interrogante fundamental en este punto es ¿qué es lo que distingue el juego humano del de los ordenadores? Entre las diferencias más destacables se encuentra la habilidad para evaluar posiciones estratégicas. Estas situaciones se caracterizan por no ser un enfrentamiento directo entre los competidores, sino más bien una maniobra sutil en las que los jugadores reubican sus piezas detrás de sus líneas de defensa, buscando una ventaja estratégica que pueda llevarlos a la victoria al momento del choque decisivo. En estas circunstancias, los jugadores humanos solían tener un desempeño superior a sus contrapartes de silicio, al menos hasta la aparición de AlphaZero.

Los ordenadores, por otro lado, destacan en posiciones tácticas, donde un solo movimiento puede ser crucial para el desenlace de la partida. Gracias a su capacidad superior para explorar extensivamente el árbol de juego, pueden identificar con mayor facilidad el momento clave o crítico.

La distinción entre el juego humano y el de los ordenadores es especialmente evidente en las posiciones puramente estratégicas y tácticas. En las estratégicas, los ordenadores a veces pueden parecer erráticos o sin una dirección clara. En cambio, en las posiciones tácticas, pueden realizar movimientos que inicialmente pueden parecer incomprensibles para un humano, pero que tras varias jugadas, se revelan como la opción más óptima.

Para abordar los desafíos que se presentaban, se desarrolló un nuevo modelo basado en el aprendizaje profundo, conocido como Maia. Este modelo consta de dos versiones: La primera, Maia [McIlroy-Young, 2020], tiene como propósito imitar las estrategias de jugadores que se encuentran dentro de un rango de ELO especificado. En otras palabras, reproduce el estilo de juego promedio de los jugadores dentro de ese rango. La segunda versión, Transfer Maia [McIlroy-Young, 2022], lleva el concepto un paso más allá, replicando los movimientos de jugadores específicos. Esto implica que, gracias a Transfer Maia, puedes tener la oportunidad de jugar contra los estilos de juego de los mejores jugadores de ajedrez de hace cien años.

Ambas versiones de Maia utilizan una red neuronal que es muy similar a Leela Chess Zero, la cual es una versión de código abierto de Alphazero, aunque existen diferencias notables. La primera es que se ha disminuido el número de bloques en el extractor de características. Los autores del estudio encontraron que añadir más bloques solo mejora marginalmente el rendimiento de la red [McIlroy-Young, 2020]. Sin embargo, el cambio más sustancial en la red neuronal reside en la modificación de los objetivos y los datos utilizados para el entrenamiento. Como se ha expuesto en este libro, las redes neuronales son capaces de desarrollar cualquier algoritmo siempre y cuando se les proporcionen los datos adecuados. Por lo tanto, una misma red neuronal puede adaptarse a objetivos muy distintos simplemente modificando los datos de entrada.

Anteriormente, tanto AlphaZero como Leela Chess Zero requerían generar sus propios datos de entrenamiento a través de jugar partidas contra sí mismos. Ahora, con Maia, el proceso es considerablemente más sencillo: simplemente necesitamos buscar partidas del rango de ELO o del jugador de interés.

En términos de entrenamiento, es importante tener en cuenta que tenemos dos salidas: valor y política, y que cada posición en el juego será nuestra entrada Igual que AlphaZero, Maia también toma en cuenta las posiciones previas de la partida en la entrada. Para el valor, Maia utiliza una ligera variación: la salida corresponde a las probabilidades de ganar/empatar/perder desde la posición actual para el jugador medio o el jugador específico. Esta probabilidad se compara con el resultado real desde la perspectiva del jugador, independientemente de si juega con las piezas blancas o negras. En cuanto a la política, simplemente se compara la salida de la red neuronal con el movimiento que el jugador realizó en la partida. La salida de la red neuronal brinda la probabilidad de cada movimiento legal posible. Para lograr esto, se aplica una máscara de movimientos legales, que permite solo considerar estos y descartar los movimientos no legales. Todas las partidas las han extraido de la plataforma de ajedrez online Lichess.

El modelo Transfer Maia implementa una estrategia de entrenamiento que se asemeja a la convencional, pero con la particularidad de que inicia con los pesos predefinidos del modelo correspondiente al jugador medio que presenta un rango de ELO más cercano al del jugador que se pretende emular. Este proceso se conoce como transfer learning, una técnica muy recurrida que permite reducir el tiempo de entrenamiento de una red neuronal al aprovechar los pesos ya calculados de otro modelo.

Los resultados obtenidos a partir de estos modelos son sólidos, aunque no extraordinarios. Para evaluar su desempeño se utiliza una métrica conocida como precisión, que compara la jugada con mayor probabilidad de ser seleccionada por la red neuronal con la jugada que realmente fue efectuada en esa posición. De acuerdo con esta métrica, Maia sobresale, obteniendo mejores resultados en comparación con Stockfish y Leela Chess Zero. En términos concretos, la precisión de Maia orientado al jugador promedio oscila entre el 48% y el 52%, dependiendo del rango de ELO. Esto implica que, de 100 posiciones, acierta en aproximadamente 50. Aunque este resultado supera a los modelos previos (con una precisión inferior al 45%), la probabilidad de acierto es comparable a la de obtener cara al lanzar una moneda. Como norma general, la precisión tiende a aumentar con el rango de ELO. Mi hipótesis acerca de esta tendencia se basa en que los estilos de juego en niveles más bajos suelen ser más variables, mientras que a niveles más altos los estilos de juego tienden a ser más uniformes. El modelo orientado a jugadores específicos muestra un rendimiento superior, con una precisión entre el 55% y el 62.5%, lo que indica claramente mejores probabilidades que el simple lanzamiento de una moneda. Además, según los autores del estudio, son capaces de identificar a los jugadores con una precisión del 95% utilizando su respectivo modelo [McIlroy-Young, 2022], lo que podría tener numerosas aplicaciones en la detección de trampas en el ajedrez online.

La explicación de que los resultados de estos modelos no sean superiores probablemente reside en que la posición en el tablero no es el único factor que determina las jugadas de un jugador. Existen otros aspectos que pueden influir. Un factor determinante es el tiempo. Los jugadores de ajedrez cuentan con un tiempo limitado para realizar sus jugadas, y si se agota, pierden la partida automáticamente. Por tanto, la forma de jugar variará significativamente si se cuenta con pocos segundos en contraposición a tener una hora en el reloj. Este factor es fácilmente cuantificable en el ajedrez online y podría representar una valiosa mejora para Maia. Otras variables que podrían tener influencia incluyen el estado de ánimo del jugador (la toma de decisiones puede variar dependiendo de si el jugador se encuentra estresado, enojado o en un estado normal) e incluso el entorno de juego (jugando en persona o online) [Künn, 2020]. Estos factores son muy complicados de medir para ser usados por una red neuronal.

En resumen, a pesar de que los resultados de ambos modelos de Maia son prometedores, la complejidad inherente al problema dificulta la obtención de una solución superior, dado que muchos de los factores que influyen en la toma de decisiones humanas son difíciles de medir. No obstante, este campo de investigación es extremadamente fascinante y sus hallazgos podrían tener aplicaciones en otros juegos, como Go o Shogi.