I2C Huelva at SemEval-2023 Task 4: A Resampling and Transformers Approach to Identify Human Values behind Arguments

Abstract

This paper presents the approaches proposed for I2C Group to address the SemEval-2023 Task 4: Identification of Human Values behind Arguments (ValueEval)", whose goal is to classify 20 different categories of human values given a textual argument. The dataset of this task consists of one argument per line, including its unique argument ID, conclusion, stance of the premise towards the conclusion and the premise text. To indicate whether the argument draws or not on that category a binary indication (1 or 0) is included. Participants can submit approaches that detect one, multiple, or all of these values in arguments. The task provides an opportunity for researchers to explore the use of automated techniques to identify human values in text and has potential applications in various domains such as social science, politics, and marketing. To deal with the imbalanced class distribution given, our approach undersamples the data. Additionally, the three components of the argument (conclusion, stance and premise) are used for training. The system outperformed the BERT baseline according to official evaluation metrics, achieving a f1 score of 0.46.

Este artículo presenta las estrategias propuestas por el Grupo I2C de la Universidad de Huelva para abordar la Tarea 4 de SemEval-2023: "Identificación de valores humanos detrás de argumentos (ValueEval)", cuyo objetivo es clasificar 20 categorías diferentes de valores humanos a partir de un argumento textual. El conjunto de datos de esta tarea consiste en un argumento por línea, incluido su ID de argumento único, la conclusión, la postura de la premisa respecto a la conclusión y el texto de la premisa. Para indicar si el argumento entra o no en esa categoría se incluye una indicación binaria (1 o 0). Los participantes pueden presentar enfoques que detecten uno, varios o todos estos valores en los argumentos. La tarea brinda a los investigadores la oportunidad de explorar el uso de técnicas automatizadas para identificar valores humanos en el texto y tiene aplicaciones potenciales en diversos ámbitos, como las ciencias sociales, la política y el marketing. Para hacer frente a la distribución desequilibrada de las clases, nuestro método utiliza técnicas de balanceo de datos. Además, para el entrenamiento de los modelos se utilizan los tres componentes del argumento (conclusión, postura y premisa). El sistema superó a la línea base según las métricas oficiales de evaluación, alcanzando una medida F1 de 0,46.