Datasets de LLM

Este conjunto de datos se centra en el ámbito financiero, cubriendo preguntas de examen en subdirecciones como productos, mercados, comportamiento, principios, con un volumen total de 250.000 preguntas. De estas, preguntas de opción múltiple y preguntas abiertas representan la mitad cada una, con 125.000 preguntas respectivamente. Los datos se almacenan en formato JSONL, pudiendo proporcionar material abundante para investigación y aprendizaje de conocimientos financieros.

Datos estructurados de análisis de preguntas de examen en coreano, volumen total aproximado de 1.500.000 preguntas; cada pregunta contiene campos como tipo de pregunta, enunciado, respuesta, análisis, etc.; las asignaturas incluyen:Primaria:lengua nacional, matemáticas, inglés, estudios sociales, ciencias;Secundaria: lengua nacional, inglés, matemáticas, ciencias, estudios sociales;Bachillerato: lengua nacional, inglés, matemáticas, física, química, biología, historia, geografía;los tipos de preguntas incluyen opción múltiple, completar espacios, verdadero/falso, respuesta abierta, etc.; estos datos pueden utilizarse para tareas de mejora de conocimiento disciplinario en modelos de gran escala.

Datos de texto de la plataforma de preguntas y respuestas OKWAVE de Japón, que contienen múltiples campos como pregunta, respuesta, categoría, fecha de publicación, autor de la publicación; los datos se actualizan continuamente. Hasta finales de abril de 2025: 8,4 millones de preguntas, 2,3 mil millones de caracteres; 27 millones de respuestas, 7,6 mil millones de caracteres; 15,5 millones de agradecimientos (agradecimientos expresados por el que pregunta al que responde), 1,7 mil millones de caracteres; 2,1 millones de explicaciones complementarias, 360 millones de caracteres; estos datos pueden usarse para el entrenamiento de modelos grandes generales.

Datos de procesamiento de análisis estructurado de texto de 32.000.000 de preguntas de examen de ciencias e ingeniería, que contienen asignaturas de ciencias e ingeniería como matemáticas, física, química, biología en primaria, secundaria, preparatoria y universidad. Cada pregunta contiene campos como problema, respuesta, análisis, tipo de pregunta, asignatura, etapa educativa. Estos datos pueden usarse para tareas de mejora de conocimiento disciplinario de modelos grandes.

Datos de procesamiento de análisis estructurado de texto de 1.000.000 de preguntas de examen de código en chino, que contienen preguntas de código en múltiples lenguajes como c, c++, python, java, javascript. Cada pregunta contiene campos como problema, respuesta, análisis y lenguaje. Estos datos pueden ayudar al modelo a construir y consolidar habilidades de programación de código, logrando así un mejor desempeño en tareas de programación.

Conjunto de datos de texto para ajuste fino de instrucciones con modelos grandes en inglés, recurso de entrenamiento diseñado específicamente para la optimización de modelos de IA, mejora significativamente la capacidad de comprensión y ejecución de instrucciones del modelo, con doble verificación por lingüistas e ingenieros de IA, compatible perfectamente con los requisitos de ajuste fino de modelos preentrenados principales.

50.000 grupos de datos de edición de imágenes. Los tipos de edición incluyen eliminación de objetivo, adición de objetivo, modificación de objetivo, reemplazo de objetivo. Los objetivos de edición cubren escenarios como personas, animales, productos, plantas, paisajes, etc. En cuanto a anotaciones, según las instrucciones de edición, se realiza recorte y anotación de eliminación/adición/modificación/reemplazo del objetivo que necesita edición en la imagen. Los datos pueden usarse para composición de imágenes, aumento de datos, generación de escenas virtuales y otras tareas.

Datos de video multiesilo de 25.000 personas, que contienen videos de múltiples estilos de 25.000 personas en diferentes escenarios. Los tonos de piel cubren blanco/amarillo/marrón/negro, las edades cubren jóvenes/adultos/ancianos. La resolución de video no es inferior a 1.920x1.080, la duración no es inferior a 10 segundos. Este conjunto de datos puede usarse para generación de video con consistencia de personajes, generación de humanos digitales y otras tareas.

100.000 pares de instrucciones prompt complejas en chino, con una longitud de 50 a 400 caracteres, cada prompt contiene no menos de 3 condiciones restrictivas, utilizadas para entrenar y mejorar la capacidad de seguimiento de instrucciones de grandes modelos. Las categorías cubren generación (redacción de noticias, esquemas de entrevistas, creación de textos, revisión de manuscritos, redacciones en chino e inglés, aprendizaje gramatical, informes de investigación, planes de estudio, creación poética, presentación de comida, artículos publicitarios, discursos de ventas, escritura asistida de documentos oficiales, revisión de documentos oficiales, preguntas y respuestas sobre documentos políticos, etc.), reescritura (reformulación de oraciones, corrección de textos, fusión de oraciones, simplificación de textos), resumen (resumen de contenido), extracción (extracción de elementos de eventos, extracción de opiniones, extracción de palabras clave, extracción de posturas, extracción de entidades). Todos los prompts fueron escritos manualmente, satisfacen una cobertura diversificada.