Skip to content

Normalización de datos usando lógica difusa con SQL Server

05/07/2012

 Una problemática que aparece al momento de definir el modelo de datos para el armado de un datawarehouse es la existencia de datos desnormalizados. Ejemplo de esto puede ser la localidad en el domicilio de una tabla de personas, donde la misma localidad puede aparecer escrita de varias formas distintas. Pero para representar la información de manera consistente, todas las variantes de una localidad deben estar agrupadas en un solo miembro.

Para resolver este problema, propongo utilizar las herramientas de lógica difusa existentes en SQL Server y particularmente en Integration Services. Mediante la transformación de Fuzzy Lookup (correspondencia difusa) podremos obtener por cada valor de una localidad su correspondiente valor normalizado desde una tabla maestra, pero aquí la gran ventaja es que esta correspondencia no será por igualdad, sino por semejanza. A continuación muestro un ejemplo de aplicación de esta técnica para que puedan adaptarlo a cada requerimiento.


Las tablas de datos que utilizaremos serán las siguientes:

Tablas a utilizar en el ejemplo de fuzzy lookup

Y generaremos un paquete de Microsoft SQL Server Integration Services con una tarea de data flow task según este detalle:

Paquete MSSIS

Paquete MSSIS

Configuración transformación fuzzy lookup / Solapa 1

Configuración transformación fuzzy lookup / Solapa 1

Configuración transformación fuzzy lookup / Solapa 2

Configuración transformación fuzzy lookup / Solapa 2

Configuración transformación fuzzy lookup / Solapa 3

Configuración transformación fuzzy lookup / Solapa 3

Como pueden apreciar, la implementación de esta técnica es muy simple a partir del uso de Integration Services y las tareas que este componente nos ofrece.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: