Necessito generar identificadors estables per a cadenes de text per poder desduplicar entrades sense conservar els valors originals.

Aquesta funcionalitat genera identificadors estables a partir de cadenes d'entrada, la qual cosa permet reconèixer i desduplicar valors repetits sense emmagatzemar el text original. Ajuda a reduir la retenció de dades sensibles mantenint una referència consistent per a la concordança i l'agrupació.

Aquesta funcionalitat produeix un identificador estable per a una cadena donada, de manera que la mateixa entrada sempre resulti en el mateix identificador de sortida. Està dissenyada per donar suport a fluxos de treball de desduplicació on es vol detectar valors repetits sense persistir les cadenes originals. Podeu utilitzar l'identificador com a clau substituta en inserir, fusionar o comparar registres entre execucions o sistemes. En emmagatzemar només l'identificador, podeu minimitzar l'exposició de valors sensibles o propietaris mantenint la capacitat de fer coincidir entrades idèntiques. Els identificadors es poden utilitzar per a l'agrupació d'anàlisis, l'aplicació de restriccions d'unicitat o la prevenció d'enviaments duplicats. També admet canonades de normalització de dades on els camps originals es transformen en referències consistents abans de l'emmagatzematge. Els casos d'ús comuns inclouen la desduplicació de correus electrònics, noms d'usuari, identificadors de dispositius, SKU de productes o etiquetes de text lliure, evitant la retenció de valors originals. La funcionalitat és especialment útil en entorns conscients de la privadesa on l'emmagatzematge de cadenes originals no és desitjable. Es pot integrar en la lògica d'ingestió, ETL i de la capa d'aplicació sempre que es requereixi una concordança consistent.