Näkymättömien merkkien poistaja
Tekstiin upotetut näkymättömät merkit selviävät kopioinnista ja liittämisestä, mutta niitä ei näy ruudulla. Tämä sivu löytää ne ja poistaa ne omalla koneellasi, ilman tunnusta ja ilman että teksti lähtee mihinkään.
Ei vielä puhdistettavaa.
Mistä näkymättömät merkit tekstiin tulevat
Unicodessa on kymmeniä merkkejä, jotka vievät tilaa merkkijonossa mutta eivät piirrä mitään. Useimmille niistä on hyvä syy. Pehmeä tavuviiva kertoo, mihin sana saa katketa. Nollan levyinen yhdistäjä liimaa emojin yhteen, ja kirjoitussuunnan ohjausmerkit pitävät arabian ja heprean oikeinpäin. Merkki, joka vie tilaa eikä näytä mitään, on kuitenkin myös hyvä paikka piilottaa signaali. Osa tekoälytyökaluista merkitsee tuotoksensa juuri näin, ja merkinnät kulkevat kopioinnin, liittämisen ja sähköpostin läpi koskemattomina.
Kyse ei ole pelkästä vesileimauksesta. Verkkosivulta kaavittu tai PDF:stä napattu teksti kerää niitä vahingossa, ja sen jälkeen ne rikkovat merkkijonovertailun, URL-tunnuksen, tietokantahaun tai diffin syystä, jota kukaan ei näe.
Mitä tarkalleen poistetaan
Lista tulee samasta taulukosta, jota puhdistin käyttää, joten se ei voi vanhentua.
- Nollan levyiset ja kirjoitussuunnan merkitU+200B–U+200F
- Sanayhdistäjä ja näkymättömät matematiikkamerkitU+2060–U+2064
- Kirjoitussuunnan ohitukset ja eristimetU+061C, U+202A–U+202E, U+2066–U+2069
- Vanhentuneet muotoilumerkitU+206A–U+206F
- Pehmeä tavuviiva, grafeemiyhdistäjä ja tavujärjestysmerkkiU+00AD, U+034F, U+FEFF
- MuunnosvalitsimetU+FE00–U+FE0F, U+E0100–U+E01EF
- TunnistemerkitU+E0001, U+E0020–U+E007F
- Rivienvälisen huomautuksen merkitU+FFF9–U+FFFB
- Yksityiskäyttöalueen merkitU+E000–U+F8FF, U+F0000–U+FFFFD, U+100000–U+10FFFD
- Poikkeavat välilyönnit, jotka muutetaan tavalliseksi välilyönniksiU+00A0, U+1680, U+2000–U+200A, U+202F, U+205F, U+3000
Mitä jätetään rauhaan
Emojit toimivat jatkossakin. Muunnosvalitsin tai nollan levyinen yhdistäjä, joka pitää emojin koossa, jää paikalleen, samoin yhdistäjät, joita persia ja intialaiset kirjoitusjärjestelmät käyttävät sanojen sisällä. Ne poistuvat vain pyytäessä. Rivinvaihtoihin, sarkaimiin ja tavallisiin välimerkkeihin työkalu ei koske.
Mistä tämä on peräisin
Poimin merkkitaulukon yasir-mon AI-watermark-remover-GUI-projektista, joka tekee saman työn Pythonilla komentoriviltä MIT-lisenssillä. Taulukko on se osa, joka kannatti varastaa: yhdeksän merkkiryhmää, ja jos yksi koodialue niistä on väärin, sivu joko jättää vesileiman paikalleen tai rikkoo jonkun tekstin huomaamatta.
Yhtä kohtaa en saanut siirrettyä sellaisenaan. Alkuperäinen projekti päättelee ennen poistoa, tekeekö yhdistäjä näkyvää työtä, enkä päässyt lukemaan sitä funktiota, joten rakensin säännön uudelleen taulukon nimien perusteella. Se osaa ne neljä tapausta, jotka pystyn testaamaan: sydän muunnosvalitsimella, kolmen hengen perhe-emoji, Skotlannin lippu ja persiankielinen sana, jonka sisällä on nollan levyinen ei-yhdistäjä. Jos löydät tekstin, jossa se päättelee väärin, vika on tuossa kohdassa.
Kysymyksiä
Merkkejä, jotka vievät paikan tekstissä mutta eivät piirrä mitään. Yleisimpiä ovat nollan levyiset välit, tavujärjestysmerkki, pehmeät tavuviivat, kirjoitussuunnan ohjausmerkit, muunnosvalitsimet, tunnistemerkit ja yksityiskäyttöalueet. Ne kopioituvat kuin mikä tahansa merkki, ja siksi ne kulkevat niin hyvin eikä niitä voi huomata lukemalla.