AnyTools
🔤
Detector de Codificação de Texto
Detector de codificação totalmente no navegador com carregamento de exemplo, dicas de conversão e documentação em 16 idiomas.
Text Entrada
❓O que é Character Encoding
A codificação de caracteres é um sistema que mapeia caracteres para valores binários para armazenamento e transmissão em computador. Diferentes codificações usam diferentes mapeamentos: ASCII usa 7 bits (128 caracteres, apenas inglês), ISO-8859-1 (Latin-1) estende para 8 bits (256 caracteres, Europa Ocidental), GB2312/GBK para chinês simplificado, Big5 para chinês tradicional, Shift-JIS para japonês, UTF-8 (1-4 bytes, universal, retrocompatível com ASCII), UTF-16 (2 ou 4 bytes). Mojibake (texto distorcido como �) ocorre quando o texto codificado em um conjunto de caracteres é decodificado com outro. BOM (Byte Order Mark) é uma assinatura opcional no início do arquivo que identifica a codificação. A detecção adequada de codificação previne corrupção de dados e garante a exibição correta de texto em sistemas e idiomas.
✨Features
🔍
Smart Detection
Automatically detect text encoding using statistical analysis, BOM detection, character pattern recognition. Support UTF-8/16/32, GBK, GB2312, Big5, Shift-JIS, ISO-8859 series, Windows-1252 with confidence scores
🔄
Charset Conversion
Convert text between any supported encodings: UTF-8 ↔ GBK ↔ Big5, fix mojibake issues, add or remove BOM markers, handle surrogate pairs and combining characters correctly
🩺
Encoding Diagnosis
Identify encoding problems: invalid byte sequences, mixed encodings in same file, BOM mismatches, surrogate pair errors with suggestions for fixing and detailed error reports
📦
Batch Processing
Process multiple files simultaneously with encoding detection, convert entire directories, preserve file structure, generate conversion reports with statistics and error logs
🎯
Cenários de uso
🏢
Migração de sistemas legados
Converter arquivos GBK/Big5 para UTF-8 ao modernizar plataformas financeiras, ERP ou governamentais.
🌐
QA de conteúdo global
Times de conteúdo e SEO verificam se sites, feeds e e-mails multilíngues declaram o charset correto.
🧾
Pipelines de ingestão de dados
Conferir a codificação de logs, CSVs e entradas ETL de parceiros antes de carregá-los no data lake ou Spark.
🛠️
Depuração para desenvolvedores
Identificar rapidamente conflitos de BOM ou codificações misturadas em diffs do Git ou exportações de banco de dados.
📋Usage Guide
Upload or Paste
Upload text file or paste text content for encoding analysis
Detect Encoding
Click detect to automatically identify encoding, or manually specify if known
Review Results
Check detected encoding, confidence level, BOM presence, and preview text
Convert if Needed
Select target encoding, convert text, download or copy converted result
📚Introdução Técnica
🔧Funcionalidade
Esta ferramenta fornece funções profissionais para processar tarefas específicas eficientemente. Fácil de usar, resultados precisos.
⚙️Processamento
Processa e valida dados entrada, gera resultados com algoritmos otimizados. Inclui tratamento erros e validação.
💻Aplicações
Útil para desenvolvimento, testes, trabalho prático. Economiza tempo, melhora qualidade trabalho.
❓
Frequently Asked Questions
❓
Quão precisa é a detecção de codificação?
O detector combina detecção BOM, análise estatística e validação de padrões de bytes para estimar o conjunto de caracteres mais provável. Cada execução também exibe uma pontuação de confiança para que você saiba quando uma revisão manual adicional é recomendada.
💬
Posso conversor o texto após a detecção?
Sim. Uma vez identificada uma codificação, você pode escolher qualquer conjunto de caracteres de destino, conversor o texto inteiramente no navegador e baixar ou copiar a saída convertida sem fazer enviar de arquivos.
🔍
O que faz a opção Adicionar ou Remover BOM?
Um BOM (Byte Order Mark) é uma assinatura opcional no início dos arquivos UTF. Adicionar um BOM ajuda algumas ferramentas do Windows a detectar a codificação, enquanto removê-lo mantém os arquivos enxutos para ambientes UNIX. Alterne a opção com base em onde o texto será usado.
💡
Por que ainda vejo caracteres distorcidos após a conversão?
Se o texto foi decodificado anteriormente com o conjunto de caracteres errado, o dano pode já estar salvo. Tente recarregar o arquivo original, certifique-se de que a codificação de origem correta está selecionada e converta novamente. Codificações mistas em um único arquivo também podem produzir mojibake.
📚
Meu texto é carregado ou armazenado?
Não. A detecção e a conversão acontecem inteiramente no seu navegador. Os arquivos nunca saem do seu dispositivo, portanto os documentos confidenciais permanecem privados.
💡Best Practices
💡
Always Use UTF-8
Use UTF-8 encoding everywhere by default - databases, files, HTTP headers, HTML meta tags. UTF-8 is universal, supports all languages, backward compatible with ASCII, and is the web standard. Declare encoding explicitly in HTML (<meta charset="UTF-8">) and HTTP headers (Content-Type: text/html; charset=utf-8). This prevents mojibake and ensures consistent text display across systems.
🔍
Detect Before Converting
Always detect encoding before attempting conversion to avoid data corruption. Use confidence scores from detection libraries to verify accuracy. For ambiguous cases (low confidence), inspect sample text manually or try multiple encodings with visual verification. Never assume encoding based solely on file extension or origin - always validate.
📝
Handle BOM Correctly
Check for BOM (Byte Order Mark) at file start for definitive encoding identification. UTF-8 BOM (EF BB BF) is optional but helps with detection. UTF-16/32 requires BOM to determine byte order (LE/BE). Some systems expect BOM, others reject it - know your target system. Remove or add BOM as needed during conversion.
🩺
Test Mojibake Fixes
When fixing garbled text, identify original and misinterpreted encodings through pattern analysis. Common mojibake: UTF-8 as Latin-1 (é instead of é), Chinese as ? or random chars. Re-encode to intermediate encoding, then decode with correct one. Test fixes on sample data before processing entire files. Some mojibake is irreversible if data was already corrupted in database.
⚠️
Validate at Boundaries
Validate encoding at system boundaries - file reads, HTTP requests, database queries, API calls. Use charset declarations in all data transfers. Sanitize and validate input text to detect invalid byte sequences early. Log encoding issues for debugging. Implement fallback strategies for encoding detection failures. Never mix encodings within single file or database column.
🔗Related Documents
🧾W3C - Character encodings-Recomendação W3C sobre detecção e declaração de codificações de caracteres em documentos web.
User Comments
Loading...