Размер словаря при архивации что это
Как влияет размер словаря на сжатие?
Я знаю, что больший размер может привести к лучшей степени сжатия и vice verca. Но есть ли способ я могу решить лучше. поскольку есть так много вариантов
до сих пор я заметил размер словаря ≈ размер файла дает оптимальное сжатие.
Здесь файл ∼8mb test.avi имеет одинаковую степень сжатия для всех размеров словарей больше 8 МБ. Затем он начинает падать.
1 ответов
повторяющиеся элементы хранятся в словаре и присвоить код в качестве замены.
вместо целой строки он просто ставит код на свое место. Чем больше словарь, тем больше кодов он может обрабатывать. Обычно, когда словарь заполняется, он начинает новый на лету. Когда он начинает новый, он пуст, и новые коды назначаются обнаруженным шаблонам.
как правило, чем больше тем лучше в точку. Весь словарь хранится в памяти так что вам нужно больше оперативной памяти, чем размер словаря.
размер словаря зависит от сжимаемости данных, количества файлов, размера и общего размера.
Как правило, 32 Мб более чем достаточно, но если вы сжимаете многочисленные файлы с несколькими концертами, можно использовать гораздо большее число. Большие словари часто делают процесс медленнее, но результаты в меньшем файле.
Размер словаря в WinRar для чего нужен?
Нажимаете вопросик справа вверху в архиваторе и читаем справку..
«Здесь выбирается размер области памяти, используемый для поиска и сжатия повторяющихся элементов в обрабатываемых данных. Увеличение размера словаря иногда позволяет улучшить сжатие крупных файлов, особенно при создании непрерывного архива. Однако чем больше словарь, тем медленнее архивирование и тем больше памяти требуется. Для упаковки нужно примерно в шесть раз больше памяти, чем выбранный размер словаря. Для распаковки требуется памяти чуть больше однократного размера словаря, использовавшегося при создании архива. Если нужно, чтобы архив RAR5 можно было распаковать на любых компьютерах, в том числе с малым количеством памяти, лучше избегать больших словарей, выбирая что-то посередине, например 32 или 64 МБ.
Максимальный размер словаря для архивов RAR4 равен 4 МБ. В формате RAR5 можно создавать архивы со словарём до 1 ГБ в 64-разрядной версии WinRAR, и до 256 МБ — в 32-разрядной (в Windows XP x86 – до 128 МБ). Распаковка требует меньше памяти, чем упаковка, поэтому обе версии WinRAR — 32- и 64-разрядная — способны распаковывать архивы с любым размером словаря, включая 1 ГБ, при условии, что в компьютере не менее 1 ГБ доступной памяти. Для формата ZIP размер словаря фиксированный и составляет 32 КБ.
Если размер всех исходных файлов для непрерывного архива или размер наибольшего исходного файла для обычного (не непрерывного) архива хотя бы вдвое меньше заданного размера словаря, то WinRAR может уменьшить размер словаря. Это снижает потребление памяти, не ухудшая сжатия.»
Как максимально сжать файл в WinRAR
Как сжать файлы в архиве WinRAR максимально? Выбирайте новейший формат RAR5, метод сжатия «Максимальный» и превышающий вес архивируемых файлов размер словаря. Архивирование не вызовет сложностей даже у начинающих пользователей, если четко следовать приведенным в пошаговой инструкции рекомендациям.
Формата архива
WinRAR архивирует файлы в трех форматах: RAR5, RAR4 и ZIP. ZIP устарел: обеспечивает низкую компрессию и сжимает дольше. Выбирайте ZIP, только если у получателя архива нет доступа к WinRAR. RAR4 — это формат файлов предыдущей версии утилиты Винрар 4. Чтобы обеспечить архиватору WinRAR максимальное сжатие, не меняйте предложенный утилитой формат RAR.
Метод сжатия
По умолчанию устанавливается «Обычный» метод. Раскройте выкидной список и выберите значение «Максимальный».
Размер словаря
Программа автоматически регулирует размер словаря и уменьшает значение в соответствии с весом сжимаемых файлов. Увеличение размера словаря повышает требования к объему свободной оперативной памяти, которая используется при архивировании. Чтобы уменьшить вес архива, задайте значение 1024 Мб.
Для упаковки однотипных файлов в формате RAR используйте параметр «Создать непрерывный архив». Данные будут сжиматься как непрерывный поток. Поставьте галочку в параметрах архивации справа, как показано на скриншоте.
Практические эксперименты
Проведем два теста и разберемся, как максимально сжать файлы в WinRAR. Исследуем степень сжатия и время выполнения операции в зависимости от параметров архивации. Результат эксперимента представим в таблице.
| Параметры сжатия | Время архивирования | Размер архива к весу исходного файла | Установленный программой размер словаря |
|---|---|---|---|
| Формат — RAR, метод сжатия — максимальный, размер словаря — 1024 Мб, непрерывный архив | 15 с | 66 % | 128 Мб |
| RAR, максимальный метод сжатия, размер словаря — 1024 Мб | 7 с | 73 % | 4 Мб |
| RAR, обычный метод, словарь — 32 Мб (значения по умолчанию) | 7 с | 73 % | 4 Мб |
| ZIP, максимальный метод, словарь — 32 Кб | 5 с | 76 % | 32 Кб |
Непрерывный архив RAR обеспечил наиболее сильное сжатие при продолжительной работе утилиты. Максимальный режим сжатия и наибольший размер словаря в формате RAR без включения параметра «Непрерывный архив» не дали выигрыш во времени и весе файла.
| Параметры сжатия | Время архивирования | Размер архива к весу исходного файла | Установленный программой размер словаря |
|---|---|---|---|
| Формат — RAR, метод сжатия — максимальный, размер словаря — 1024 Мб, непрерывный архив | 3 с | 61 % | 16 Мб |
| RAR, максимальный метод сжатия, размер словаря — 1024 Мб | 2 с | 87 % | 256 Кб |
| RAR, обычный метод, словарь — 32 Мб (значения по умолчанию) | 2 с | 87 % | 256 Кб |
| ZIP, максимальный метод, словарь — 32 Кб | 2 с | 87 % | 32 Кб |
Снова формат RAR в режиме непрерывного архивирования обеспечил максимальную компрессию.
Размер словаря при архивации что это
Войти
Авторизуясь в LiveJournal с помощью стороннего сервиса вы принимаете условия Пользовательского соглашения LiveJournal
Архиваторы
В настоящее время формат ZIP считается стандартом для многих приложений, включающих функции сжатия, резервного копирования и обмена данными.
Наряду со множеством утилит, работающих с ZIP-файлами из командной строки, в середине 1990-х годов появились и графические программы для работы с ними. Одной из самых популярных стала WinZip.
На текущий момент существует множество алгоритмов компрессии, выигрывающих у ZIP и в скорости, и в компрессии, и в количестве предоставляемых дополнительных возможностей. Несмотря на это, он по прежнему является популярным методом сжатия данных.
Множество конкурирующих архиваторов, помимо своего собственного, также поддерживают формат ZIP. Этот способ сжатия также широко используется в других программах и даже в некоторых форматах файлов.
Наибольшее сжатие в формате ZIP дает архиватор kzip, использующийся людьми, привязанными к zip-формату (например, для публикации программного обеспечения онлайн или Java-разработчиками).
7-Zip — свободный файловый архиватор с высокой степенью сжатия данных. Поддерживает несколько алгоритмов сжатия и множество форматов данных, включая собственный формат 7z c высокоэффективным алгоритмом сжатия LZMA. Программа разрабатывается с 1999 года и является бесплатной, а также имеет открытый исходный код, большая часть которого свободно распространяется на условиях лицензии GNU LGPL, за исключением кода декомпрессора unRAR, который имеет ограничения.
Свободное программное обеспечение — широкий спектр программных решений, в которых права пользователя («свободы») на неограниченные установку, запуск, а также свободное использование, изучение, распространение и изменение (совершенствование)[1] программ защищены юридически авторскими правами при помощи свободных лицензий.
Фонд свобо́дного програ́ммного обеспе́чения (англ. Free Software Foundation, сокращённо FSF) — некоммерческая организация, основанная в октябре 1985 года Ричардом Столлманом для поддержки движения свободного программного обеспечения и, в особенности, проекта GNU.
Основной платформой является Windows (в т.ч. Windows CE), где доступны две версии программы: с графическим интерфейсом и версия для командной строки.
7-Zip является победителем SourceForge.net Community Choice Awards 2007 года в категориях: лучший проект и лучший технический дизайн.
SourceForge.net — один из самых больших в мире веб-сайтов для разработчиков открытого программного обеспечения, который обслуживается SourceForge, Inc. и использует собственническую систему SourceForge.
На этом сайте разработчики могут размещать и совместно разрабатывать свои программные проекты. Ныне на SourceForge.net размещены более 230 тыс. проектов; количество зарегистрированных пользователей превышает 1,9 млн.
В одном из пунктов условий использования говорится, что передавая какие-либо данные через SourceForge.net, пользователи дают SourceForge, Inc. неисключительную пожизненную лицензию на их использование, изменение и продажу.
SourceForge.net Community Choice Awards. Эта программа даёт возможность открытому сообществу выбрать и назвать программные проекты наилучшего качества и наиболее творческие и изобретательные.
Достоинства
Циклический избыточный код (англ. Cyclic redundancy code, CRC) — алгоритм вычисления контрольной суммы, предназначенный для проверки целостности передаваемых данных. Алгоритм CRC обнаруживает все одиночные ошибки, двойные ошибки и ошибки в нечетном числе битов.
tar (англ. tape archive) — формат битового потока или файла архива, а также название традиционной для Unix программы для работы с такими архивами.
Битовый поток (англ. bitstream или англ. bit stream) — временная последовательность битов.
Временно́й ряд (или ряд динамики) — это собранный в разные моменты времени статистический материал о значении каких либо параметров (в простейшем случае одного) исследуемого процесса.
TAR («Tape Archive») является специальным форматом архивирования данных для операционных систем семейства UNIX.
Первоначально программа tar использовалась для создания архивов на магнитной ленте, а в настоящее время tar используется для хранения нескольких файлов внутри одного файла, для распространения программного обеспечения, а также по прямому назначению — для создания архива файловой системы. Одним из преимуществ формата tar при создании архивов является то, что в архив записывается информация о структуре каталогов, о владельце и группе отдельных файлов, а также временны́е метки файлов.
Таким образом, TAR-файлы получают новые расширения: TAR.BZ2, TBZ2, TAR.GZ и др. Важно отметить, что формат TAR способен архивировать объекты (собирать несколько файлов в один), но не сжимать.
—————————————
http://ru.wikipedia.org/wiki/7-Zip 7-Zip
http://ru.wikipedia.org/wiki/CRC32#CRC-32 Циклический избыточный код
http://ru.wikipedia.org/wiki/GNU_LGPL GNU Lesser General Public License
http://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D0%BD%D0%B4_%D1%81%D0%B2%D0%BE%D0%B1%D0%BE%D0%B4%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F Фонд свободного программного обеспечения
http://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D0%BE%D0%B1%D0%BE%D0%B4%D0%BD%D0%BE%D0%B5_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 Свободное программное обеспечение
http://7-zip.org.ua/ru/7z.html Формат 7z
http://7-zip.org.ua/ru/ 7-Zip
http://ru.wikipedia.org/wiki/Tar tar
http://ru.wikipedia.org/wiki/%D0%91%D0%B8%D1%82%D0%BE%D0%B2%D1%8B%D0%B9_%D0%BF%D0%BE%D1%82%D0%BE%D0%BA Битовый поток
http://ru.wikipedia.org/wiki/%D0%92%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D1%80%D1%8F%D0%B4 Временной ряд
http://ru.wikipedia.org/wiki/Sourceforge.net SourceForge.net
http://sourceforge.net/ Open Source software for free
Обзор формата сжатия RAR5
Статьи про компьютеры (PC)
Недавно вышел WinRAR версии 5.0 в котором добавился новый формат сжатия RAR5.
Рассмотрим его работу на примере создания архивов и сравним его с форматом RAR, 7Z и ZIP.
1. сжатие текстовых файлов.
Для примера взяли 9ть документов Excel в формате xls, т.е. без сжатия.
Исходный размер файлов 383 488 байт
результаты
RAR5 91 542 байт
RAR 91 017 байт
7Z 27 640 байт
ZIP 100 669 байт
Как видим лучше сработал 7Z, различия между RAR и RAR5 минимальны.
2. Смешанное сжатие.
Рассмотрим на примере сжатия папки с файлами установки офиса 2013.
размер папки с файлами 805 МБ (844 174 251 байт)
результаты
RAR5 698 МБ (732 076 010 байт)
RAR 698 МБ (732 574 164 байт)
7Z 690 МБ (723 889 813 байт)
ZIP 706 МБ (740 508 586 байт)
как видим различия между RAR5 и RAR практически нет. Лучше оказался 7Z.
———
Файлы запакованные новым методом сжатия RAR5, не открываются другими архиваторами.
По скорости сжатия. быстрей оказался ZIP метод, RAR5 и RAR примерно одинаково и в два раза быстрее чем 7Z. 7Z упаковал офис зв 4е минуты.
Измерения прозводились на дефолтных настройках архиваторов.
Изменения в алгоритме сжатия с официального сайта. (в переводе гугл в моей редакции). Основные положения
1. максимальный размер словаря сжатия увеличена до 1 ГБ в 64-битном WinRAR. 32-разрядная версия WinRAR может использовать до 256 МБ словарь при создании архива. Оба 32 бит и 64 бит
версий может распаковывать архивы с любой размер словаря, в том числе 1 ГБ;
2. размер словаря по умолчанию для RAR 5.0 составляет 32 МБ, что обычно приводит к повышению степени сжатия и более низкой скорости, чем RAR 4.x 4 Мб. Вы можете использовать «Размер словаря» диалоге архивирования опцию или MD-переключатель для изменения этого значения;
3. RAR 5.0 декомпрессии может использовать несколько ядер процессора. Хотя это и не в такой степени, как в алгоритм сжатия, она улучшает скорость декомпрессии на больших файлах с плохо сжимаемых данных или при использовании BLAKE2 контрольных сумм.
4. Изменения в формате RAR 5.0 архиве:
— времени файлов хранятся как всемирное координированное время (UTC) вместо прежних местному времени, что делает обмен файлами между несколько часовых поясов проще;
— имена файлов и архив комментариев использовать UTF-8 кодировке.
5. Изменён алгоритм шифрования RAR 5.0 с AES-128 для AES-256 в режиме CBC. Основные функции вывод основан на использовании PBKDF2 HMAC-SHA256;