Определитель ложных байтов

[Drowfan]

Говорят, что программа или патч нормально не идут из-за того, что криво скачались/установились/скопировались. Также касается видео и аудио. Но проводник Винды показывает статистику килобайтов в завершенном виде, то есть, файлы скопированы успешно. А вдруг он лжет? А то вдруг все мои файлы, которые постоянно копируются с флэшки на флэшку, с диска на диск, с харда на хард, испортятся, несмотря на полное копирование. И есть ли программа, которая определяет реальные байты? Вот, uTorrent вполне подсчитывает утерянные байты, килобайты, мегабайты при скачивании.
Я написал пост, надеюсь, понятно.

[blackoff]

А то вдруг все мои файлы, которые постоянно копируются с флэшки на флэшку, с диска на диск, с харда на хард, испортятся, несмотря на полное копирование.

для этого есть контрольные суммы или архивация

[Sharpnull]

Контрольная сумма (CRC), очевидно. У некоторых патчей есть CRC исходного, конечного и самого патча. Сам протокол BitTorrent работает с хешам, поэтому там гарантируется целостность.
У меня флешка есть, запись на неё часто даёт битые файлы, винда не проверяет целостность. CRC можно узнать средствами винды, я использую для этого 7zip. В архиве у каждого файла есть CRC, поэтому можно хранить данные в архиве и, когда есть сомнения, проверять целостность в архиваторе. Хотя часто архиватор пишет, когда с архивов что-то не так, но явно не всегда, поэтому нужно нажимать кнопку "тестировать".

[MetalliC]

А то вдруг все мои файлы, которые постоянно копируются с флэшки на флэшку, с диска на диск, с харда на хард, испортятся, несмотря на полное копирование.

я даже больше скажу:
USB-флешки: заряжать нельзя игнорировать

кому-то может показаться смешным, но не тем кто знает что за говнецо NAND-flash память

[Sharpnull]

я даже больше скажу:
USB-флешки: заряжать нельзя игнорировать

Только там теория без практики, как заметили другие, так что статья бесполезна чуть меньше, чем полностью.

[HardWareMan]

Sharpnull, вот именно. Там делается упор на сборщик мусора, а не конкретно регенерацию NAND памяти. Сборщик мусора - это алгоритм контроллера и ему нужен хороший буфер ОЗУ. Т.е., он есть у SSD дисков, но в силу дешевизны - его нет у USB флешек. Вот и думайте, нужно ли вам "заряжать" плешку.

[Reza_Temiz]

А кто-то задумывается вообще, почему те же "новодельные" сеговские картриджи с флешками валяются годами и даже десятилетиями без питания, и игры из них никуда не убегают?)))) То же касается почти всех сложных девайсов с "бивисом" во флешках. Те же жесткие диски, как пример. Так что да, рекомендации эти касаются только ссд, и то не всех.

[Rumata]

Ну допустим в картриджах не NAND и в процессе работы в них ничего не пишется. Так что это немного из другой оперы.
А вообще статейка на Хабре отдаёт тонким троллингом

[MetalliC]

А кто-то задумывается вообще, почему те же "новодельные" сеговские картриджи с флешками валяются годами и даже десятилетиями без питания, и игры из них никуда не убегают?))))

сходи в вику и почитай про разницу между NOR-flash и NAND-flash.

Sharpnull, Rumata, есть такое, но имхо "дыма без огня не бывает", и есть вероятность что какие-то из вендоров делают сборку мусора и/или wear leveling во время простоя носителя, а не во время записи данных, чтоб эта самая запись происходила быстрее и их девайс показывал лучшие ТТХ во всяких тестах.

[Drowfan]

7zip

А WinRAR? Тоже проверяет CRC?

[MetalliC]

Thorenlawar, во всех популярных архиваторах есть проверка целостности, а в некоторых (WinRAR) еще можно включить добавление избыточной информации, чтоб можно было извлечь файлы без потерь даже если архив частично похерился.

[Reza_Temiz]

сходи в вику и почитай про разницу между NOR-flash и NAND-flash.

я тоже могу послать далеко и надолго в википедию)))). Окей, нанд так нанд. Много девайсов с нанд умирают от длительного обесточивания и требуют, скажем, обязательной перепрошивки, что бы привести их в чувства? Я такое наблюдал напрямую только в планшетоноуте китайском с ссд. Из его материнки сделал себе микро ПК на атоме, и вот он, лишившись батареи, умудряется "умереть", если его не запускать месяцев 6. Винда при загрузке в синий экран, дисковые утилиты показывают, что диск совсем плох и т.д. Форматирование, переустановка. Затем все стабильно работает, пока снова на него не подзабивают на пару месяцев. Причем эксперимент стабильно повторяемый.

[Rumata]

На самом деле это Ущелье Слёз. Из него нет выхода.

Но проводник Винды показывает статистику килобайтов в завершенном виде, то есть, файлы скопированы успешно. А вдруг он лжет?

Какие архиваторы, какие CRC? Вот ты переписал файл с диска на диск, а байты уже не те. :'(
Хотя на самом деле на том же винчестере на самом нижнем уровне понаписана куча всякой информации, которая пользователю не видна вообще.

Ну а что до флешек, то любое ПЗУ, кроме масочного, состоит из конденсаторов.

[Drowfan]

Хотя на самом деле на том же винчестере на самом нижнем уровне понаписана куча всякой информации, которая пользователю не видна вообще.

Где же находится самый нижний уровень?

в некоторых (WinRAR) еще можно включить добавление избыточной информации, чтоб можно было извлечь файлы без потерь

Не нашел я такой опции в Винраре.

[Rumata]

Где же находится самый нижний уровень?

Непосредственно на поверхности диска. Не логическая разметка, а физическая.

[MetalliC]

Не нашел я такой опции в Винраре

а по-моему даже и не пытался искать
при создании архива прям на основной закладке галка "Добавить данные для восстановления"

[Drowfan]

Так, значит мне придется перед закидыванием на самые различные носители все архивировать?
Кстати, в Интернете тоже есть CRC, и я обязан об этом явлении знать, чтобы определить, не криво ли скачалось даже при успешной загрузке.

[blackoff]

значит мне придется перед закидыванием на самые различные носители все архивировать?

почитай про md5,sh1,crc32 и тд ,к любому файлу\папке можно создать файл контрольных сумм ,который лежит  рядом и чекается когда угодно на целостность ... лет 10 уже так делаю ,особенно с образами ,юзаю тотал ,в нем эти фичи вшиты...

онлайн пример

[Guyver(X.B.M.)]

Я тоже юзаю тотал коммандер и его MD5 (есть ещё SVF). Просто создаётся рядом с файлом малюсенький файл с суммой, название у него как у оригинального файла с расширением *.md5 (*.svf). Содержимое будет такое:

Код: [Выделить]

62f674cf4600fe3a5182af2994e99234 *m3_05_winter.player
А потом просто выбираешь этот файл и жмёшь "проверить" в меню коммандера (или просто тыкаешь 2-ым кликом по файлу в тотал коммандере) - и оригинальный файл проверяется на ошибки.

Код: [Выделить]

m3_05_winter.md5:
Верно:   m3_05_winter.player

Ошибок: 0
OK: 1, не найдено: 0, ошибок чтения: 0, ошибок CRC: 0

И всё! Не надо ничего архивировать!

[Drowfan]

Итак, я установил себе программу хэша для Android. Теперь мне надо знать, что это за типы контрольные суммы. Например, чем отличаются CRC-32, MD5, MD4, Adler-32, Whirlpool и др. И какими контр. суммами разумнее пользоваться. А еще мне надо знать, какой тип хэша в Интернете применяется.

[Sharpnull]

чем отличаются CRC-32, MD5, MD4, Adler-32, Whirlpool и др

Алгоритмом, длиной, необходимыми вычислениями (скорость). Чем длиннее, тем меньше вероятность колизии хешей, если один вдруг совпал, то другие очень маловероятно совпадут для одного файла.

какой тип хэша в Интернете применяется.

CRC32 (CRC) часто используют (7z, zip, rar), но он короткий. Остальные известные MD5, SHA-1. Все три используют: http://redump.org/, https://datomatic.no-intro.org/, https://segaretro.org/. CRC32 + SHA-1: MAME. FBNeo: CRC32. Ubuntu: раньше MD5, SHA-1, SHA-256, теперь вижу только SHA-256, у них ещё задача, чтобы никто не подменил файлы и суммы.
--------
Про коллизии. Я как-то решил проверить, будет ли коллизия для ромов NES в стандартной прошивке NES Classic Edition, потому что там используется длина меньше CRC32, из, кажется, No-Intro совпали 2.
Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух.

[blackoff]

программу хэша для Android.

какой тип хэша в Интернете применяется

телефон? а что за типы файлов ты собрался хешировать?
 

[MetalliC]

Вероятности есть тут, например: https://preshing.com/20110504/hash-collision-probabilities/. У CRC32 - 32 бита, если проверить 77163 файлов, то вероятность 50% совпадения двух.

у CRC32 главный недостаток - оно очень легко подделывается.
более того, некоторые производители специально таким развлекались, к примеру у Sega в некоторых устройствах 20-летней давности ромы разных версий и с разным содержимым имеют всегда одну и ту же CRC32. так что для идентификации данных этот алгоритм не годится, но нужен для быстрого поиска бинарников в архивах, потому в эмуляторах часто используется в паре с более надежными MD5 или SHA1/256

[Drowfan]

До сих пор говорили про файловые, оффлайновые хэши, теперь надо знать про Интернет-хеши — то есть, проверку загрузки сайтов, картинок, онлайн-видео и т.д. Признаться мне, у меня зачастую сайты грузятся не так, как надо, к примеру, кадры с кучей эффектов выдают артефакты в HD-качестве. И потом у меня мобильный Интернет. Так что не прочь узнать информацию о кило- и мегабайтах перед и после загрузки страницы, изображения, музыки, видео и пр. Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия). Надеюсь, я все грамотно и понятно расписал.

И если кто может, то помогите мне развеять сомнения в правильной закачке.

[blackoff]

Thorenlawar, сколько тебе времени нужно что бы такое выдумать?

[Drowfan]

blackoff, да я же говорю о качестве загрузки сайтов и прочего онлайна. А это тоже очень важно. Не менее важно, чем проверка файлов на целостность вне сети.

[blackoff]

о качестве загрузки сайтов и прочего онлайна.

по идее об этом позаботились уже умные головы

[Yoti]

Фея в край поехала и придумала то, чего нет и быть не может.

[Drowfan]

Вот я залил один из архивов в сеть и скачал его же, проверил контрольную сумму копий, md5, результат — суммы совпадают.

[Mech]

Иначе опасаюсь, что какое-нибудь обновление к какой-либо программе установится криво (неважно, пиратка или лицензия).

По идее, это всё в самой программе уже есть. Нет смысла делать одну и ту же работу дважды.