Board logo

標題: [技術討論] 搵軟件管理HDD/NAS嘅10TB文件 [打印本頁]
作者: CarlR696    時間: 2023-11-4 01:04     標題: 搵軟件管理HDD/NAS嘅10TB文件

提示: 作者被禁止或刪除 內容自動屏蔽
作者: bongbong3481    時間: 2023-11-4 09:56

留名學野。
作者: eo38cl    時間: 2023-11-4 14:53

本帖最後由 eo38cl 於 2023-11-4 14:54 編輯

Windows下，最好用係Whereisit，但已停止更新，最後一個版本係2014(build 220)，官網已買唔到。

然後係WinCatalog、Everything、abeMeda (前身CDWinder)等
作者: CarlR696    時間: 2023-11-4 20:57

提示: 作者被禁止或刪除 內容自動屏蔽
作者: ericauky    時間: 2023-11-4 22:51

咁多ching，搭單問一問，有無prog 係可check hdd 內有無重複的file呢？
作者: CarlR696    時間: 2023-11-5 12:07

提示: 作者被禁止或刪除 內容自動屏蔽
作者: SuperElephant    時間: 2023-11-13 16:31

本帖最後由 SuperElephant 於 2023-11-13 19:46 編輯

回覆 5# ericauky
大型檔案比對需時, 以下答案會對比每個檔案的全部內容(hash), 而非檔案名稱

開cmd打"python --version"然後enter, 如無顯示version, 請安裝Python
新增檔案C:\dedup.py將以下代碼copy+paste落dedup.py然後save
再開cmd, 行: python "C:\dedup.py" "D:\target_directory"
"D:\target_directory" 改成你需要搵重複的路徑

代碼：
  1. import os
  2. import hashlib
  3. import argparse

  5. def calculate_sha256(file_path):
  6.     with open(file_path, 'rb') as file:
  7.         bytes = file.read()
  8.         readable_hash = hashlib.sha256(bytes).hexdigest()
  9.     return readable_hash

  11. def find_duplicates(target_directory):
  12.     file_hashes = {}
  13.     for dirpath, dirnames, filenames in os.walk(target_directory):
  14.         for filename in filenames:
  15.             file_path = os.path.join(dirpath, filename)
  16.             file_hash = calculate_sha256(file_path)
  17.             if file_hash in file_hashes:
  18.                 file_hashes[file_hash].append(file_path)
  19.             else:
  20.                 file_hashes[file_hash] = [file_path]

  22.     duplicates = {k: v for k, v in file_hashes.items() if len(v) > 1}
  23.     return duplicates

  25. # Parse command-line arguments
  26. parser = argparse.ArgumentParser(description='Find duplicate files in a directory.')
  27. parser.add_argument('directory', type=str, help='The target directory.')
  28. args = parser.parse_args()

  30. target_directory = args.directory
  31. duplicates = find_duplicates(target_directory)

  33. for hash, file_paths in duplicates.items():
  34.     print(f"Duplicate files for hash {hash}:")
  35.     for file_path in file_paths:
  36.         print(f"\t{file_path}")

  38. print(f"Scan completed. Found {len(duplicates)} duplicate hashes.")
複製代碼
作者: hoho1986    時間: 2023-11-17 09:57

WizTree
可以Export CSV，外置HDD都可以用
作者: Jip仔    時間: 2023-11-17 16:24

咁多ching，搭單問一問，有無prog 係可check hdd 內有無重複的file呢？
ericauky 發表於 2023-11-4 22:51



Duplicate Cleaner Free
https://www.duplicatecleaner.com/
作者: CarlR696    時間: 2023-11-17 17:16

提示: 作者被禁止或刪除 內容自動屏蔽
作者: CarlR696    時間: 2023-11-17 17:17

提示: 作者被禁止或刪除 內容自動屏蔽
作者: sonichkhk    時間: 2023-11-17 22:07

回覆 5# ericauky


    用fclones or ddh
作者: Jip仔    時間: 2023-11-17 23:01

根本一google 就搵到o既野，
答，
係一種侮辱。

我問的都係無咁簡單的。 ...
CarlR696 發表於 2023-11-17 17:17


請問樓主你回我喺乜嘢意思
我回5樓（搵重複的file）並非回你喎
作者: s20012797    時間: 2023-11-17 23:42

回覆  ericauky
大型檔案比對需時, 以下答案會對比每個檔案的全部內容(hash), 而非檔案名稱

開cmd打"pyth ...
SuperElephant 發表於 2023/11/13 16:31


比我我會咁寫

DupFileFind.py
  1. # This script is more robust when dealing with large files and exceptions, and presents the results in a more user-friendly way.

  3. import os
  4. import hashlib
  5. import argparse

  7. # This function is used to calculate the SHA256 hash of a file
  8. def calculate_sha256(file_path):
  9.     try:
  10.         # Create a new hashlib.sha256 object
  11.         hash_sha256 = hashlib.sha256()
  12.         # Open the file and read its content
  13.         with open(file_path, 'rb') as file:
  14.             # Read the file content in chunks and update the hash
  15.             for chunk in iter(lambda: file.read(4096), b""):
  16.                 hash_sha256.update(chunk)
  17.         # Return the hash in hexadecimal format
  18.         return hash_sha256.hexdigest()
  19.     except Exception as e:
  20.         # If an error occurs while reading the file, print the error message and return None
  21.         print(f"Error reading file {file_path}: {str(e)}")
  22.         return None

  24. # This function is used to find duplicate files in the target directory
  25. def find_duplicates(target_directory):
  26.     # Create a dictionary to store the file hashes and their corresponding file paths
  27.     file_hashes = {}
  28.     # Traverse the target directory and all its subdirectories
  29.     for dirpath, dirnames, filenames in os.walk(target_directory):
  30.         # Traverse each file
  31.         for filename in filenames:
  32.             # Get the full path of the file
  33.             file_path = os.path.join(dirpath, filename)
  34.             # Calculate the hash of the file
  35.             file_hash = calculate_sha256(file_path)
  36.             # If the file hash is already in the dictionary, add the file path to the corresponding list
  37.             # Otherwise, create a new list and add the file path to it
  38.             if file_hash:
  39.                 if file_hash in file_hashes:
  40.                     file_hashes[file_hash].append(file_path)
  41.                 else:
  42.                     file_hashes[file_hash] = [file_path]
  43.     # Select the hashes that have more than one file path from the dictionary, these are the duplicate files
  44.     duplicates = {k: v for k, v in file_hashes.items() if len(v) > 1}
  45.     return duplicates

  47. # Parse command-line arguments
  48. parser = argparse.ArgumentParser(description='Find duplicate files in a directory.')
  49. parser.add_argument('directory', type=str, help='The target directory.')
  50. args = parser.parse_args()

  52. # Get the target directory
  53. target_directory = args.directory
  54. # Find duplicate files
  55. duplicates = find_duplicates(target_directory)

  57. # Print the information of duplicate files
  58. for hash, file_paths in duplicates.items():
  59.     print(f"Duplicate files for hash {hash}:")
  60.     for file_path in file_paths:
  61.         print(f"\t{file_path}")

  63. # Print the completion message
  64. print(f"Scan completed. Found {len(duplicates)} duplicate hashes.")
複製代碼
作者: SuperElephant    時間: 2023-11-18 15:00

我哋咁多位都知道回覆既意義 亦都係抱著同一理念回po
作者: CarlR696    時間: 2023-11-18 15:43

提示: 作者被禁止或刪除 內容自動屏蔽
作者: SuperElephant    時間: 2023-11-18 16:29

回覆 16# CarlR696


宏觀d睇
我哋既興趣係觀賞一啲實力相差太遠既人
用最高姿態 最深入資訊 最詳細既回覆
反差當中相映成趣
諷刺當中帶點侮辱
明既自然明 epc垃唔垃圾亦控制唔到
回呢d po唔是淨係為咗答問題
作者: rabbit82047    時間: 2023-11-18 17:09

要問就問，要回就回，無程度高低之分

要講搵 google 就唔好問，不如搬埋 chatgpt 出黎
討論區執哂佢算數，個個都高手到唔洗問




歡迎光臨 電腦領域 HKEPC Hardware (https://h0.hkepc.com/forum/) Powered by Discuz! 7.2