[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
1 {9 s2 K* G6 o. [大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

) `' a, Z7 ^+ z' Z8 W感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
7 G7 `  O) P6 C5 \import os
import imagehash
+ P0 p; C+ Z9 O) bfrom PIL import Image

def compute_image_hash(image_path):
    # image = Image.open(image_path)
7 U+ @6 P& j1 }* A$ g4 z* E) r/ ^) k    # return imagehash.average_hash(image)
. J2 B* Y* Y2 s2 c- q7 I8 ^    try:
: c4 O0 x& i) e8 |. _. l! U- o2 e' u        with Image.open(image_path) as image:
, z$ q6 ?3 {. L$ l3 n5 J+ f6 H            return imagehash.average_hash(image)
    except (OSError, IOError) as e:
0 F& ~; U! n9 X5 p        print(f"处理图像 {image_path} 时出错: {e}")
" c4 V2 E+ |/ M7 h( R* K: L        return None
  f3 i; l, K% l- `. m  G
) n: w5 @! I+ C' H% G3 C' Cdef remove_duplicates(image_folder):
1 J% v! n& ?7 j, ?2 y( q* y8 y    hash_dict = {}
    duplicates = []

    for filename in os.listdir(image_folder):
1 V7 h4 }' p% e, F6 Y7 I% r, ~        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
1 F0 D; }, R5 I# c- {8 Z            image_path = image_folder + "\\" + filename
5 @3 f$ d( j! l7 Q  k' z% A/ Y            image_hash = compute_image_hash(image_path)
0 B8 @6 j3 A" b9 Z9 G, o
8 x/ O9 q; |, {( T            if image_hash in hash_dict:
                duplicates.append(image_path)
            else:
% ^1 K  S6 ?, c/ \# p/ Y                hash_dict[image_hash] = image_path
8 }; M$ N, [9 q% R- D" _        else:
            pass

    for duplicate in duplicates:
        os.remove(duplicate)
; K* \% H( Y" ?5 Z, e$ ]        print(f"Removed duplicate image: {duplicate}")
- Z+ J. ~" q2 F3 H
    print("Duplicate removal complete.")
, ?6 Q9 p$ q, u1 ]; o0 _: m! ?
  d4 k. R7 m, |6 a$ @5 {image_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
3 m; p6 E5 y; P  O有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai
" Y3 b- S2 o1 ~! n0 g0 [( S* D# ]