Python对130w+张图片检索的实现方法

任务说明：

130w+张图片，8张excel表里记录了需要检索图片的文件名，现在需要找出对应的图片，将找出的图片按不同的excel分别保存，并且在excel里能够直接打开图片。

任务分析：

如果数据量不大的话，可以直接读取excel表里的文件名进行搜索保存，但这次的任务显然不合适，因为图片实在太多，所以考虑后按照以下步骤：

1、遍历图片文件夹，读取文件名和文件路径，写入到csv文件中；

2、使用pandas的merge函数，实现8张原始excel表与csv文件根据图片文件名的对碰；

3、使用shutil的copy函数，读取文件路径进行保存。

代码分析：

1、文件遍历

import os
import pandas as pd
 
file_list = []
path_list = []
path = r\"此处添加图片路径\"
print(\"任务开始\")
for root,dirs,files in os.walk(path):
 for file in files:
  file_list.append(file.split(\'.\')[0])
  path_list.append(os.path.join(root,file))
print(\"文件遍历结束\")
file_dic = dict(zip(file_list,path_list))
df = pd.DataFrame.from_dict(file_dic,orient=\'index\', columns=[\'图片1路径\']).reset_index().rename(columns={\'index\':\'图片1\'})
df.to_csv(\"图片1.csv\")
df = pd.DataFrame.from_dict(file_dic,orient=\'index\', columns=[\'图片2路径\']).reset_index().rename(columns={\'index\':\'图片2\'})
df.to_csv(\"图片2.csv\")
df = pd.DataFrame.from_dict(file_dic,orient=\'index\', columns=[\'图片3路径\']).reset_index().rename(columns={\'index\':\'图片3\'})
df.to_csv(\"图片3.csv\")
print(\"文件目录导出成功\")

2、表格对碰

import pandas as pd
frame1 = pd.read_excel(r\'excel表1.xlsx\', \'sheet名\')
frame2 = pd.read_csv(r\'图片1.csv\', sep=\',\')
frame3 = pd.read_csv(r\'图片2.csv\', sep=\',\')
frame4 = pd.read_csv(r\'图片3.csv\', sep=\',\')
frame5 = pd.merge(frame1, frame2, on = [\'图片1\'], how = \'left\')
frame6 = pd.merge(frame5, frame3, on = [\'图片2\'], how = \'left\')
frame7 = pd.merge(frame6, frame4, on = [\'图片3\'], how = \'left\')
col = [\'图片1\',\'图片2\',\'图片3\']
frame7[col] = frame7[col].fillna(\'未找到\')
frame7.to_excel(\'excel表1合并后.xlsx\')

3、图片复制

import shutil
target = \'此处为excel表1导出图片路径\'
copylist1 = frame7[\'图片1\']
for src in copylist1:
  if src != \'未找到\':
    shutil.copy(src, target)
copylist2 = frame7[\'图片2\']
for src in copylist2:
  if src != \'未找到\':
    shutil.copy(src, target)
copylist3 = frame7[\'图片3\']
for src in copylist3:
  if src != \'未找到\':
    shutil.copy(src, target)
print(\'复制完毕\')

4、excel里打开图片，可以使用excel自带的hyperlink函数。

总结