如何解决Python Django项目上传大文件导致的内存溢出问题?

2026-06-03 41858 日常编程

必须禁用FILE_UPLOAD_MAX_MEMORY_SIZE并改用流式上传:前端分块、后端用boto3/minio直传对象存储,绕过Django文件处理链路,结合Redis管理分片、环境变量配置存储后端及权限校验。

直接改用 InMemoryUploadedFile 的替代方案,否则 Django 默认会把整个上传文件塞进内存——哪怕你只打算存到磁盘或对象存储。

为什么 InMemoryUploadedFile 会吃光内存?

Django 在接收到上传请求后,会根据 FILE_UPLOAD_MAX_MEMORY_SIZE 配置(默认 2.5MB)决定用 InMemoryUploadedFile 还是 TemporaryUploadedFile。但这个判断只发生在解析 multipart body 的**最开始**;一旦选了前者,后续所有操作(比如 file.read()file.open()、甚至直接传给 boto3.upload_fileobj())都基于内存缓冲区,根本不会“自动降级”到磁盘。

常见错误现象:

  • 上传 500MB 文件时,Django 进程 RSS 内存瞬间飙升 500MB+,触发 OOM killer
  • request.FILES['file'].size 返回正确值,但 request.FILES['file'].read() 直接卡死或报 MemoryError
  • StreamingHttpResponse 导出没问题,但上传路径完全没做流式适配

强制走磁盘:改配置 + 手动切换文件类

不能只靠调大 FILE_UPLOAD_MAX_MEMORY_SIZE,那只是推迟爆炸时间。关键是让上传过程从一开始就不进内存。

  • settings.py 中设 FILE_UPLOAD_MAX_MEMORY_SIZE = 0 —— 这会让 Django 绕过内存判断,直接使用 TemporaryUploadedFile
  • 如果必须保留小文件内存优化,可在视图里手动接管:
    from django.core.files.uploadedfile import TemporaryUploadedFile
    

    if isinstance(request.FILES['file'], InMemoryUploadedFile):

    强制转成磁盘文件

    temp_file = TemporaryUploadedFile(
        name=request.FILES['file'].name,
        content_type=request.FILES['file'].content_type,
        size=request.FILES['file'].size,
        charset=request.FILES['file'].charset
    )
    # 复制内容到临时文件(分块,不爆内存)
    for chunk in request.FILES['file'].chunks(chunk_size=8192):
        temp_file.write(chunk)
    temp_file.seek(0)
    uploaded_file = temp_file

    else:
    uploaded_file = request.FILES['file']

真正流式处理:绕过 request.FILES 自己解析 multipart

当文件超过几百 MB 或并发高时,连 TemporaryUploadedFile 的临时磁盘 IO 都可能成瓶颈。这时得跳过 Django 的文件封装,用 request.body + email.parserrequests-toolbelt 流式提取字段和文件块。

  • requests-toolbeltMultipartDecoder 可边收边解码,每块 yield 出来就立刻写入目标存储(S3、MinIO、本地路径)
  • 关键点:设置 DATA_UPLOAD_MAX_MEMORY_SIZE = 0 并禁用 django.middleware.csrf.CsrfViewMiddleware(流式上传无法校验完整 body 的 CSRF token)
  • 示例核心逻辑:
    from requests_toolbelt.multipart.decoder import MultipartDecoder
    

    decoder = MultipartDecoder(request.body, request.content_type) for part in decoder.parts: if part.headers.get(b'Content-Disposition', b'').find(b'filename=') != -1:

    这是文件字段,直接迭代 part.content

        for chunk in iter(lambda: part.content.read(65536), b''):
            s3_client.upload_part(Bucket=..., Body=chunk, ...)

GPU 模型服务场景下的双重溢出风险

如果你的 Django 视图上传后立刻喂给 PyTorch 模型(比如超分、OCR),还要防显存溢出——这和内存溢出是两回事,但常一起发生。

  • 即使文件已落盘,torch.load() 或模型 forward 仍可能因 batch size 过大、图像尺寸超限导致 CUDA out of memory
  • 必须在 try/except RuntimeError 中捕获 "out of memory",并立即调用 torch.cuda.empty_cache()
  • 别依赖模型自动释放:PyTorch 的缓存不会在异常后自动清空,下次请求仍会失败

最易被忽略的是:上传路径和模型推理路径的内存模型完全不同,但错误日志往往只显示后者崩溃,让人误以为问题出在模型侧。

如何在Python中读取超大文本文件防止内存溢出_利用with语句配合生成器逐行读取

直接open().read()或readlines()会将整个大文件一次性加载进内存,导致MemoryError;应使用withopen()asf:forlineinf逐行迭代,内存占用恒定。 为什么直接open()读大文件会爆内存 因为open().read()或open().readlines()会把整个文件一次性加载进内存。一个10GB的日志文件,可能直接吃光几GB可用内存,触发Memory...

怎么优化Python中的字符串拼接操作以避免频繁的内存分配?

+拼接在循环中特别慢,因字符串不可变,每次s=s+item都新建对象并复制全部内容,时间复杂度达O(n²),引发大量内存分配与垃圾回收;推荐用list.append()+''.join()降至O(n)。 为什么+拼接字符串在循环里特别慢? Python中的字符串是不可变对象,每次用+拼接都会创建新字符串并复制全部内容。在循环中反复执行s=s+item,时间复杂度是O(n²),且会触发大量临时内存分...

Airflow 中 PYTHONPATH 配置错误导致模块导入失败的解决方案

当AirflowDAG通过BashOperator调用Python脚本时,即使已设置PYTHONPATH,仍报ModuleNotFoundError:Nomodulenamed'scripts.marketing_functions',根本原因在于PYTHONPATH指向了子目录(如/opt/bitnami/airflow/scripts),而非其父目录——Python导入机制要求包路径需从顶层包...

如何解决Python 3.11中旧版protobuf协议不兼容的环境问题?

Protobuf4.x(如4.21.0+)是唯一明确官方支持Python3.11的版本;3.x系列仅部分补丁支持,3.19.x及更早版本在Python3.11下大概率import失败或触发builder导入错误。 确认当前protobuf版本与Python3.11是否真正兼容 Protobuf4.x(如4.21.0+)是唯一明确支持Python3.11的主线版本;3.x系列最高只到Python3....

为什么Python NumPy中的视图与副本机制会导致数据意外修改?

NumPy基础切片(如arr[2:5]、arr[:,1]、arr.T)默认返回view,共享内存;高级索引(如arr[[0,2]]、arr[arr>3])返回copy。判断方法:sub.baseisarr、内存地址相同或直接赋值验证。 因为NumPy切片默认返回视图(view),而非副本(copy)——修改切片就是在改原数组的内存,不是“看起来像在改”,而是真正在改。 哪些操作默认返回vie...

如何解决Python异步程序中的信号处理冲突_在Linux环境下配置add_signal_handler

asyncio.run()无法捕获SIGINT是因为其内部接管信号且重置行为;正确做法是手动管理事件循环,用loop.add_signal_handler()注册同步回调并create_task触发异步清理。 asyncio.run()启动后无法捕获SIGINT 直接在asyncio.run()外层用signal.signal()注册SIGINT会失效——因为asyncio.run()内部已接管信...

如何解决Python多进程共享大字典时的内存拷贝问题?

直接用dict传给子进程会导致内存翻倍,因fork后的写时复制被Python内部操作(如引用计数、哈希查找)意外触发;共享只读字典应使用shared_memory+序列化,配合显式清理。 直接用dict传给子进程,内存几乎必然翻倍——不是因为你要改它,而是Python解释器自己就在偷偷写它。 为什么fork后大字典会触发写时复制? Linux/macOS上fork()默认启用写时复制(CoW),但...

为什么Python中的f.readlines()在大文件处理时会导致OOM?

f.readlines()会把整个文件所有行一次性加载进内存,生成一个巨大的list对象,这是OOM的直接原因。 为什么readlines()必然触发MemoryError 它不是“读得慢”,而是设计上就拒绝流式处理:readlines()内部先调用read()拿到全部字节,再按\n切分,最后为每一行创建独立的str对象,并把所有对象指针塞进一个新list。哪怕文件是2GB文本,Python字符串...