CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。 开发人员可以使用C语言来为CUDA™架构编写程序,所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。
Pytorch通过cuda指令允许让模型、数据加载到GPU上,常用指令如下:
1. torch.cuda.is_available()
cuda是否可用
import torch
print(torch.cuda.is_available())
2. torch.cuda.device_count()
查看GPU数量
import torch
print(torch.cuda.device_count())
3. torch.cuda.get_device_name()
查看DEVICE(GPU)名
import torch
print(torch.cuda.get_device_name())
4. torch.cuda.current_device()
检查目前使用GPU的序号
import torch
print(torch.cuda.current_device())
5. torch.cuda.set_device()
指定使用的卡
torch.cuda.set_device(gpu_id) #单卡
torch.cuda.set_device('cuda:'+str(gpu_ids)) #多卡
只指定主显卡,如下:
import torch
torch.cuda.set_device(1)
x = torch.tensor([[1,2,3],[4,5,6]]).cuda()
print(x.device)
指定特定显卡,如下:
import torch
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2'
torch.cuda.set_device(1)
x = torch.tensor([[1,2,3],[4,5,6]]).cuda()
print(x.device)
使用torch.cuda.set_device()可以更方便地将模型和数据加载到对应GPU上, 在定义模型之前加入一行代码即可,但是这种写法的优先级低,如果model.cuda()中指定了参数,那么torch.cuda.set_device()会失效,而且pytorch的官方文档中明确说明,不建议用户使用该方法。
6. .cuda()
指定模型和数据加载到对应的GPU,以net.cuda()为例,加载方法为:
net.cuda(gpu_id) # 输入参数为int类型,只能指定一张显卡
net.cuda('cuda:'+str(gpu_ids)) #输入参数为str类型,可指定多张显卡
只指定主显卡,如下:
import torch
import os
x = torch.tensor([[1,2,3],[4,5,6]]).cuda()
print(x.device)
指定特定显卡,如下:
import torch
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2'
x = torch.tensor([[1,2,3],[4,5,6]]).cuda('cuda:1')
print(x.device)