自学教程：Pytorch自动求导函数详解流程以及与TensorFlow搭建网络的对比

import torchclass myrelu(torch.autograd.Function):#自定义子类    # 通过建立torch.autograd的子类来实现自定义的autograd函数，并完成张量的正向和反向传播    @staticmethod    def forward(ctx, x):        # 在正向传播中，接受到一个上下文对象和一个包含输入的张量，必须返回一个包含输出的张量，可以使用上下文对象来缓存对象，以便在反向传播中使用        ctx.save_for_backward(x)        return x.clamp(min=0)    @staticmethod    def backward(ctx, grad_output):        """        在反向传播中，我们接收到上下文对象和一个张量，        其包含了相对于正向传播过程中产生的输出的损失的梯度。        我们可以从上下文对象中检索缓存的数据，        并且必须计算并返回与正向传播的输入相关的损失的梯度。        """        x, = ctx.saved_tensors        grad_x = grad_output.clone()        grad_x[x < 0] = 0        return grad_x

#%%device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')# n是批量大小，d_in是输入维度# h是隐藏的维度，d_out是输出维度n,d_in,h,d_out=64,1000,100,10# 创建随机输入和输出数据,requires_grad默认设置为False,表示不需要后期微分操作x=torch.randn(n,d_in,device=device)y=torch.randn(n,d_out,device=device)# 随机初始化权重，requires_grad默认设置为True,表示想要计算其微分w1=torch.randn(d_in,h,device=device,requires_grad=True)w2=torch.randn(h,d_out,device=device,requires_grad=True)learning_rate=1e-6for i in range(500):    #前向传播，使用tensor上的操作计算预测值y  #调用自定义的myrelu.apply函数    y_pred=myrelu.apply(x.mm(w1)).mm(w2)               #使用tensor中的操作计算损失值，loss.item()得到loss这个张量对应的数值    loss=(y_pred-y).pow(2).sum()    print(i,loss.item())        #使用autograd计算反向传播，这个调用将计算loss对所有的requires_grad=True的tensor梯度，    #调用之后，w1.grad和w2.grad将分别是loss对w1和w2的梯度张量    loss.backward()    #使用梯度下降更新权重，只想对w1和w2的值进行原地改变：不想更新构建计算图    #所以使用torch.no_grad()阻止pytorch更新构建计算图    with torch.no_grad():        w1-=learning_rate*w1.grad        w2-=learning_rate*w2.grad        #反向传播后手动将梯度置零        w1.grad.zero_()        w2.grad.zero_() 

#%%使用TensorFlowimport tensorflow.compat.v1 as tf   #为了用placeholder不惜一切代价tf.disable_v2_behavior()import numpy as np#%%# 建立计算图# n是批量大小，d_in是输入维度# h是隐藏的维度，d_out是输出维度n,d_in,h,d_out=64,1000,100,10# 为输入和目标数据创建placeholder，在执行计算图时，他们将会被真实的数据填充x=tf.placeholder(tf.float32,shape=(None,d_in))y=tf.placeholder(tf.float32,shape=(None,d_out))# 为权重创建variable并用随机数据初始化,TensorFlow的variable在执行计算图时不会改变w1 = tf.Variable(tf.random_normal((d_in,h)))w2=tf.Variable(tf.random_normal((h,d_out)))# 前向传播：使用TensorFlow的张量运算计算预测值y（这段代码不执行任何数值运算，只是建立了稍后要执行的计算图）h=tf.matmul(x,w1)h_relu=tf.maximum(h,tf.zeros(1))y_pred=tf.matmul(h_relu,w2)# 使用TensorFlow的张量运算损失lossloss=tf.reduce_sum((y-y_pred)**2.0)# 计算loss对于权重w1和w2的导数grad_w1,grad_w2=tf.gradients(loss,[w1,w2])# 使用梯度下降更新权重，为了实际更新权重，我们需要在执行计算图时计算new_w1和new_w2# 注：在TensorFlow中，更新权重值得行为是计算图的一部分，但在Pytorch中发生在计算图形之外learning_rate=1e-6new_w1=w1.assign(w1-learning_rate*grad_w1)new_w2=w2.assign(w2-learning_rate*grad_w2)# 现在搭建好了计算图，开始一个TensorFlow回话来执行计算图with tf.Session() as sess:    # 运算一次计算图来出事话variable w1和w2    sess.run(tf.global_variables_initializer())    # 创建numpy数组存储输入x和目标y的实际数据    x_value=np.random.randn(n,d_in)    y_value=np.random.randn(n,d_out)    for i in range(500):        # 多次运行计算图，每次执行时，都有feed_dict参数，        # 将x_value绑定到x，将y_value绑定到y.每次执行计算图都要计算损失，        # new_w1和new_w2，这些张量的值以numpy数组的形式返回        loss_value,i,i=sess.run([loss,new_w1,new_w2],                                feed_dict={x:x_value,y:y_value})        print(loss_value)