Leo's Blog

这里是知识的荒漠

图神经网络

介绍了图神经网络结构

GNN介绍 图：GNN考虑一个图有三个要素：点、边、全局（输入数据的格式不规则） GNN最终的作用是通过迭代计算，重构一张图中点和边的特征，然后将特征交给全连接层即可 消息传递(聚合)：针对下图去更新节点的特征，需要结合邻居和自身信息，$h_{j}$表示原始邻居的特征，$W_{j}$表示GNN需要学习的权重参数矩阵，加到一起后用激活函数处理（可以是最大、最小、平均） $$ h_{......

Posted by Leo on 2023-09-13

GNN

Transformer

介绍Transformer的基本网络结构

Transformer概述 核心是seq2seq模型，能处理很多的问题；一般的seq2seq模型分成两个部分：encoder和decoder，encoder负责处理input sequence，把处理结果给decoder，由decoder决定输出什么样的sequence encoder是Transformer的核心，将特征更好地提取出来，decoder在具体的任务中使用 enc......

Posted by Leo on 2023-07-31

Transformer

Swin Transformer

介绍Swin Transformer网络结构

Vision Transformer 整体架构： 构建patch：将一张图片分成了9个小块，即9个patch，再把每一个patch都 ”拉长“ （一次卷积计算）成一个向量，这样就转换成了一个vector set，然后通过一个全连接层，做一个特征整合和维度变换 位置编码：在图像中，位置编码尤为重要，两种方法，一种是在每一个vector前面加上一个位置ID，另一种方法是加上一个空间......

Posted by Leo on 2023-07-25

Transformer

自注意力机制

介绍自注意力机制

自注意力机制概述 自注意力机制解决深度学习模型的输入是一组向量且大小不等的问题，如nlp（word embedding），语音处理，图（Graph） 关于输出可以分为三类： n个输入，n个输出：词性标注、社交网络中的用户分析等 n个输入，1个输出：情感分析，语音识别谁的声音 n个输入，m个输出：即seq2seq，如语言识别出文字 一个词性标注的例子：I saw a......

Posted by Leo on 2023-07-24

Transformer

Transformer

介绍Transformer的基本网络结构

Transformer概述 核心是seq2seq模型，能处理很多的问题；一般的seq2seq模型分成两个部分：encoder和decoder（编码器-解码器架构），encoder负责处理input sequence，把处理结果给decoder，由decoder决定输出什么样的sequence encoder是Transformer的核心，将特征更好地提取出来，decoder在具体的......

Posted by Leo on 2023-07-24

Transformer

EfficientNet

介绍EfficientNet网络结构

EfficientNet V1 EfficientNet主要是用NAS（Neural Architecture Search）技术来搜索网络的图像输入分辨率 r ，网络的深度depth以及channel的宽度width三个参数的合理化配置，之前的论文都是都是通过改变上述3个参数中的一个来提升网络的性能，参数少，推理速度块，但比较占显存 增加网络的深度depth能够得到更加丰富、复杂的特......

Posted by Leo on 2023-07-23

CNN

实训2报告

...

Posted by Leo on 2023-07-23

实训

经典卷积网络

介绍了LeNet-5 ResNets VGG等经典卷积神经网络结构

经典网络 LeNet-5：可以识别图中的手写数字，灰度图像；使用平均池化，建议改成最大池化；还没有使用到padding；现在多使用softmax函数输出分类结果，而LeNet-5网络使用了另外一种已经不常用的； 而一个或多个卷积层后面跟着一个池化层，然后又是若干个卷积层再接一个池化层，然后是全连接层，最后是输出，这种排列方式很常用 AlexNet： VGG-16：网络结构相对......

Posted by Leo on 2023-07-21

CNN

卷积神经网络概述

介绍了卷积神经网络及其组件

计算机视觉 计算机视觉的成果可以应用到其他领域（如：语音识别） 两个作用 识别 检测 图像的数据量非常大，所以需要使用卷积计算来进行处理，而不是全连接 边缘检测示例 神经网络的前几层是如何检测边缘的，后面的层有可能检测到物体的部分区域，更靠后的一些层可能检测到完整的物体（如：人脸） 构造一个用于检测垂直边缘的过滤器（filter，或核），如：$\be......

Posted by Leo on 2023-07-07

CNN

操作系统期末复习

第二章 操作系统概念 与一般软件的区别 操作系统是指控制和管理整个计算机系统的硬件和软件资源，并合理地组织调度计算机的工作和资源的分配（①操作系统是系统资源的管理者） 以提供给用户和其他软件方便的接口和环境（②向上层提供方便易用的服务） 它是计算机系统中最基本的系统软件（③是最接近硬件的一层软件） 区别： 与普通计算机软件作用相同，是处理机执行的一段程序 （意图）操作系统控制处理器及其他......

Posted by Leo on 2023-06-28

操作系统
ABOUT ME
avatar_pic

四川大学 网络空间安全学院

RECENT POSTS
FRIENDS
ESC