Transformer-03-LayerNorm
Transformer学习笔记三:为什么Transformer要用LayerNorm/Batch Normalization & Layer Normalization
参考:https://zhuanlan.zhihu.com/p/456863215以及私有资料
一般来说,BatchNorm适用于CV,LayerNorm适用于NLP。关键是要看需要保留什么信息,举个例子
NLP中,[‘搜推yyds’,LLM大法好’,‘CV永不为奴’]三句话做normalization,
其中,样本数量(N)为3,而每个字看作图像里的一个通道,
假设一个词是一个token,BatchNorm效果是[‘搜’,L’,‘C’],[‘推’,‘L’,‘V’]…做归一化;LayerNorm是三句话分别各自归一化;
前者归一到同一分布后变无法保留一个句子里的分布信息了(比如·搜推yyds用Batch Norm后就变了),而LayerNorm可以成功保留上下文分布信息
CV中BatchNorm是对图像的不同channel(比如对N个样本的R通道)各自进行归一化(如下图,batch Norm,本身CV任务不需要 ...
LeetCodeCampsDay16
LeetCodeCampsDay16
记录下,今儿三个题目一次过;
其中路径总和问题和之前求二叉树的所有路径相似
找树左下角的值可以用层序解决
从中序与后序遍历序列构造二叉树 可以用递归方法,找到输入输出;终止条件;单层逻辑就能解决
找树左下角的值
https://leetcode.cn/problems/find-bottom-left-tree-value/
给定一个二叉树的 根节点 root,请找出该二叉树的 最底层 最左边 节点的值。
假设二叉树中至少有一个节点。
示例 1:
12输入: root = [2,1,3]输出: 1
示例 2:
12输入: [1,2,3,4,null,5,6,null,null,7]输出: 7
提示:
二叉树的节点个数的范围是 [1,104]
-231 <= Node.val <= 231 - 1
层序迭代思路
使用迭代–层序的方法, 令res存储每层第一个元素,遍历到最后一层结束,再返回res即可
层序迭代代码
时间复杂度O(N)
空间复杂度O(W)—二叉树最大宽度(也即二叉树每层最大长度)
123456789101 ...
LeetCodeCampsDay15二叉树part03
LeetCodeCampsDay15二叉树part03
涉及树的高度/深度求解,以及平衡二叉树的判断,完全二叉树求节点个数;
根节点到任意节点的路径/深度求解
平衡二叉树
https://leetcode.cn/problems/balanced-binary-tree/
给定一个二叉树,判断它是否是 平衡二叉树
示例 1:
12输入:root = [3,9,20,null,null,15,7]输出:true
示例 2:
12输入:root = [1,2,2,3,3,null,null,4,4]输出:false
示例 3:
12输入:root = []输出:true
提示:
树中的节点数在范围 [0, 5000] 内
-104 <= Node.val <= 104
后序递归思路
这里强调一波概念:
二叉树节点的深度:指从根节点到该节点的最长简单路径边的条数。
二叉树节点的高度:指从该节点到叶子节点的最长简单路径边的条数。
但leetcode中强调的深度和高度很明显是按照节点来计算的,如图:
如何判断一个树是不是平衡二叉树?—判断它的左树和右树的高度是否差大 ...
gitSwitchAccount
起因是本地git存在多个账号,提交时显示登录的是lthero-g,我需要切换回lthero-big
123lthero@LtherodeMac-mini HiFi-Mark % git pushremote: Permission to lthero-big/HiFi-Mark.git denied to Lthero-g.fatal: unable to access 'https://github.com/lthero-big/HiFi-Mark/': The requested URL returned error: 403
These should reflect the lthero-big account. If not, update them:
123git config user.name "lthero-big"git config user.email "email-associated-with-lthero-big"
Update Remote URL to Include lthero-big Cr ...
LeetCodeCampsDay14-二叉树part02
LeetCodeCampsDay14-二叉树part02
继续使用深度/广度遍历解决问题,包含迭代&递归的方法
翻转二叉树
https://leetcode.cn/problems/invert-binary-tree/
给你一棵二叉树的根节点 root ,翻转这棵二叉树,并返回其根节点。
示例 1:
12输入:root = [4,2,7,1,3,6,9]输出:[4,7,2,9,6,3,1]
示例 2:
12输入:root = [2,1,3]输出:[2,3,1]
示例 3:
12输入:root = []输出:[]
提示:
树中节点数目范围在 [0, 100] 内
-100 <= Node.val <= 100
递归思路
可以发现想要翻转它,其实就把每一个节点的左右孩子交换一下就可以了。
可以按“前序/中序/后序”的方法,将中间节点进行“调换”,然后用递归的方式去处理左、右子树
递归三步走:返回值与输入值;终止条件(传入node为空);单层递归的逻辑(调换node的左右子树,再执行递归处理左、右子树)
递归代码
前序递归
时间复杂度O(N)
空间复 ...
LeetCodeCampsDay13-二叉树part01
LeetCodeCampsDay13-二叉树part01
二叉树的遍历,前序/中序/后序/层序,以及迭代、递归等方法实现
二叉树的递归遍历
二叉树的递归遍历,或者说“所有的递归”都离不开三个因素
确定递归函数的input与output(参数与返回值)
终止条件
单层递归的逻辑
以中序遍历为例
确定递归函数的参数与返回值:
需要有“当前节点”,其次,需要将中序遍历的结果放在res数组中;可以不返回
def traversal(cur: TreeNode, res: List): ..... return
终止条件
当“当前节点”为空时,则终止
if not cur: return
单层递归的逻辑
先将"cur.val"添加到res中,再递归遍历"cur.left",最终递归遍历"cur.right"
res.append(cur.val) // 中
traversal(cur.left, res); // 左
traversal(cur.right, res); // 右
二叉 ...
LeetCodeCampsDay11-栈与队列part02
LeetCodeCampsDay11-栈与队列part02
使用栈与队列解决问题,栈适合深度搜索/深度遍历的问题;而队列适用于广度搜索/遍历
这里有个滑动窗口最大值的问题值得关注下
150. 逆波兰表达式求值
https://leetcode.cn/problems/evaluate-reverse-polish-notation/
给你一个字符串数组 tokens ,表示一个根据 逆波兰表示法 表示的算术表达式。
请你计算该表达式。返回一个表示表达式值的整数。
注意:
有效的算符为 '+'、'-'、'*' 和 '/' 。
每个操作数(运算对象)都可以是一个整数或者另一个表达式。
两个整数之间的除法总是 向零截断 。
表达式中不含除零运算。
输入是一个根据逆波兰表示法表示的算术表达式。
答案及所有中间计算结果可以用 32 位 整数表示。
示例 1:
123输入:tokens = ["2","1","+","3","*"]输出:9解释:该算式转化为常见的中缀算术表达式为:((2 + ...
LeetCodeCampsDay10栈与队列part01
LeetCodeCampsDay10栈与队列part01
使用队列实现栈;
使用栈实现队列;
以及两个关于栈的题目
232. 用栈实现队列
https://leetcode.cn/problems/implement-queue-using-stacks/
请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作(push、pop、peek、empty):
实现 MyQueue 类:
void push(int x) 将元素 x 推到队列的末尾
int pop() 从队列的开头移除并返回元素
int peek() 返回队列开头的元素
boolean empty() 如果队列为空,返回 true ;否则,返回 false
说明:
你 只能 使用标准的栈操作 —— 也就是只有 push to top, peek/pop from top, size, 和 is empty 操作是合法的。
你所使用的语言也许不支持栈。你可以使用 list 或者 deque(双端队列)来模拟一个栈,只要是标准的栈操作即可。
示例 1:
12345678910111213输入:[&quo ...
LeetCodeCampsDay9字符串part02
LeetCodeCampsDay9字符串part02
字符串反转/kmp算法/重复字符串的查找
151. 反转字符串中的单词
https://leetcode.cn/problems/reverse-words-in-a-string/
给你一个字符串 s ,请你反转字符串中 单词 的顺序。
单词 是由非空格字符组成的字符串。s 中使用至少一个空格将字符串中的 单词 分隔开。
返回 单词 顺序颠倒且 单词 之间用单个空格连接的结果字符串。
**注意:**输入字符串 s中可能会存在前导空格、尾随空格或者单词间的多个空格。返回的结果字符串中,单词间应当仅用单个空格分隔,且不包含任何额外的空格。
示例 1:
12输入:s = "the sky is blue"输出:"blue is sky the"
示例 2:
123输入:s = " hello world "输出:"world hello"解释:反转后的字符串中不能存在前导空格和尾随空格。
示例 3:
123输入:s = "a good ...
LeetCodeCampsDay8字符串01
LeetCodeCampsDay8字符串part01
双指针/字符串反转/python列表与字符串互换/python列表语法糖
344. 反转字符串
https://leetcode.cn/problems/reverse-string/
编写一个函数,其作用是将输入的字符串反转过来。输入字符串以字符数组 s 的形式给出。
不要给另外的数组分配额外的空间,你必须**原地修改输入数组**、使用 O(1) 的额外空间解决这一问题。
示例 1:
12输入:s = ["h","e","l","l","o"]输出:["o","l","l","e","h"]
示例 2:
12输入:s = ["H","a","n","n","a","h"]输出:["h",&qu ...











