2020年12月21日

CloudFront如何根据用户权限限制访问S3

可以说,这个问题在考试中和实际情况中很常见。比如:如何给那些缴费的会员显示相应的资源?或者如何给登陆用户展示相应的内容?

这里用到的一个核心技术,是CloudFront signed-URL和signed-cookie。

简单来说,我们假设需要访问的资源在S3上,也就是所谓的CloudFront Origin is S3。那么在启用配置Origin的时候,务必要限制S3 bucket的访问。从此以后,只能是CloudFront能够访问到S3的这个bucket,其他地方都不行。这个,就是所谓的OAI(Origin Access Identity)。

配置好后,那只有访问Clou[……]


进一步了解
2020年12月21日

RDS也有on-demand么?

是的。RDS可有On-Demand,也可以Reserved。

和EC2一样,在Reserved时,可以选1年或者3年合约,有很大的折扣。

当然,RDS没有spot类型,更没有saving plan或者dedicated Instance/Host。[……]


进一步了解
2020年12月21日

AWS如何给EC2打Patch

这个话题明显是个IT部门的话题。

设想你管理着公司所有的办公机,一般你会接到两种普遍的需求:装软件和打Patch。

我不做IT,因此我可能说的不对。我记得这两种需求一般流程都会是:IT部分发个信,通知某个时间做这些操作,然后到时间,通过Windows的域管理(?)实现所有办公机一起升级。

在AWS里,这样的需求也是类似的,对象就是EC2。

但是,管理的“品种”可能要覆盖Windows、Linux和Mac。

AWS推出的组件,叫System Manager。名字简单粗暴。

怎么做?这个图画的同样简单粗暴:

  1. 确认目标
  2. 执行AWS-RunP[……]


进一步了解
2020年12月21日

AWS里的Cache

用Cache的好处这里就不赘述了,如果你不懂,请自己查一查。

我一直很好奇,AWS里究竟哪些地方给你选项,可以用Cache。

首先一个组件,CloudFront,为Cache而生。

CloudFront关注的是将返回的结果快速地分发到客户端,可以简单理解为HTTP Content Cache。

多说一句,配置CloudFront Cache的时候,记得static和dynamic分别处理。static可以cache,dynamic request嘛,只能尽力了。

另外对于Header的匹配也要注意,包括cookie,容易变的,就不要当做匹配条件。比如传说中的Dat[……]


进一步了解
2020年12月21日

Redshift Multi-AZ 灾难恢复

首先要明白一点,Redshift就是列数据库,跟clickhouse是一样的。

列数据库的优势在于分析,所以Redshift是OLAP,不是OLTP。

再一点,Cross-region Replica这个东西仅用于S3,和RDS或者Redshift毫无关联。

好,现在开始说多AZ部署和灾难恢复。

先前说了,Redshift是分析型数据库,所以也就不像RDS那样分什么Read-Replica之类的。

Redshift就是列数据库的Cluster,所以基本来说,备份全靠Snapshot。

Redshift的snapshot分为自动和手动两种,自动的每8小时,或者[……]


进一步了解
2020年12月21日

VPC Sharing v.s. VPC Peering v.s. VPC Endpoint

首次听到VPC sharing的时候,我以为它和VPC peering是一个意思。

但这里的sharing,是和同一个AWS Organization 下其他Account分享VPC的意思。

【特别注意】VPC Sharing中Sharing的是Subnet,不是VPC(因为就变成一个VPC了)。

理解了这个,就知道它和VPC peering完全不一样。

VPC peering,简单理解就是搭建了路由,让两个VPC可以互通。

而且还是最初级的那种两个网段的单跳路由。高级一点的现在都用Transit Gateway。

而VPC Endpoint[……]


进一步了解
2020年12月21日

AWS,数据存哪里最省钱?

对于AWS中存放数据的模块选择,根本上还是看需求。比如S3存Object-based的数据,EBS装EC2的操作系统,EFS主要用来当网络盘方便多个EC2 mount。但有时候如果存哪里都可以,那么就要考虑开销了。

S3,作为主要的数据存储模块,其自己有多个tier:(仅举例)

Standard,存50TB以下,按月收费,$0.023 per GB。存的更多更便宜。

IA,存$0.0125 per GB。但取贵。而且存在128kb的最小限制,以及30天的存储时间限制(也就是所谓的不满30天按30天计费)。

S3 Glacier,存$0.004 per GB。

所以[……]


进一步了解
2020年12月21日

SNS和Lambda合作

SNS和Lambda一起用,可以吗?

这里指的是SNS的输出,作为Lambda的输入。

首先答案肯定是可以的,但有一些需要注意的事项,尤其是:限制

SNS和SQS不同,SNS是push的策略,也就是,通知发出去了,就不管了。

那可以设想一个场景。你的SNS拼命地发,你的lambda拼命地处理……那Lambda会不会跟不上?

答案也是肯定的,我的意思是,肯定会有情况下跟不上。

这就得说说Lambda自己的限制了。

首先Lambda自己有内存啊CPU啊文件大小等限制。但这些限制不涉及这里讨论的问题。

我们主要拿出来Lambda Concurrent[……]


进一步了解
2020年12月21日

Lambda如何接入私有网络

不知道大家在用Lambda时有没有想过一点:Lambda运行在哪?

首先它肯定不属于你,它不像EC2或者RDS之类的,你知道他们都在你VPC里,因为你知道他们都是”一台机器“,因此需要你部署在VPC里。

但Lambda致力于serverless,因此你不用为它创建主机。但你也知道,它必然在一个地方,创建了一个Container,并且接入着网络。

默认情况下,当一个Lambda实例创建后,它接入的是AWS的VPC,并且是public的。

但如果它接入的网络是public的话,那么它如何和你自己创建的private VPC交互呢?

如果想这样做,那就需要指定Lambd[……]


进一步了解
2020年12月21日

AWS Data Sync v.s. File Gateway v.s. S3 Transfer Acceleration

首先,这些组件都和数据传输有关。

按照我自己的理解,我会给这三个组件各自打一个标签。

对于Data Sync,我给的标签是“拷贝”。Data Sync给我的感觉只是一个tool,一个可以简单、自动、并且自加速的工具,让你可以非常快速地把数据从一个地方,拷贝到另一个地方。基于这样的特点,那适用的因素有:

  1. 大量数据。如果你有大量数据需要拷贝,请考虑;
  2. 已有数据。因为这仅仅是个工具,因此非常适合拷贝现有数据,尤其当你的需求是从On-Prem拷贝数据到AWS上,请考虑;
  3. 定期数据。如果你的需求是定期或者周期地拷贝数据到另一个地方,比如银行每周末的数据备份、存档等,请考[……]


进一步了解
2020年12月7日

Ubuntu扩展逻辑盘

默认情况下,在安装Ubuntu后,即使你给了一块很大的硬盘,但逻辑上,Ubuntu并不使用全部。

举例,我给ubuntu分了100G的硬盘,但实际上其只用了50G。

root@test:~# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/ubuntu–vg-ubuntu–lv 49G 47G 0 100% /

怎么办呢?其实不需要重新分区和挂载什么的,只需要告诉Ubuntu“需要都用上”即可:

root@test:~# lvm
lvm> lvextend -l +100%FREE /dev/[……]


进一步了解
2020年11月4日

“存在必然有道理” – 观2020美国大选有感

昨天是2020年11月3日,美国大选。由已经执政4年的特朗普对阵奥巴马时期的前副总统拜登。

之前的民调一直都是拜登有利,而且大幅领先约10多个百分点。

前两场总统辩论,双方在各个小命题下虽有胜负,但总体难分伯仲。

美国新冠疫情跳跃式增长,一日就有10万人确诊,这是川普政府严重渎职。

抖音、FB、Twitter平台上,反川普的声音不断。

美国提前投票人数相较以往有大幅提升,说明更多人更加重视和参与大选。

在摇摆州的民调中,拜登在佛罗里达和德克萨斯两个大州的表现均好于2016年的希拉里。

……

因此在我的预期中,拜登应该会赢得很轻松。人们能够看清楚川[……]


进一步了解