[email protected]

I think instruction pre-training makes a lot of sense. Intuitively it should make convergence faster.
Although I’m surprised to see such drastic performance improvement.

2024-06-23 10:24:23

“A large bowl of asparagus and pea soup”
这名字好直白，让人一看就不想吃（ https://t.co/57zuJtEtpD https://pbs.twimg.com/media/GQvnyGlbMAELTjR.jpg

2024-06-23 08:51:49

出国自带空调，听起来确实很美国人（

2024-06-21 03:02:26

I like this one but would it work? Technically you can still include experimental results in a text only rebuttal.

2024-06-20 02:29:00

CVPR! https://t.co/sY7TgR6KS4 https://pbs.twimg.com/media/GQeX3lmbwAAzmg8.jpg

2024-06-18 23:39:30

你们西雅图飞机在市中心飞这么低真的不吵吗（ https://t.co/b0Ve7DxaOP https://pbs.twimg.com/media/GQYmTMybIAA3SD9.jpg

2024-06-18 19:51:19

Hello FirstName https://t.co/e5HgLinYcB https://pbs.twimg.com/media/GQX4jE5bgAAzj6a.jpg

2024-06-16 22:04:24

I graduated : ) https://t.co/0Hq5QdKiHB https://pbs.twimg.com/media/GQODSQsbsAAUKnY.jpg

2024-06-15 16:46:33

I'm thrilled to share beginning this fall, I'll start my PhD career at 𝙼𝙸𝚃 𝙼𝚎𝚍𝚒𝚊 𝙻𝚊𝚋! Super excited to dive deeper into multimodal AI research and explore what's next.
下学期开始将会加入 𝙼𝙸𝚃 𝙼𝚎𝚍𝚒𝚊 𝙻𝚊𝚋
感谢各位的支持，往后还请多关照(◍•ᴗ•◍)ゝ https://t.co/srEbpUINHd https://pbs.twimg.com/media/GQHx5SbacAEOn0s.jpg

2024-06-15 07:06:56

由 @ArtsEpiphany1 带着参观了 NVIDIA 总部，感觉超级豪华，比学校的小破楼强多了 XD https://t.co/BwCsSCpN5h https://pbs.twimg.com/media/GQFpj0uaQAAKIBj.jpg https://pbs.twimg.com/media/GQFp2FVaQAEvKMB.jpg

2024-06-12 16:55:31

现在手机上都可以跑 8x7b llm 了，硅胶还是很猛的（

2024-06-11 09:31:47

看起来苹果是给每一个任务都训练了一个 LoRA？好奇这种方式比起纯 prompt engineering 会好多少 https://t.co/hjlfVa16t5 https://pbs.twimg.com/media/GPxoGTfbUAAcgO0.jpg

2024-06-11 06:05:03

QQ 的图标是不是看起来有点阴间（ https://t.co/AqEtfitHow https://pbs.twimg.com/media/GPw3AjTbsAEwrnn.jpg

2024-06-10 21:54:06

来更新 mac 了 https://t.co/GeP7rCA9f0 https://pbs.twimg.com/media/GPvBQPXbMAELVX0.jpg

2024-06-09 17:14:54

中国的 Panda Express 居然是假的，想当年还传得挺火的来着，我都想去试试了...
https://t.co/R7Qenrunp1

2024-06-08 19:26:26

Actually I was wondering if anyone has tried using a diffusion transformer (as used in Sora) to generate texts. I'm curious how that would compare to the current text diffusion models.

2024-06-07 05:49:55

发现南航订票输常旅客卡号的时候只能输入数字... https://t.co/acggOxGdAj https://pbs.twimg.com/media/GPcQB5IbAAADXdo.jpg

2024-06-07 03:40:33

20cm 风扇好大 https://t.co/BGw3ed42dE https://pbs.twimg.com/media/GPbs6CpagAAfbhD.jpg

2024-06-07 01:55:51

「古代关西地区的人们只有午餐才会煮饭，因为早晚都会凉掉」
虽然很正常的一句话但是总有点冷笑话的感觉（ https://t.co/yRkuhgfz7T https://pbs.twimg.com/media/GPaKeKKaEAAywen.png

2024-06-05 07:48:04

QS 排名最稳定的还是 MIT，14 年来都没变过（ https://t.co/Jxwdodil8m https://pbs.twimg.com/media/GPSUnPSa8AAxOXm.jpg

2024-06-04 17:55:52

早上起来 GPT 又挂了orz https://t.co/4WV7MmLxm1 https://pbs.twimg.com/media/GPPKuNna0AAwLsE.png

2024-06-03 22:11:51

新闻: Extreme Heat in California
点进去看: 体感温度 32.2 C
这也就……还好吧…… https://t.co/XM9vI7Yh80 https://pbs.twimg.com/media/GPK8heOawAAkwlp.jpg https://pbs.twimg.com/media/GPK8hePakAA2UL5.jpg

2024-06-03 01:43:21

补上机图 https://t.co/GM19lGarK7 https://pbs.twimg.com/media/GPGxFa_bEAIe5B5.jpg

2024-06-02 22:56:08

实现 CPU 核心自由（ https://t.co/P9NWO3ef9y https://pbs.twimg.com/media/GPGEnegawAAOyk5.png

2024-06-02 04:42:35

超大碗 EPYC！ https://t.co/HQ0yKBh44H https://pbs.twimg.com/media/GPCJDlSaoAAmug1.jpg

2024-06-01 20:26:02

I need this

2024-06-01 18:46:38

想着有了 M4 是不是可以特效全开 120fps 玩原神了，结果发现他们锁 80fps（ https://t.co/bd262x2Rmh https://pbs.twimg.com/media/GPADqT4awAA7C_V.jpg

2024-05-31 08:11:25

我怎么还能弹出内置硬盘的……？ https://t.co/76qFSfFcVo https://pbs.twimg.com/media/GO4pxUsaEAIoIlS.jpg

2024-05-31 03:52:00

纽约特产牛排
温州特产蜜柑
Palo Alto 特产防火墙

2024-05-30 09:18:07

Based https://t.co/2OXGCs2e3N https://pbs.twimg.com/media/GOzpngSbQAAG5sZ.jpg

2024-05-30 05:04:26

Graduation ceremony at JL Stanford Middle School https://t.co/zgMroGSfd4 https://pbs.twimg.com/media/GOyxW4oasAAgeTU.jpg

2024-05-28 02:39:30

还有 BART 娘
二次元是不是都很喜欢把轨道交通娘化（雾 https://t.co/oIDpwPE1R9 https://pbs.twimg.com/media/GOn-dIbbYAAsAQz.jpg

2024-05-26 08:44:45

四舍五入就是 400 日元住五星酒店（ https://t.co/JJqRwZeGt1 https://pbs.twimg.com/media/GOe-OWHacAAiIF4.jpg

2024-05-25 22:31:22

我来了（ https://t.co/5ebGIrmfHj https://pbs.twimg.com/media/GOc3LIxa8AAw-v0.jpg

2024-05-25 18:17:10

看起来美国的漫展在 R18 这一方面还是比较超前的，这些活动在 Comiket 都完全没听说过（
https://t.co/86xzSvKh49 https://t.co/6vrzHuCmz3 https://pbs.twimg.com/media/GOb8LXfaEAAWKc4.jpg

2024-05-24 18:02:51

昨晚的我 https://t.co/6UDlv2Ntml https://pbs.twimg.com/media/GOWwcbzbwAA9q_o.jpg

2024-05-24 00:36:40

想买 EPYC

2024-05-21 21:12:55

Sora! https://t.co/FwjRBNFE4S https://pbs.twimg.com/media/GOH-H3PasAAhOvA.jpg

2024-05-21 17:54:00

What does "moving to a fully AI-based recommendation system" even mean though? Is the current recommendation system not AI?

2024-05-21 02:29:50

这是否也是一种无线充电（

2024-05-18 21:21:58

出现大量海胆 https://t.co/HpWJLGTcte https://pbs.twimg.com/media/GN4ltzHaUAAwIUs.jpg

2024-05-17 21:34:15

Not surprised. Even developers will bash anything they curled.

2024-05-17 21:28:41

<- [paper.tex] 找出 paper 里面出现最多的词。
-> 经过分析，paper.tex 中出现最多的词是 \vspace{-1em}。

2024-05-17 02:50:44

急诊一趟下来真是有够贵（ https://t.co/Auxy4rJ4Ea https://pbs.twimg.com/media/GNvW54mbsAABcGu.png

2024-05-16 19:01:02

感觉 mac 版 ChatGPT 最有用的是这个搜索功能，终于不用把已经问过十几遍的问题再问一遍了（雾 https://t.co/xSEmaUPgcC https://pbs.twimg.com/media/GNtvuxZaoAE78eZ.png

2024-05-15 19:49:55

这一个 batch 居然只能有 50,000 条请求，数据量大的话拆分到每个 50,000 条的包感觉好麻烦... https://t.co/CpSkKo5QJP https://pbs.twimg.com/media/GNozMCMbQAAKwCd.jpg

2024-05-15 09:09:34

试试 OpenAI 的批量处理功能，不知道要多久（ https://t.co/M56aE55ajF https://pbs.twimg.com/media/GNmgRolbIAEH01H.jpg

2024-05-14 23:30:26

这次新 iPad 居然从美国本土发货了，记得之前第一批都是从中国发的（不知道是不是物流被拆成了两单 https://t.co/4V47XxRwht https://pbs.twimg.com/media/GNkThYbbAAAM_7_.png

2024-05-14 05:56:13

#NewProfilePic by @shichi924 https://t.co/u8H4ONeMDr https://pbs.twimg.com/media/GNghXKza4AADks9.jpg

2024-05-14 02:20:31

看起来 gpt2-chatbots 还是比现在的 GPT-4 要好不少

2024-05-13 08:50:03

语音助手很好，不过问题在于对我来说「说话」比「打字」更困难（

2024-05-12 17:45:29

日上传流量第二大的设备居然是 Tesla（ https://t.co/75nlK4sYyS https://pbs.twimg.com/media/GNYy7Xvb0AAR3GZ.jpg

2024-05-12 06:00:06

看来今晚是没了 https://t.co/Sj0olbuFNY https://pbs.twimg.com/media/GNWRV6pa0AAegIC.png

2024-05-12 02:47:17

当 Rust 程序员突然被要求写 JavaScript.jpg https://t.co/hE7sSlSQb1 https://pbs.twimg.com/media/GNVmuEvaUAA1-pC.jpg

2024-05-11 06:55:30

2003 年以来的第一次 G5 磁暴，感觉很强
可惜我这里还是看不到极光

2024-05-10 05:06:29

「OpenAI 要做搜索引擎了」
<- 看到这个消息首先想到出了 Bing 的微软会不会有点尴尬（
https://t.co/AIIgBCXpZX

2024-05-07 19:19:00

纳米玻璃主要是用来打音游（

2024-05-07 18:23:18

才发现新款 Apple Pencil Pro 支持 Find my（

2024-05-07 17:10:51

买了 https://t.co/TqSZZowB3X https://pbs.twimg.com/media/GM_AANobMAAwMFr.jpg

2024-05-07 07:16:00

BD 買った https://t.co/4xWLzJtm49 https://pbs.twimg.com/media/GM80hayaAAAQ0Qy.jpg

2024-05-06 17:20:16

But now we have 𝚗𝚎𝚘𝚠𝚘𝚏𝚎𝚝𝚌𝚑 : ) https://t.co/Ouf23xhBHA https://pbs.twimg.com/media/GM54MNpaUAEV9GB.jpg

2024-05-05 07:45:29

https://t.co/5kRj0fkv6y https://pbs.twimg.com/media/GMyech-b0AAy3Np.jpg

2024-05-05 05:16:19

在鲤鱼门吃到了相当不错的老虎斑，在湾区还可以吃到这么好的鱼真是感人至深 https://t.co/u4MQ2A0czm https://pbs.twimg.com/media/GMyFYE7bEAAzufY.jpg

2024-05-04 20:32:46

Neofetch!!

2024-05-02 06:51:00

一些人：Happy Labor Day!
Tison: Happy International Workers' Day!
我: https://t.co/tkdwOainOi https://pbs.twimg.com/media/GMjBDg3bQAA9udd.png

2024-05-01 18:10:25

E3 存活中 https://t.co/Qwe1gr4io2 https://pbs.twimg.com/media/GMgLTDja0AAYnqT.jpg

2024-05-01 10:01:03

天井 https://t.co/FTZMjJpxcY https://pbs.twimg.com/media/GMegHksbIAAqVKw.jpg

2024-04-30 05:10:52

喜欢这个设计的<del>有钱人</del>可以看看 Vestaboard，可以通过 App 自定义内容的信息公示版，放在家里作为装饰感觉会很好看
https://t.co/xIjcJSjvaG https://t.co/ur1g2yibjc https://pbs.twimg.com/media/GMYbPbSbwAAht_1.jpg

2024-04-30 00:57:30

M4 首发是 iPad Pro？这个好像还是第一次 https://t.co/1NTI4qabAJ

2024-04-29 20:06:06

其实我觉得 OpenAI 可能并没有比目前 GPT-4 强很多的模型。之前 Andrej Karpathy 看到 Llama3-70b 和 GPT-4 水平接近的时候是很意外的 [1]，这可能表明 OpenAI 至少在 70b 这个大小上并没有做出比当前 GPT-4 好很多的模型。
[1] https://t.co/hTNxzFNhJo

2024-04-29 20:00:38

看到 lmsys 上出现了个神秘的 "gpt2-chatbot"，很多人猜测它是 GPT-4.5 或者 GPT-5。不过我试了下感觉和目前的 GPT-4 区别不大...

2024-04-29 07:06:58

https://t.co/tjeHfdsvPh https://pbs.twimg.com/media/GMThdBNa8AAuvIV.jpg

2024-04-28 02:45:10

https://t.co/B2BidbCGXP https://pbs.twimg.com/media/GMNmqpga4AEJQw3.jpg

2024-04-25 04:03:37

常温常新

2024-04-24 08:53:46

https://t.co/gM46vOZlk2 https://pbs.twimg.com/media/GL6F87hbsAA41u9.jpg

2024-04-20 20:43:56

Some people are just alphabetically advantaged

2024-04-20 20:38:28

笑死，想买个

2024-04-20 07:40:37

https://t.co/hSsqfiZFSm https://pbs.twimg.com/media/GLlb_JCacAAcgy1.jpg

2024-04-19 19:44:07

I heard Llama 2 was seriously undertrained. Guess Llama 3 fixed it.

2024-04-19 06:42:23

年年都有人说三战，不过我感觉最近一段时间是过去四年来离三战最远的时候（

2024-04-18 20:11:47

说着 Meta 又发布了 Llama-3，居然还有 400B 的模型，感觉很猛

2024-04-17 20:06:07

看起来 waymo 目前还没有拓展到南湾 https://t.co/YzvZWC1qA9 https://pbs.twimg.com/media/GLYhFZAboAAhFQk.jpg

2024-04-17 09:55:30

看起来 Google Domain 已经在开始往 Squarespace 转了，还以为至少要再等几个月( https://t.co/NxrSaGyVW1 https://pbs.twimg.com/media/GLWbcIObgAAFFUX.jpg

2024-04-17 06:43:13

出现了！ https://t.co/eocVe6InNY https://pbs.twimg.com/media/GLVvS2hbQAEHjX7.jpg

2024-04-17 05:48:33

https://t.co/A1NMbKsl8C https://pbs.twimg.com/media/GLVh96la0AA7Lup.jpg

2024-04-17 03:14:43

https://t.co/WePGopOWe1 https://pbs.twimg.com/media/GLVAyjtaIAEyvht.jpg

2024-04-16 07:33:44

https://t.co/Pw2pHGjv2u https://pbs.twimg.com/media/GLQnxDmbkAAfXk5.jpg

2024-04-11 18:49:36

到底是谁会花 16 刀买个头像框（ https://t.co/uazH95ZGg1 https://pbs.twimg.com/media/GK5jyplbMAArxxJ.jpg

2024-04-11 17:30:34

https://t.co/5gosGdkdlo https://pbs.twimg.com/media/GK5SOKMaMAAxy1R.jpg

2024-04-11 02:50:00

虽然盗版不是很好，不过这个性能实在是比白群好太多了... https://t.co/W4fOpgzUfb https://pbs.twimg.com/media/GK1bx86bIAAFBIq.jpg

2024-04-10 19:23:59

这厂家是觉得一般人有多重（ https://t.co/XoQ1rbpCJu https://pbs.twimg.com/media/GK0fB92aMAASDeR.png

2024-04-09 18:57:57

好强

2024-04-09 17:14:52

ML 浓度过高（ https://t.co/7MKCRDB9xv https://pbs.twimg.com/media/GKu0XDUakAAF8x1.jpg

2024-04-07 10:15:25

趁着来日本一趟注册了个 PayPay https://t.co/dQnGrPVspX https://pbs.twimg.com/media/GKjBMpSaQAAEssX.jpg

2024-04-07 01:17:59

ChatGPT 特有的本土化翻译（ https://t.co/KmS9gD2G7M https://pbs.twimg.com/media/GKhFiBCbEAAl7LQ.png

2024-04-06 08:37:10

在入间的 animate 联动咖啡厅吃到了天津饭（ https://t.co/MVAbw5fL0e https://pbs.twimg.com/media/GKdhjrka4AA-n2H.jpg

2024-04-06 00:11:21

最近大城市地震蛮多，纽约今天又发生了本世纪最强震（虽然才 4.8）
湾区是不是也不远了（危 https://t.co/VryRJxii6v https://pbs.twimg.com/media/GKbpB_JaYAA1eL9.jpg