Yann LeCun - 2023-02-13 (source: Facebook)
My unwavering opinion on current (auto-regressive) LLMs
1. They are useful as writing aids.
2. They are "reactive" & don't plan nor reason.
3. They make stuff up or retrieve stuff approximately.
4. That can be mitigated but not fixed by human feedback.
5. Better systems will come.
6. Current LLMs should be used as writing aids, not much more.
7. Marrying them with tools such as search engines is highly non trivial.
8. There *will* be better systems that are factual, non toxic, and controllable. They just won't be auto-regressive LLMs.
9.I have been consistent with the above while defending Galactica as a scientific writing aid.
10. Warning folks that AR-LLMs make stuff up and should not be used to get factual advice.
11. Warning that only a small superficial portion of human knowledge can ever be captured by LLMs.
12. Being clear that better system will be appearing, but they will be based on different principles.
They will not be auto-regressive LLMs.
13. Why do LLMs appear much better at generating code than generating general text?
Because, unlike the real world, the universe that a program manipulates (the state of the variables) is limited, discrete, deterministic, and fully observable.
The real world is none of that.
14. Unlike what the most acerbic critics of Galactica have claimed
- LLMs *are* being used as writing aids.
- They *will not* destroy the fabric of society by causing the mindless masses to believe their made-up nonsense.
- People will use them for what they are helpful with.
현재의 (자동회귀기반) LLM에 대한 나의 확고한 의견
1. 쓰기 보조 도구로 유용하다
2. 그것들은 "반응적"이며 계획하거나 추론하지 않는다
3. 대략적으로 말을 만들거나 꺼낸다.
4. 사람의 피드백으로 문제점을 줄일 수는 있지만 완전히 고칠 수는 없다.
5. 더 나은 시스템이 올 것이다.
6. 현재 LLM은 작문 보조 도구의 용도로 사용해야 한다.
7. 검색 엔진과 같은 도구와 결합하는 것은 매우 엄청나게 큰 작업이다.
8. 사실에 근거하고 독성이 없으며 제어 가능한 더 나은 시스템이 *있을 것*이다. 그것은 자동회귀기반 LLM이 아니다.
9. (과학용 LLM인) Galactica를 과학적 글쓰기 보조 도구라고 변호하면서도 나(YL)는 위의 내용과 일관되게 이야기했다.
10. AR(자동회귀기반)-LLM은 말을 지어내는 것이기에 사실에 입각한 조언을 얻는 데 사용해서는 안 된다고 경고한다.
11. 인간 지식의 표면적인 작은 부분 일부만이 LLM에 의해 포착될 수 있었다는 것을 경고한다.
12. 더 나은 시스템이 나타날 것이지만 다른 원칙에 기반할 것임을 분명하다. 자동회귀기반 LLM이 아니다.
13. LLM이 일반 텍스트를 생성하는 것보다 코드를 생성하는 데 훨씬 더 잘 보이는 이유는 무엇인가? 실제 세계와 달리 프로그램이 조작하는 대상범위(변수의 상태)가 제한적이고 이산적이며 결정론적이며 완전히 관찰 가능하기 때문이다. 현실 세계는 그런 것이 아니다.
14. Galactica에 대한 가장 신랄한 비평가들이 주장한 것과는 달리
- LLM들은 *작문 보조 도구로* 사용되고 있다.
- LLM들은 생각 없는 대중이 지어낸 헛소리를 믿게 함으로써 사회 구조를 파괴하지 *않을* 것이다*.
- 사람들은 LLM들이 도움을 줄 수 있는 용도에 LLM들을 사용할 것이다.
[appendix] 얀 르쿤의 의견에 대한 chatGPT의 반론 ::
The phrase "unwavering opinion" suggests that the author is unwilling to consider alternative perspectives or change their mind, which may indicate a lack of openness to new ideas or evidence.
The statement "they make stuff up" in point 3 may be misleading or oversimplified. Language models are based on statistical models and generate output based on patterns in data, which may sometimes produce unexpected or unusual results, but the model is not intentionally making things up.
The use of the phrase "non-toxic" in point 8 is confusing and unclear. It is unclear what the author means by "non-toxic" in this context.
Point 9, where the author defends Galactica as a scientific writing aid, contradicts the author's earlier statement in point 2 that language models are reactive and don't plan or reason. This contradiction may lead to confusion for readers.
The author's warnings in points 10 and 11 about the limitations of language models may be perceived as overly negative and may not fully acknowledge the potential benefits of using such models.
The phrase "acerbic critics" in point 14 may indicate a dismissive attitude towards those who are critical of language models, which may indicate a lack of willingness to engage with alternative viewpoints or critiques.