
![이미지](/assets/img/2024-08-03-Cursor-BasedPagination_0.png)

커서 기반 페이징에 대해 자세히 알아보기 전에 페이지네이션에 대한 간단한 맥락을 살펴보겠습니다:

페이지네이션은 소프트웨어 응용 프로그램, 웹사이트 및 데이터베이스에서 사용되는 기술로, 콘텐츠를 이산적인 페이지로 나누어 대량의 데이터를 쉽게 표시, 관리 및 탐색할 수 있게 합니다. 한꺼번에 모든 데이터를 로드하고 표시하는 대신 페이지네이션은 콘텐츠를 관리 가능한 작은 청크로 나누어 주는 데 도움이 됩니다.

응용 프로그램의 사용 사례에 따라 페이지네이션 기술은 다양하게 활용될 수 있습니다. 우리가 모두 관찰한 일반적인 사용 사례 중 하나는:

<div class="content-ad"></div>

- 페이지 번호 옆에 "이전" 또는 "다음" 버튼을 제공합니다.
- 사용자가 화면을 무한으로 스크롤할 수 있는 인피니트 스크롤링을 제공합니다. 사용자가 뷰포트의 하단에 도달하면 새로운 콘텐츠가 지속적으로 추가됩니다. (소셜 미디어 피드, 전자상거래 검색 결과...)

위와 같은 페이지네이션 사용 사례는 두 가지 방법으로 구현할 수 있습니다:

- 오프셋 기반 접근 방식
- 커서 기반 접근 방식

오프셋 기반 접근 방식은 간단하고 쉽게 구현할 수 있으며 빈도가 낮게 업데이트되는 정적 데이터 세트에 적합합니다.

<div class="content-ad"></div>

클라이언트 측 매개변수로 레코드 수를 나타내는 Limit 및 데이터 검색을 시작할 위치를 나타내는 Offset 또는 PageNumber가 필요합니다.

예를 들어, 1 페이지의 레코드를 가져오려면 Offset = 0, Limit = 10으로 설정합니다.

```js
SELECT * FROM records LIMIT 10 OFFSET 0;
```

10 페이지의 레코드를 가져오려면 Offset = 90, Limit = 10으로 설정하면 됩니다.

<div class="content-ad"></div>

```js
SELECT * FROM records LIMIT 10 OFFSET 90;
```

Offset 기반 접근 방식의 단점:

- Offset 값이 증가할수록 이 접근 방식은 적합하지 않습니다. Offset이 증가함에 따라 데이터베이스는 원하는 결과를 반환하기 전에 증가하는 수의 행을 건너뛰어야 합니다. 이는 특히 대규모 데이터 세트의 경우 쿼리 성능이 느려질 수 있습니다.
- 많은 수의 행을 건너뛰는 것은 CPU 및 메모리 리소스를 더 많이 소비하여 프로세스를 비효율적으로 만들고 데이터베이스 서버의 성능에 영향을 줄 수 있습니다.
- 자주 업데이트되는 데이터의 경우, 현재 페이지창이 시간이 지난 후 부정확할 수 있습니다. 사용자가 피드에서 첫 10개 레코드를 가져왔다고 상상해보세요. 시간이 지난 후 5개의 레코드가 추가되었습니다. 사용자가 피드 맨 아래로 스크롤하고 페이지 2를 가져오면 원래 페이지 1의 동일한 레코드가 가져와질 것이며, 사용자는 중복된 레코드를 볼 것입니다.

이제 페이지네이션에 대해 이해했으며 다양한 접근 방법, 특히 Offset 기반 접근 방식의 이점 및 단점을 알게 되었습니다. 이제 Cursor-Based 페이지네이션에 대해 더 깊이 파고들어보고 사용 사례와 장점을 이해해보겠습니다.

<div class="content-ad"></div>

커서 기반 페이징은 데이터 세트의 특정 레코드에 대한 고유 식별자(커서)를 사용합니다. "11번부터 20번까지의 레코드를 제공해줘"라는 식으로 말하는 대신 "특정 아이템 다음부터 10개의 아이템을 제공해줘"라고 요청합니다.

이 방법은 대량의 데이터 세트를 더 세련되게 처리하고, 특히 동적으로 자주 변경되는 데이터를 처리할 때 더 효율적일 수 있습니다.

- 최초 API 호출에서, 클라이언트(프론트엔드)는 제한만 제공합니다. API는 요청한 레코드 수를 반환하고, 동시에 데이터 세트에서 마지막 아이템을 가리키는 커서도 제공합니다.
- 이후 API 호출에서, 클라이언트는 이전 API 응답에서 받은 제한과 커서 값을 모두 제공해야 합니다.
- 서버는 이 커서 값을 사용하여 데이터베이스에서 레코드를 검색합니다. 이 고유 식별자인 커서 값은 아이템을 빠르게 식별하고 그 아이템의 이전이나 이후에 요청한 수의 레코드를 반환합니다.

소셜 미디어 피드의 예시를 들어보겠습니다. 데이터베이스에 수백만 개의 게시물이 존재하고 각 게시물에는 고유한 ID가 있습니다.

<div class="content-ad"></div>

초기 호출 시에는 limit만 보내요!

- 1페이지 레코드 가져오기: Limit = 10

```js
/* 백그라운드 SQL 쿼리 */

SELECT * FROM posts
ORDER BY post_id
LIMIT 10;
```

이렇게 하면 처음 10개의 게시물과 함께 커서 값(마지막 게시물의 id)을 받아요.

<div class="content-ad"></div>

```json
/* API 응답 */
{
  "pagination": {
    "size": 10,
    "cursor": "post_10"
  },
  "results": [
    {
      "id": "post_1",
      "author": {
        "id": "123",
        "name": "John Doe"
      },
      "content": "I got a new car",
      "image": "https://www.example.com/newcar.jpg",
      "reactions": {
        "likes": 20,
        "haha": 15
      },
      "created_time": 1620639583
    }
    // ... 더 많은 게시물들.
  ]
}
```

이 후의 호출에서는 이 cursor 값을 및 limit을 보내야 합니다.

2. 2번째 페이지 레코드를 가져오기: Limit = 10, cursor: “post_10”

```sql
SELECT * FROM posts
WHERE post_id > "post_10"
ORDER BY post_id
LIMIT 10;
```

<div class="content-ad"></div>

post_10이후에 나타나는 포스트 10개를 우리에게 반환하며, 그에 따라 커서 값(마지막 포스트의 id)도 표시됩니다:

```js
/* API 응답 */
{
  "pagination": {
    "size": 10,
    "cursor": "post_20"
  },
  "results": [
    {
      "id": "post_11",
      "author": {
        "id": "234",
        "name": "Chidanandan"
      },
      "content": "새로운 강아지를 입양했어요",
      "image": "https://www.example.com/newdog.jpg",
      "reactions": {
        "likes": 20,
        "haha": 15
      },
      "created_time": 1620639583
    }
    // ... 더 많은 포스트들.
  ]
}
```

이전 페이지를 요청할 때, 데이터베이스에게 커서보다 작은 레코드를 보내도록 요청합니다.

```js
SELECT * FROM posts
WHERE post_id < "post_10"
ORDER BY post_id
LIMIT 10;
```

<div class="content-ad"></div>

에지 케이스 처리:

API를 호출하지 않고 데이터가 없는 경우를 확인하기 위해 cursor 대신 next_cursor를 사용할 수 있습니다. 여기서 next_cursor는 데이터베이스에서 다음 요소의 고유한 ID를 나타냅니다. 예를 들어, 10개의 요소를 요청하면 next_cursor 값은 post_11이 post_10 대신 될 것입니다.

이를 통해 우리는 이후에 추가적인 포스트가 있는지 여부를 사전에 알 수 있습니다. 응답에서 next_cursor 값이 비어 있다면 현재 페이지가 마지막 페이지임을 결론지을 수 있습니다.

Cursor 기반 접근법의 단점:

<div class="content-ad"></div>

- 커서 기반 페이징은 사용자가 임의의 페이지로 직접 이동하는 것을 허용하지 않습니다 (예: "페이지 5로 이동"). 이는 사용자가 특정 페이지로 직접 이동할 것으로 기대하는 애플리케이션에서 제한이 될 수 있습니다.
- 커서 기반 페이징은 오프셋 기반 페이징에 비해 더 복잡하게 구현됩니다. 요청 사이의 커서를 처리하고 상태를 관리하는 추가적인 로직이 필요합니다.

커서 기반 페이징을 사용하는 경우:

- 대량 데이터 세트에 대해 효율적입니다. 큰 숫자의 행을 건너뛸 때 발생하는 성능 비용을 피하기 때문입니다.
- 데이터 세트가 자주 업데이트되는 경우 (예: 새 레코드가 추가되거나 삭제됨), 커서 기반 페이징은 고유 식별자에 집중하고 데이터 변경 문제를 피함으로써 일관된 결과를 제공합니다.
- 소셜 미디어 피드, 뉴스 기사 등 콘텐츠를 지속적으로 스크롤하는 사용자가 있는 애플리케이션에 이상적입니다.

오프셋 기반 페이징을 사용하는 경우:

<div class="content-ad"></div>

- 성능이 중요하지 않은 작은 데이터셋의 경우 오프셋 기반 페이징은 간단하고 구현하기 쉽습니다.
- 데이터가 자주 변경되지 않는 경우 오프셋 기반 페이징은 충분하며 일관성 문제를 걱정할 필요 없이 더 간단하게 사용할 수 있습니다.
- 사용자가 특정 페이지 번호로 이동해야 하는 경우(예: "5 페이지"), 오프셋 기반 페이징은 임의의 페이지에 직접 액세스할 수 있어 특정 시나리오에서 더 사용자 친화적입니다.

올바른 페이징 방법을 선택하는 것은 특정 애플리케이션 요구사항과 데이터 특성을 기반으로 이러한 요소를 균형있게 고려하는 것에 달려 있습니다.

내 문서를 https://chidanandan.medium.com/에서 확인해주세요.


Nextjs 14에서 커서기반 Pagination 구현하는 방법


![이미지](/assets/img/2024-08-03-Step-by-StepGuidetoCreateaGradioApplicationUsingSwarmaurisGroqModel_0.png)

그라디오는 머신 러닝 모델을 위한 웹 인터페이스를 빠르게 만들 수 있는 훌륭한 도구입니다. 이 안내서에서는 Swarmauri의 GroqModel을 사용하는 간단한 Gradio 애플리케이션을 만드는 방법을 배우게 될 것입니다.

# 단계 1: 환경 설정

시작하기 전에 필요한 라이브러리와 패키지를 설치했는지 확인하세요. Swarmauri의 swarmauri-sdkpython 패키지가 필요합니다. 주의: 현재 swarmauri-sdk는 베타 버전입니다.

<div class="content-ad"></div>

이 종속성을 설치하려면 다음 명령을 실행하세요:

```js
pip install swarmauri[full]==0.4.0
```

# 단계 2: 필요한 라이브러리 가져오기

새 Python 파일(예: app.py)을 만들고 필요한 라이브러리를 가져오세요.

<div class="content-ad"></div>

```js
import os
import gradio as gr
from swarmauri.standard.llms.concrete.GroqModel import GroqModel
from swarmauri.standard.agents.concrete.SimpleConversationAgent import SimpleConversationAgent
from swarmauri.standard.conversations.concrete.Conversation import Conversation
```

# Step 3: GroqModel 초기화하기

API 키를 사용하여 GroqModel을 설정하세요. API 키는 Groq API 서비스에서 받을 수 있습니다. API 키를 환경 변수를 사용하여 안전하게 저장하고 불러오는 것을 기억하세요.

```js
# 환경 변수에서 API 키를 가져오거나 직접 정의하세요 (배포용으로 권장되지 않습니다)
API_KEY = os.getenv('GROQ_API_KEY')

# GroqModel 초기화하기
llm = GroqModel(api_key=API_KEY)

# GroqModel을 가지고 SimpleConversationAgent를 생성하세요
conversation = Conversation()
agent = SimpleConversationAgent(llm=llm, conversation=conversation)
```

<div class="content-ad"></div>

# 단계 4: Gradio 인터페이스 정의하기

Gradio 인터페이스를 설정하고 사용자 입력을 처리하고 응답을 반환하는 함수를 정의하세요.

```js
# Gradio 인터페이스를 실행할 함수 정의
def converse(input_text, history):
    result = agent.exec(input_text)
    return result

# Gradio 인터페이스 구성 요소 생성
demo = gr.ChatInterface(
    fn=converse,
    examples=["Hello!"],
    title="무엇이든 물어보세요!",
    multimodal=False,
)
```

# 단계 5: 애플리케이션 실행하기

<div class="content-ad"></div>

그라디오 인터페이스를 실행하세요.

```js
if __name__ == "__main__":
    interface.launch(share=True)
```

# app.py 전체 코드

다음은 app.py 전체 코드입니다:

<div class="content-ad"></div>

```js
import os
import gradio as gr
from swarmauri.standard.llms.concrete.GroqModel import GroqModel
from swarmauri.standard.agents.concrete.SimpleConversationAgent import SimpleConversationAgent
from swarmauri.standard.conversations.concrete.Conversation import Conversation

# 환경 변수에서 API 키 가져오기 또는 직접 정의하기 (프로덕션 환경에서 권장되지 않음)
API_KEY = os.getenv('GROQ_API_KEY')

# GroqModel 초기화
llm = GroqModel(api_key=API_KEY)

# GroqModel과 함께 SimpleConversationAgent 생성
agent = SimpleConversationAgent(llm=llm, conversation=Conversation())

# gradio 인터페이스에 실행할 함수 정의
def converse(input_text, history):
    result = agent.exec(input_text)
    return result

demo = gr.ChatInterface(
    fn=converse,
    examples=["Hello!"],
    title="Ask me anything!",
    multimodal=False,
)

if __name__ == "__main__":
    demo.launch()
```

# 애플리케이션 실행하기

애플리케이션을 실행하려면 터미널을 열어서 app.py가 있는 디렉토리로 이동한 후 다음을 실행하십시오:

```js
python app.py
```

<div class="content-ad"></div>

터미널에 URL(예: http://127.0.0.1:7860/)이 표시됩니다. 이 URL을 웹 브라우저에서 열어서 Swarmauri 에이전트와 상호 작용해보세요.

# 축하합니다!

이제 GroqModel을 사용하는 Swarmauri의 SimpleConversationAgent와 상호 작용하는 간단한 Gradio 애플리케이션을 만드셨습니다. 이 안내서는 기본적인 기반 역할을 하며, 더 복잡한 대화 흐름 처리나 추가 서비스 통합과 같은 추가 기능을 포함하여이 애플리케이션을 확장할 수 있습니다. 즐거운 코딩 되세요!

# 함께하실래요?

<div class="content-ad"></div>

우리는 Swarmauri를 개발자와 데이터 과학자들을 위한 강력한 도구 모음으로 지속적으로 발전시키고 있습니다. 여러분의 기여, 피드백 및 참여가 이 프로젝트를 번창하게 만듭니다.

- GitHub 저장소
- 커뮤니티 Discord

Swarmauri 커뮤니티의 일원이 되어 주셔서 감사합니다. 함께 텍스트 처리와 기계 학습을 지금까지보다 더 접근 가능하고 강력하게 만들어 봅시다!

즐겁게 코딩하세요! 🚀


Swarmauri의 GroqModel을 사용하여 Gradio 애플리케이션 만드는 단계별 가이드

Dart 35에서 매크로 만드는 방법


우리는 Dart 백엔드 프레임워크인 Serverpod와 다른 인기 있는 Dart Frog를 비교해 보기로 했어요. 이를 위해 Frog의 웹사이트에서 Todos 예제를 복제했어요.

![image](/assets/img/2024-08-03-ServerpodvsDartFrog_0.png)

# 데이터 모델

Dart Frog는 데이터 직렬화를 위한 네이티브 방식을 제공하지 않아요. 대신, json_serializable와 같은 서드파티 패키지를 활용하여 모델을 읽고 쓰도록 의존하고 있어요. 이것은 모델에 로직을 포함하고 싶을 때 유용할 수 있지만, 다른 컴퓨터 언어 간에 작동하지는 않아요. 이것은 Todos 예제의 모델이에요.

<div class="content-ad"></div>

```js
// Dart Frog - 데이터 모델

import 'package:equatable/equatable.dart';
import 'package:json_annotation/json_annotation.dart';
import 'package:meta/meta.dart';

part 'todo.g.dart';

@immutable
@JsonSerializable()
class Todo extends Equatable {
  Todo({
    this.id,
    required this.title,
    this.description = '',
    this.isCompleted = false,
  }) : assert(id == null || id.isNotEmpty, 'id는 비어 있을 수 없습니다.');

  final String? id;

  final String title;

  final String description;

  final bool isCompleted;

  Todo copyWith({
    String? id,
    String? title,
    String? description,
    bool? isCompleted,
  }) {
    return Todo(
      id: id ?? this.id,
      title: title ?? this.title,
      description: description ?? this.description,
      isCompleted: isCompleted ?? this.isCompleted,
    );
  }

  static Todo fromJson(Map<String, dynamic> json) => _\$TodoFromJson(json);

  Map<String, dynamic> toJson() => _\$TodoToJson(this);

  @override
  List<Object?> get props => [id, title, description, isCompleted];
}
```

서버팟은 YAML 파일을 사용하여 읽기 쉬운 형태로 모델을 정의합니다. 모델로부터 생성된 Dart 코드에는 직렬화 메서드와 copyWith 메서드가 포함되어 있습니다. 또한, 서버팟의 장점 중 하나는 모델이 서버팟의 ORM을 통해 데이터베이스에 매핑될 수 있다는 것입니다. (원하는 경우에는 사용자 정의 직렬화도 지원합니다.)

```js
# Serverpod - 데이터 모델

class: Todo

fields:
  id: UuidValue?
  title: String
  description: String?
  isCompleted: bool
```

# 엔드포인트

<div class="content-ad"></div>

다음으로는 다트 프로그와 Serverpod를 사용하여 엔드포인트와 메소드를 작성하는 방법을 살펴보겠습니다. 두 프레임워크는 매우 다른 접근 방식을 취합니다. 다트 프로그는 직렬화와 HTTP 요청을 수동으로 처리해야 하지만, Serverpod는 원격 메소드 호출을 사용합니다.

다음은 다트 프로그의 Todos 예제에서의 코드입니다. 먼저, 미들웨어를 생성해야 합니다.

```js
// Dart Frog - Create middleware

import 'package:dart_frog/dart_frog.dart';
import 'package:in_memory_todos_data_source/in_memory_todos_data_source.dart';

final _dataSource = InMemoryTodosDataSource();

Handler middleware(Handler handler) {
  return handler
      .use(requestLogger())
      .use(provider<TodosDataSource>((_) => _dataSource));
}
```

그 다음으로는 /todos 경로를 설정합니다.

<div class="content-ad"></div>

```js
// Dart Frog - /todos 경로

import 'dart:async';
import 'dart:io';

import 'package:dart_frog/dart_frog.dart';
import 'package:todos_data_source/todos_data_source.dart';

FutureOr<Response> onRequest(RequestContext context) async {
  switch (context.request.method) {
    case HttpMethod.get:
      return _get(context);
    case HttpMethod.post:
      return _post(context);
    case HttpMethod.delete:
    case HttpMethod.head:
    case HttpMethod.options:
    case HttpMethod.patch:
    case HttpMethod.put:
      return Response(statusCode: HttpStatus.methodNotAllowed);
  }
}

Future<Response> _get(RequestContext context) async {
  final dataSource = context.read<TodosDataSource>();
  final todos = await dataSource.readAll();
  return Response.json(body: todos);
}

Future<Response> _post(RequestContext context) async {
  final dataSource = context.read<TodosDataSource>();
  final todo = Todo.fromJson(
    await context.request.json() as Map<String, dynamic>,
  );

  return Response.json(
    statusCode: HttpStatus.created,
    body: await dataSource.create(todo),
  );
}
```

마지막으로, /todos/`id` 경로가 있습니다.

```js
// Dart Frog - /todos/<id> route

import 'dart:async';
import 'dart:io';

import 'package:dart_frog/dart_frog.dart';
import 'package:todos_data_source/todos_data_source.dart';

FutureOr<Response> onRequest(RequestContext context, String id) async {
  final dataSource = context.read<TodosDataSource>();
  final todo = await dataSource.read(id);

  if (todo == null) {
    return Response(statusCode: HttpStatus.notFound, body: 'Not found');
  }

  switch (context.request.method) {
    case HttpMethod.get:
      return _get(context, todo);
    case HttpMethod.put:
      return _put(context, id, todo);
    case HttpMethod.delete:
      return _delete(context, id);
    case HttpMethod.head:
    case HttpMethod.options:
    case HttpMethod.patch:
    case HttpMethod.post:
      return Response(statusCode: HttpStatus.methodNotAllowed);
  }
}

Future<Response> _get(RequestContext context, Todo todo) async {
  return Response.json(body: todo);
}

Future<Response> _put(RequestContext context, String id, Todo todo) async {
  final dataSource = context.read<TodosDataSource>();
  final updatedTodo = Todo.fromJson(
    await context.request.json() as Map<String, dynamic>,
  );
  final newTodo = await dataSource.update(
    id,
    todo.copyWith(
      title: updatedTodo.title,
      description: updatedTodo.description,
      isCompleted: updatedTodo.isCompleted,
    ),
  );

  return Response.json(body: newTodo);
}

Future<Response> _delete(RequestContext context, String id) async {
  final dataSource = context.read<TodosDataSource>();
  await dataSource.delete(id);
  return Response(statusCode: HttpStatus.noContent);
}
```

그래서, 이러한 작업을 Serverpod로 어떻게 수행합니까? Serverpod에서는 엔드포인트 메서드를 Endpoint에 추가합니다. Serverpod는 서버 코드를 분석하여 필요한 서버 측 코드를 자동으로 생성합니다. 이 예제에서는 Dart Frog 예제와 동일하게 InMemoryTodosDataSource를 사용합니다.

<div class="content-ad"></div>

```js
import 'package:serverpod/serverpod.dart';
import 'package:todo_server/src/business/in_memory_data_source.dart';
import 'package:todo_server/src/generated/protocol.dart';

final _dataSource = InMemoryTodosDataSource();

class TodoEndpoint extends Endpoint {
  Future<Todo> create(Session session, Todo todo) async {
    return _dataSource.create(todo);
  }

  Future<List<Todo>> getAll(Session session) async {
    return _dataSource.readAll();
  }

  Future<Todo?> get(Session session, UuidValue id) async {
    return _dataSource.read(id);
  }

  Future<Todo> update(Session session, Todo todo) async {
    return _dataSource.update(todo.id!, todo);
  }

  Future<void> delete(Session session, UuidValue id) async {
    return _dataSource.delete(id);
  }
}
```

Serverpod을 사용하는 장점 중 하나는 모든 것이 엄격히 유형화되어 있다는 것입니다. 또한 Serverpod는 이미 날짜, UUID, 이진 데이터와 같은 일반 유형을 직렬화하는 방법을 이미 알고 있으므로 별도의 설정을 하지 않아도 됩니다.

# Flutter에서 서버 호출

Dart Frog은 Flutter에서 서버를 호출할 때 거의 도움이 되지 않습니다. 이를 위해 HTTP 호출을 수행하고 데이터를 직렬화해야 합니다.

<div class="content-ad"></div>

```js
// Dart Frog - 클라이언트 코드

var todo = Todo(
  title: '내 할일',
  isCompleted: false,
);

var url = Uri.parse('http://localhost:8080/todos');
var headers = {'Content-Type': 'application/json'};
var body = jsonEncode(todo.toJson());

var response = await http.post(
  url,
  headers: headers,
  body: body,
);

var newTodo = Todo.fromJson(jsonDecode(response.body));
```

한편, Serverpod는 자동으로 클라이언트 패키지를 생성해줍니다. 따라서 엔드포인트 메소드를 호출하는 것은 로컬 메소드를 호출하는 것만큼 쉬워집니다. 사용자가 생성한 모델은 플러터 앱에서도 접근할 수 있습니다.

```js
// Serverpod - 클라이언트 코드

var todo = Todo(
  title: '내 할일',
  isCompleted: false,
);

var newTodo = await client.todo.create(todo);
```

# 결론

<div class="content-ad"></div>

Serverpod과 Dart Frog는 Dart 백엔드를 설계하고 구축하는 데 매우 다른 방식을 취합니다. Dart Frog는 서버 엔드포인트를 구조화하는 데 추가적인 유연성을 제공할 수 있지만, Serverpod는 백엔드를 최소한의 코드로 설정하는 실용적이고 견고한 방법을 제공합니다.


Serverpod vs Dart Frog 2024년 최신 백엔드 프레임워크 비교

데이터베이스 기본 키 선택을 위한 설계 방법


## 고급 SQL 마스터하는 데 필요한 문법, 사용 사례 및 전문가 팁

![이미지](/assets/img/2024-08-03-TheMostUsefulAdvancedSQLTechniquestoSucceedintheTechIndustry_0.png)

기술 산업에서 오랜 기간 일해온 경험 많은 데이터 전문가로서 대량의 데이터 세트를 처리해 왔습니다. SQL은 데이터 조작, 데이터 쿼리 및 분석을 위한 가장 빈번하게 사용되는 도구입니다. 기본 및 중급 SQL을 숙달하는 것은 비교적 쉽지만, 이 도구를 숙달하고 다양한 시나리오에서 능숙하게 다루기는 때로는 어려울 수 있습니다. 최고 기술 기업에서 근무하고 싶다면 익숙해져야 할 고급 SQL 기술 몇 가지가 있습니다. 오늘은 귀하가 업무에서 확실히 활용할 것으로 예상되는 가장 유용한 고급 SQL 기술을 공유하겠습니다. 더 잘 이해하기 위해 사용 사례를 만들고, 사용하는 시나리오와 사용 방법을 설명하기 위해 모의 데이터를 사용하겠습니다. 각 사용 사례에 대해 프로그래밍 코드도 제공될 것입니다.

# 윈도우 함수

<div class="content-ad"></div>

윈도우 함수는 쿼리로부터 지정된 행 집합, 즉 "윈도우"를 통해 계산을 수행하고 현재 행과 관련된 단일 값이 반환됩니다.

윈도우 함수를 설명하기 위해 스타 백화점에서의 프로모션 판매 데이터를 사용하고자 합니다. 이 테이블에는 Sale_Person_ID(각 판매 직원의 고유 ID), Department(판매 직원 소속 부서), Sales_Amount(프로모션 중 각 직원의 판매 실적) 세 열이 포함되어 있습니다. 스타 백화점 경영진은 각 부서별 소계 판매 금액을 확인하고 싶어합니다. 여러분에게 주어진 작업은 테이블에 dept_total이라는 열을 추가하는 것입니다.

먼저, Database에 3개 열을 가진 promo_sales 테이블을 생성합니다.

<div class="content-ad"></div>

```js
CREATE TABLE promo_sales(
  Sale_Person_ID VARCHAR(40) PRIMARY KEY,
  Department VARCHAR(40),
  Sales_Amount int
);

INSERT INTO promo_sales VALUES (001, 'Cosmetics', 500);
INSERT INTO promo_sales VALUES (002, 'Cosmetics', 700);
INSERT INTO promo_sales VALUES (003, 'Fashion', 1000);
INSERT INTO promo_sales VALUES (004, 'Jewellery', 800);
INSERT INTO promo_sales VALUES (005, 'Fashion', 850);
INSERT INTO promo_sales VALUES (006, 'Kid', 500);
INSERT INTO promo_sales VALUES (007, 'Cosmetics', 900);
INSERT INTO promo_sales VALUES (008, 'Fashion', 600);
INSERT INTO promo_sales VALUES (009, 'Fashion', 1200);
INSERT INTO promo_sales VALUES (010, 'Jewellery', 900);
INSERT INTO promo_sales VALUES (011, 'Kid', 700);
INSERT INTO promo_sales VALUES (012, 'Fashion', 1500);
INSERT INTO promo_sales VALUES (013, 'Cosmetics', 850);
INSERT INTO promo_sales VALUES (014, 'Kid', 750);
INSERT INTO promo_sales VALUES (015, 'Jewellery', 950);
```

다음으로, 각 부서의 소계 판매액을 계산하고 테이블 `promo_sales`에 `dept_total` 열을 추가해야 합니다. 창 함수를 사용하지 않고는 "GROUP BY" 절을 사용하여 각 부서의 판매액을 얻는 "department_total"이라는 다른 테이블을 만듭니다. 그런 다음 테이블 `promo_sales`와 `department_total`을 조인합니다. 창 함수를 사용하면 이러한 계산을 단일 SQL 쿼리 내에서 수행할 수 있는 강력한 방법을 제공하여 데이터 처리 작업을 간소화하고 최적화할 수 있습니다.

이 작업을 수행하기 위해 SUM() 함수를 사용할 수 있습니다.

```js
SELECT
    Sale_Person_ID,
    Department,
    Sales_Amount,
    SUM(Sales_Amount) OVER (PARTITION BY Department) AS dept_total
FROM
    promo_sales;
```

<div class="content-ad"></div>

그런 다음 테이블 promo_sales에 예상대로 dept_total이라는 하나의 추가 열이 있습니다.

![이미지](/assets/img/2024-08-03-TheMostUsefulAdvancedSQLTechniquestoSucceedintheTechIndustry_2.png)

이 예제는 창 함수가 결과 집합의 행 수를 줄이지 않는다는 것을 보여줍니다. GROUP BY와 함께 사용되는 집계 함수와 달리 창 함수는 누적 합계, 평균 및 카운트와 같은 계산을 수행할 수 있으며 순위 매기기와 같은 작업에도 사용할 수 있습니다. 이제 다음 예제로 넘어가 보겠습니다.

Star Department Store의 경영진은 각 부서 내 프로모션 기간 동안의 성과에 따라 영업 직원들을 순위 매기고 싶어 합니다. 이번에는 영업 직원들을 순위 매기기 위해 RANK() 함수를 사용할 수 있습니다.

<div class="content-ad"></div>

```js
SELECT
    Sale_Person_ID,
    Department,
    Sales_Amount,
    RANK() OVER (PARTITION BY Department ORDER BY Sales_Amount DESC) AS Rank_in_Dept
FROM
    promo_sales;
```

![Image](/assets/img/2024-08-03-TheMostUsefulAdvancedSQLTechniquestoSucceedintheTechIndustry_3.png)

윈도우 함수는 데이터 분석에서 널리 사용됩니다. 윈도우 함수의 일반적인 유형에는 순위 함수, 집계 함수, 오프셋 함수 및 분포 함수가 있습니다.

1. 순위 함수: 순위 함수는 결과 집합의 파티션 내 각 행에 순위 또는 행 번호를 할당합니다.

<div class="content-ad"></div>

- ROW_NUMBER(): 각 행에 고유한 연속 정수를 할당합니다.

- RANK(): 동점이 있는 경우 간격을 두고 순위를 할당합니다.

- DENSE_RANK(): 동점이 있는 경우 간격 없이 순위를 할당합니다.

- NTILE(n): 행을 대략적으로 동일한 n 그룹으로 나눕니다.

<div class="content-ad"></div>

2. 집계 함수: 집계 함수는 현재 행과 관련된 행 집합 전체에서 계산을 수행하거나 통계를 수행하는 데 사용됩니다.

- SUM (): 파티션 내 전체 값 계산

- AVG (): 파티션 내 평균 값 계산

- COUNT (): 파티션 내 원소 수 얻기

<div class="content-ad"></div>

- MAX(): 파티션 내에서 가장 큰 값 가져오기

- MIN(): 파티션 내에서 가장 작은 값 가져오기

3. Offset 함수: Offset 함수를 사용하면 현재 행과 관련된 다른 행의 데이터에 액세스할 수 있습니다. 행 간 값 비교가 필요하거나 시계열 분석 또는 트렌드 감지를 실행해야 할 때 사용됩니다.

- LAG(): 이전 행에서 데이터에 액세스

<div class="content-ad"></div>

- LEAD(): 다음 행의 데이터에 액세스합니다.

- FIRST_VALUE(): 정렬된 세트에서 첫 번째 값을 가져옵니다.

- LAST_VALUE(): 정렬된 세트에서 마지막 값을 가져옵니다.

4. 분포 함수: 분포 함수는 값이 값 그룹 내의 상대적 위치를 계산하고 값의 분포를 이해하는 데 도움이 됩니다.

<div class="content-ad"></div>

- PERCENT_RANK(): 한 행의 백분위 순위를 계산합니다.

- CUME_DIST(): 값의 누적 분포를 계산합니다.

- PERCENTILE_CONT(): 연속 백분위 값을 계산합니다.

- PERCENTILE_DISC(): 이산적인 백분위 값을 계산합니다.

<div class="content-ad"></div>

# 서브쿼리

서브쿼리는 다른 SQL 쿼리 내에 있는 쿼리로, 중첩 쿼리 또는 내부 쿼리로도 알려져 있습니다. 새로운 열이나 새로운 테이블을 생성하거나 메인 쿼리에서 검색할 데이터를 더 제한하는 조건을 생성하는 데 사용할 수 있습니다.

데모를 위해 스타 백화점의 데이터 테이블 promo_sales를 계속 사용해 보겠습니다.

- 새로운 열 생성을 위한 서브쿼리

<div class="content-ad"></div>

이번에는 각 세일즈 직원의 판매 금액과 부서 평균 간의 차이를 보여주는 새로운 열을 추가하고 싶습니다.

```js
SELECT
    Sale_Person_ID,
    Department,
    Sales_Amount,
    Sales_Amount - (SELECT AVG(Sales_Amount) OVER (PARTITION BY Department) FROM promo_sales) AS sales_diff
FROM
    promo_sales;
```

2. 새 테이블을 생성하기 위한 서브쿼리

마케팅 비용 테이블 mkt_cost에는이 프로모션 동안 모든 부서의 광고 비용이 포함되어 있습니다. 각 부서의 광고 비용 효율성이 가장 높은 부서를 결정하려면 각 부서의 광고 지출 대비 매출액을 계산해야 합니다. 우리는 서브쿼리를 사용하여 이러한 부서들을 위해 총 판매 금액과 마케팅 비용을 포함하는 새로운 테이블을 만들고, 이 새로운 테이블의 데이터를 분석할 수 있습니다.

<div class="content-ad"></div>

```js
SELECT
    Department,
    dept_ttl,
    Mkt_Cost,
    dept_ttl/Mkt_Cost AS ROAS
FROM
    (SELECT
        s.Department,
        SUM(s.Sales_Amount) AS dept_ttl,
        c.Mkt_Cost
     FROM
        promo_sales s
     LEFT JOIN
        mkt_cost c
     ON s.Department=c.Department
     GROUP BY s.Department
     )
```

3. 제한 조건을 만드는 서브쿼리

서브쿼리를 사용하여 모든 판매 대행자의 평균 판매액을 초과한 판매 대행자를 선택할 수도 있습니다.

<div class="content-ad"></div>

```sql
SELECT
    Sale_Person_ID,
    Department,
    Sales_Amount
FROM
    promo_sales
WHERE
    Sales_Amount > (SELECT AVG(salary) FROM promo_sales);
```

위에 나열된 3가지 유형의 서브쿼리 외에도 자주 사용되는 서브쿼리 유형이 있습니다. 이것은 외부 쿼리의 값에 의존하는 '상관 서브쿼리'입니다. 이 서브쿼리는 외부 쿼리의 각 행마다 한 번 실행됩니다.

상관 서브쿼리는 프로모션 기간 동안 부서 평균 이상의 매출 실적을 달성한 판매 담당자를 찾는 데 사용할 수 있습니다.

```sql
SELECT
    ps_1.Sale_Person_ID,
    ps_1.Department,
    ps_1.Sales_Amount
FROM
    promo_sales ps_1
WHERE
    ps_1.Sales_Amount > (
          SELECT AVG(ps_2.Sales_Amount)
          FROM promo_sales ps_2
          WHERE ps_2.Department = ps_1.Department
);
```

<div class="content-ad"></div>

서브쿼리를 사용하면 데이터에 대해 복잡한 질문에 답할 수 있는 복잡한 쿼리를 작성할 수 있어요. 그러나 대규모 데이터셋의 경우 과도한 사용은 성능 문제로 이어질 수 있으니 신중히 사용하는 것이 중요해요.

# 공통 테이블 표현식

공통 테이블 표현식(CTE)은 하나의 SQL 문 범위 내에서 존재하는 이름이 붙은 임시 결과 집합이에요. CTE는 WITH 절을 사용하여 정의되며 후속 SELECT, INSERT, UPDATE, DELETE 또는 MERGE 문에서 한 번 이상 참조될 수 있어요.

SQL에서 주로 두 가지 유형의 CTE가 있어요.

<div class="content-ad"></div>

- Non-recursive CTE: 비재귀 CTE는 복잡한 쿼리를 간단한 부분으로 분해하여 단순화하는 데 사용됩니다. 자기 자신을 참조하지 않기 때문에 CTE의 가장 간단한 유형입니다.
- Recursive CTE: 재귀 CTE는 정의 내에서 자기 자신을 참조하여 계층적 또는 트리 구조 데이터를 처리할 수 있습니다.

이제 비재귀 CTE를 사용하여 데이터 테이블 promo_sales를 처리해 보겠습니다. 과제는 각 부서별 판매액의 평균을 계산하고 프로모션 중 평균 매출과 비교하는 것입니다.

```js
WITH dept_avg AS (
    SELECT
        Department,
        AVG(Sales_Amount) AS dept_avg
    FROM
        promo_sales
    GROUP BY
        Department
),

store_avg AS (
    SELECT AVG(Sales_Amount) AS store_avg
    FROM promo_sales
)

SELECT
    d.Department,
    d.dept_avg,
    s.store_avg,
    d.dept_avg - s.store_avg AS diff
FROM
    dept_avg d
CROSS JOIN
    store_avg s;
```

재귀 CTE는 계층적 데이터를 처리할 수 있기 때문에 1에서 10까지 숫자 시퀀스를 생성하려고 합니다.

<div class="content-ad"></div>

```js
WITH RECURSIVE sequence_by_10(n) AS (
    SELECT 1
    UNION ALL
    SELECT n + 1
    FROM sequence_by_10
    WHERE n < 10
)
SELECT n FROM sequence_by_10;
```

CTE(공통 테이블 표현식)는 복잡한 쿼리를 단순화하여 가독성과 유지보수성을 향상시킴으로써 강력한 기능을 제공합니다. 메인 쿼리에서 동일한 서브쿼리를 여러 번 참조해야 할 때나 재귀 구조와 함께 작업할 때 특히 유용합니다.

# 결론

세 가지 고급 SQL 기술은 데이터 처리 및 분석 기능을 크게 향상시킬 수 있습니다. 윈도우 함수를 사용하면 개별 레코드의 맥락을 유지하면서 행 집합 전체에 대한 복잡한 계산을 수행할 수 있습니다. 서브쿼리를 사용하면 데이터에 대해 정교한 질문에 대답하기 위한 복잡한 쿼리를 작성할 수 있습니다. CTE는 SQL 쿼리를 구조화하고 단순화하는 강력한 방법을 제공하여 가독성과 유지보수성을 높일 수 있습니다. 이러한 고급 기술을 SQL 도구상자에 통합함으로써 데이터 전문가로서의 역할에서 복잡한 데이터 도전에 대처하고 가치 있는 통찰을 제공하거나 이야기하는 대시보드를 생성하는 데 SQL 기술을 업그레이드할 수 있어야 합니다.


기술 업계에서 성공하기 위한 가장 유용한 고급 SQL 기법 10가지

Windows에서 Ollama 실행하는 방법


## 할머니와 할아버지도 이해하기 쉽게

![이미지](/assets/img/2024-08-03-TheJuly19thCrowdStrikeWindowsGlitchExplained_0.png)

기술 산업에서 20년간 일한 베테랑으로, 제가 겪어온 기술적 문제들을 많이 보았습니다.

최근 윈도우 중단 사태와 관련된 CrowdStrike를 들었을 때, 15년 전 블랙베리를 위해 윈도우 드라이버를 개발했던 경험이 떠올랐습니다. 당시, 셀 수 없이 많은 블루 스크린과 충돌을 다뤘기 때문에 무엇이 잘못됐을지 잘 알 것 같습니다.

<div class="content-ad"></div>

지난 금요일 발생한 문제는 복잡하며, 소프트웨어 개발에 익숙하지만 Windows 드라이버나 커널 공간에 익숙하지 않은 사람들에게는 명확히 해야 할 수도 있습니다.

본 문서는 상황을 단순화하고, 기술적 배경지식이 없는 사람들에게도 쉽게 이해할 수 있도록 설명하는 것을 목표로 합니다 — 심지어 당신의 할아버지, 할머니들에게도요.

# Windows 기계를 집으로 가정해 봅시다

## 사용자 공간

<div class="content-ad"></div>

더 잘 이해하기 위해, Windows 컴퓨터를 당신의 집이라고 가정해 봅시다. 당신의 집 안에는 부엌, 거실, 침실과 같은 방들이 있습니다. 이곳은 일상 활동을 하는 장소로, 식사를 만들거나 TV를 시청하고 휴식을 취하는 곳입니다. 이들은 집의 기능과 직접 상호작용하는 가시적이고 접근 가능한 공간입니다.

이를 당신의 집 부분으로 지칭하겠습니다. 이는 또한 당신이 보고 상호작용하는 컴퓨터 공간입니다. 화면에서 보이는 것과 마우스로 가리키는 것입니다. Windows에서도 이를 사용자 공간이라고 합니다.

## 커널 공간

당신의 집 안에는 숨겨진 세계도 있습니다. 벽 뒤 시스템에는 기초, 배관, 전기, 난방이 포함됩니다. 이것들은 일상 생활 중에는 볼 수 없지만, 모든 것이 올바르게 작동하도록 하는 데 중요합니다. 이들은 물과 전기 공급을 처리하고 집의 운영을 유지하는 중요한 기능을 담당합니다.

<div class="content-ad"></div>

당신 집의 내부 인프라입니다. 컴퓨터에서 이 영역은 커널 스페이스라고 합니다.

![이미지](/assets/img/2024-08-03-TheJuly19thCrowdStrikeWindowsGlitchExplained_1.png)

## CrowdStrike는 새로운 스마트 온도 조절기입니다

스마트 온도 조절기와 같이 새로운 기능을 추가하는 것을 고려해보세요. 이 최신 기능은 처음부터 집에 있던 것은 아니지만 기존의 난방 및 냉방 시스템(내부 인프라)과 연결되어 정상적으로 작동해야 합니다.

<div class="content-ad"></div>

집 안의 온도를 모니터링하고 기존 인프라와 효과적으로 작동하는 콤포넌트를 가지고 있습니다. 사용자나 집을 원래 짓는 사람이 이 구성 요소(온도 조절 장치)를 만들지 않았기 때문에 이를 제3자 애플리케이션이라고 부릅니다.

마찬가지로, Crowdstrike는 Falcon이라는 애플리케이션을 만들어서 Windows 기계에 설치하여 그 보안상태를 모니터링합니다. 이를 올바르게 실행하려면 컴퓨터의 커널 공간/내부 인프라에 연결해야 합니다.

Microsoft나 사용자에 의해 만들어지지 않았기 때문에 Falcon은 제3자 애플리케이션이 됩니다.

# 인증 프로세스

<div class="content-ad"></div>

구글과 같은 기업이 홈 스마트 서모스탯(Nest)을 만들 때는 해당 제품이 고객의 난방 및 냉방 시스템과 작동할 것임을 인증해야 합니다. 그 후 제품을 판매할 수 있죠.

그래서 가정용 Nest 스마트 서모스탯을 사오면, 집에 가져와서 난방 및 냉방 시스템에 연결합니다. Nest는 이제 집의 온도를 모니터링하고 난방 및 냉방 시스템에 온도 조절을 지시합니다.

비슷하게, Crowdstrike의 Falcon을 구매하여 컴퓨터에 설치할 수 있습니다. 이를 통해 컴퓨터의 보안을 모니터링하고 커널 스페이스에 있으며 컴퓨터의 내부 인프라에게 컴퓨터를 보호하기 위한 작업을 진행하도록 할 수 있습니다.

Windows 기기에서 커널 스페이스에 액세스하는 어떤 응용 프로그램은 해당 기기에서 실행되기 전에 Windows에 의해 인증되어야 합니다. 인증을 받지 못하면 실행할 수 없죠. 하지만 때로는 신속히 발견된 큰 보안 위험들이 있어 Falcon의 업데이트가 필요할 때도 있지요.

<div class="content-ad"></div>

가끔 기업들은 애플리케이션을 커널 공간에서 작동하는 부분과 사용자 공간에서만 작동하는 부분으로 나눕니다. 커널 공간에 있는 부분은 인증이 필요하지만 사용자 공간에 있는 부분은 필요하지 않아요.

그래서 새로운 공격이 발생하면, 그들은 빠르게 정보를 사용자 공간으로 전송하고 애플리케이션의 커널 공간 부분에 해당 정보를 확인하라고 지시할 수 있어요. 그러면 커널 공간에서 해당 정보를 활용하여 공격으로부터 보호할 수 있어요. 그리고 커널 공간을 업데이트할 필요가 없었기 때문에 인증도 필요 없었어요.

하지만, 여기서 큰 문제가 있어요. 이를 신중하게 해야 해요. 사용자 공간에서 정보를 업데이트하여 실수로 커널 공간의 애플리케이션을 혼란스럽게 만들 수 있고, 상황이 엇갈릴 수 있어요. 그래서 이를 수행할 때 충분히 테스트해야 해요.

어디로 향하고 있는지 보이나요? .....

<div class="content-ad"></div>

## 어떻게 모든 것이 잘못되었을까요?

새로운 Nest Smart 온도 조절기는 핸드폰에서 온도를 설정하고 벽면에 있는 패널 및 스마트폰을 통해 집의 난방 및 냉방 시스템을 직접 제어할 수 있습니다.

이제 구글이 Nest를 위한 소프트웨어 업데이트를 릴리스한다고 가정해 봅시다. 이 업데이트는 사용하는 모바일 앱을 개선하지만 집의 난방 및 냉방 시스템을 직접 제어하는 부분에는 변경 사항이 포함되지 않습니다. 기반 시스템은 인증이 필요하기 때문에 자주 변경하길 원하지 않으며 업데이트를 빠르게 배포하기 위해 모바일 앱만 변경해야 할 수도 있지만 여전히 기반 시스템과 작동해야 합니다.

여기서 문제가 발생합니다: 업데이트된 앱은 새로운 기능 또는 설정을 소개하여 조절기와 작동할 것으로 예상됩니다. 그러나 난방 및 냉방을 관리하는 조절기의 핵심 제어 시스템은 변경 사항을 예상대로 처리하지 못했습니다. 소프트웨어 개발자들은 기존 인프라와 이 변경 사항을 테스트하는 것을 잊었으며 올바르게 작동하려면 변경 사항이 필요하다는 것을 깨닫지 못했습니다.

<div class="content-ad"></div>

요즘 앱을 사용하여 온도를 설정하면 업데이트된 데이터가 서열열기기 제어 시스템에 전달됩니다. 그러나 코어 시스템이 업데이트되지 않았기 때문에 이러한 새로운 데이터를 올바르게 해석하거나 처리할 수 없었습니다. 이 불일치로 인해 온도계는 난방 및 냉방 시스템에 잘못된 신호를 보내게 됩니다. 결과적으로 난방이 이미 따뜻할 때 켜지거나, 냉방 시스템이 뜨거울 때 작동하지 않아 집이 불편해질 수 있습니다.

여기서 시스템을 고치는 유일한 방법은 벽에서 연결을 끊은 다음 디스플레이를 컴퓨터에 연결하여 소프트웨어를 업데이트한 후 다시 벽에 연결하는 것입니다.

팔콘은 Windows 기계의 컨텍스트에서 스마트 온도계와 같습니다. 커널 공간에서 작동하는 구성 요소 또는 “드라이버”(온도계의 핵심 제어 시스템과 같음)와 사용자 공간에서 작동하는 다른 구성 요소가 있습니다(사용하는 모바일 앱과 같음). CrowdStrike가 사용자 공간 구성 요소만 업데이트하고 커널 공간 드라이버를 업데이트하지 않으면 시스템에 문제가 발생할 수 있습니다.

팔콘의 커널 공간 드라이버가 업데이트된 사용자 공간 구성 요소로부터 데이터를 가져오면 호환성 문제로 인해 중대한 장애가 발생할 수 있습니다. 이를 해결하기 위해서는 컴퓨터를 안전 모드로 수동으로 재부팅하고(온도계를 수동으로 수정하는 것과 같음), 문제가 되는 드라이버를 제거한 다음 컴퓨터를 정상적으로 재부팅해야 합니다.

<div class="content-ad"></div>

이건 7월 19일 금요일에 정확히 일어난 사건이에요. CrowdStrike Falcon 애플리케이션의 업데이트로 인해 Kernel Space에서 심각한 오류가 발생했고, 설치된 모든 Windows 기기에서 블루 스크린 오브 데스가 발생했어요!

네스트를 사용하는 집의 모든 온도 제어가 고장나는 상황을 상상해보세요! 네스트와 마찬가지로, Falcon은 모든 집의 온도를 망가뜨리지는 않았어요. Falcon은 실행 중인 Windows 컴퓨터만 고장나게 했기 때문에 Windows 전체가 아닌 CrowdStrike의 전체 서비스에 장애를 일으킨 거죠. Falcon은 맥과 리눅스 기기에서도 실행 중이었지만, 이 부분의 코드는 다르게 작동하며 영향을 받지 않았어요.

요약하자면, 스마트 온도 조절기 앱의 업데이트를 코어 제어 시스템의 업데이트 없이 진행할 경우 집의 온도 조절에 문제가 발생할 수 있듯이, Kernel Space의 드라이버에 불완전한 업데이트를 진행하면 Windows 기기에서 심각한 문제가 발생할 수 있어요.

이 사례는 온도 조절기든 컴퓨터든 시스템의 모든 부분을 동기화하여 원활한 작동을 보장하기 위해 유지하는 것이 왜 중요한지를 보여줍니다.

<div class="content-ad"></div>

# 더 자세한 내용을 원하시나요?

이 문제를 더 심층적으로 살펴보고 싶다면 이 비디오를 강력히 추천합니다.

이 문제를 해결하기 위해 노력하는 IT 팀들과 크라우드스트라이크에서 실수한 개발자에게 모두 최고의 행운을 빕니다. 우리 모두는 인간이고, 실수를 범할 수 있습니다. 이 불행한 사건에서 크라우드스트라이크 뿐만 아니라 다른 많은 기업들도 유익한 교훈을 얻기를 바랍니다.


2024년 7월 19일 CrowdStrike Windows 버그 완벽 해설


터미널과 러스트 기반 도구만 사용한 개발 환경 전체적인 개요에 대해 간략히 살펴보겠습니다.

이 내용을 간단하게 유지하기 위해 도구들을 자세히 설명하거나 설치 방법에 대해 다루지 않겠습니다. 대신 각 도구의 웹사이트를 참조하면 유틸리티를 잘 보여주기 때문에 해당 사이트로 이동하도록 안내하겠습니다. 아직 러스트 기술에 열광하지 않은 경우에 대비하여 일반적으로 사용할 수 있는 대체 도구도 제시하겠습니다... 그러나 진심으로 말해, 러스트를 꼭 사용해야 합니다! 이 설정에서 러스트 기반이 아닌 것은 제 폰트뿐이며, 저는 Fira Code Retina를 사용하고 있는데, 이는 프로그래밍 언어로 폰트를 만들 수 없기 때문에 사용하는 것입니다... 혹시 가능할까요?

## 왜 Rust를 선택하고 왜 터미널만 사용하나요?

시작하기 전에 한 가지 주관적인 의견을 먼저 전하겠습니다. 왜 러스트 기반 도구를 선택한 이유일까요? 러스트는 C나 C++로 이전에 작성된 많은 도구를 혁신하고 있는 안전한 메모리 언어입니다. 이것에 대해 저를 믿어주세요.

<div class="content-ad"></div>

![Terminal](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_0.png)

Regarding the second question... using only the terminal might be challenging and require a serious commitment. While I believe it can make you a more versatile developer, nowadays we have tools like VS Code and JetBrains that handle this for us. However, using only the terminal can simplify your workflow by eliminating the need to manage additional applications, avoid memory-hungry IDEs (yes, JetBrains, I'm looking at you!), and forgo Markdown editors like iAWriter. It's just you and your terminal.

Alright, enough small talk, let's dive in! We'll start from the outside and move inward, offering some additional tools along the way, so stay tuned for those!

## The Terminal

<div class="content-ad"></div>

먼저 터미널 에뮬레이터가 필요합니다. 제 macOS에서 사용하기에는 이 선택이 꽤 명확해 보였어요. Warp. Warp는 놀라운 기능들이 많이 있어서 당신이 예상하지 못한 터미널의 기능이 정말 도움이 됩니다. 주목할 몇 가지는:

- 블록
- 코드 완성
- AI 생성 명령어
- 명령어 팔레트

![이미지](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_1.png)

Warp에서 제가 크게 좋아하지 않는 것은 하단 기반 인터페이스인 것 뿐… 단순히 말하자면 제 프롬프트를 위에 두고 이전에 실행된 셀들을 아래에 두는 것을 선호할 뿐이에요.

<div class="content-ad"></div>

만약 Mac을 사용하지 않거나 크로스 플랫폼 에뮬레이터를 선호한다면, 저는 Alacritty도 시도해보았고 꽤 좋아합니다.

만약 Rust 기반 도구에 관심이 없다면, Mac에서는 iTerm을 추천합니다. 메뉴 기반의 사용자 정의가 Alacritty의 파일 기반 구성보다 간단하며, 사용자 정의 옵션도 무궁무진합니다.

## 터미널 멀티플렉서

Zellij! Zellij은 Rust로 작성된 tmux 대안입니다. 제게 가장 큰 장점 중 하나는 화면 분할 및 탭 이동 버튼이 함께 제공된다는 것입니다. 이를 통해 화면 및 탭을 어떻게 이동할지 확인할 수 있습니다!

<div class="content-ad"></div>

![TheBESTFullyRust-basedTerminalSetup_2](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_2.png)

It also comes with built-in layout supports.

## The Shell

Nushell! This shell is new (get it?) on the market and blazing fast! It takes a structured data approach to the shell and brings modern technological expectations (including built-in fetch to the shell). Borrowing some ideas from Powershell, it consumes structured data and even allows you to open and interact with files as tables!

<div class="content-ad"></div>

![이미지](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_3.png)

누쉘에 대한 유일한 대안으로 피쉬를 추천해요. 벌써 bash와 zsh에서 빠져나오세요. bash로 스크립트를 작성하세요. 하지만 대화형 터미널 사용은 좀 더 사용자 친화적이어야 합니다.

## 보너스 1: 누쉘 테이블

우리의 첫 번째 보너스에요! 누쉘 테이블은 실제로 데이터 테이블입니다! 만약 파이썬에 익숙하다면 이것들은 기본적으로 팬더스 테이블과 비슷합니다. 다만, 팬더스를 사용하는 대신 @polars를 사용해요. 이것은 Rust 기반 데이터 프레임 라이브러리에요! 그래서 (거의) 팬더스에서 할 수 있는 모든 것들을 누쉘 테이블에도 적용할 수 있어요!

<div class="content-ad"></div>

![이미지](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_4.png)

## 프롬프트

Starship! 이 프롬프트는 화려하게 빠르며, 많은 인기있는 쉘과 함께 작동하며, 매우 최소한이되거나 매우 정보성 있게 구성할 수 있습니다. 기본 설정으로 언어 버전, 패키지 버전 및 git 상태와 같은 좋은 정보를 제공합니다!

![이미지](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_5.png)

<div class="content-ad"></div>

대안으로 oh-my-zsh/fish를 추천드립니다. (다만 슬로우하고 부풀어 있는 점이 있어요) 쉘에 따라 다르지만, Starship을 사용하는 걸 권해드릴게요.

## 추가 정보 2: 더 나은 ls

Exa! Exa는 ls를 예쁜 아이콘과 그리드로 변경해줘요. 이 아이콘들에는 Hack Nerd 폰트를 사용해요.

![이미지](/assets/img/2024-08-03-TheBESTFullyRust-basedTerminalSetup_6.png)

<div class="content-ad"></div>

테이블 태그를 마크다운 형식으로 변경해주세요.

<div class="content-ad"></div>

여기서 내가 추천하는 유일한 대안은 Lua 기반인 LunarVimf이고 꽤 멋지지만 Helix와 달리 플러그인으로 느려질 수 있어요.

## 보너스 빠른 라운드

보너스 빠른 라운드! 이 멋진 CLI 도구들은 모두 Rust로 제작되었으며 아마도 매일 사용하는 도구들을 개선해요!

@links to all

<div class="content-ad"></div>

- ripgrep: 더 나은, 빠른 grep
- ripgrep-all: 이진 파일용 ripgrep
- fd: 빠른 찾기 도구
- zoxide: 똑똑한 cd
- hyperfine: CLI 벤치마킹 도구

## 결론

이 모든 도구는 전반적으로 훌륭합니다. 유일한 단점은 그 중 일부가 상당히 새로운 도구들이라는 것입니다. 때로는 내가 원하는 방식으로 nutshell 색상을 작동시키는 데 어려움을 겪기도 하며, Zellij은 현재 Warp와 잘 맞지 않습니다. 내 Zellij 색상도 약간 개선이 필요할 것 같습니다.

이 스타일 기사가 마음에 들었으면하고 유익하게 여겼으면 좋겠습니다! 이 도구들 중 일부를 시도해보세요. 아마도 그 중 일부를 들어보지 못했을지도 모릅니다!

<div class="content-ad"></div>

만약 흥미로운 내용을 발견했거나 새로운 도구를 알게 되었다면 한 번 클랩을 해주시고 더 많은 이런 기사를 보려면 저를 팔로우해주세요!


Rust 기반 터미널 설정에 필요한 모든 가이드


<img src="/assets/img/2024-08-03-Solvingcompilationissueswithargon2_elixironmacOS_0.png" />

엘릭서 개발자로써, 종속성을 부드럽게 컴파일하는 과정을 당연시하는 일이 많습니다. 그러나 문제가 발생하면 빌드 시스템, 컴파일러 플래그 및 플랫폼별 독특한 점으로 인해 끝없는 문제 해결 과정으로 이끌 수 있습니다. 이 글은 macOS에서 argon2_elixir 라이브러리의 지속적인 컴파일 문제를 해결하는 내 여정을 문서화하며, 그 과정에서 얻은 통찰과 배운 교훈을 제시합니다.

## 문제

모든 것은 Phoenix 엘릭서 프로젝트에 사용자 인증을 추가하는 보편적인 작업으로 시작되었습니다. 비밀번호 해싱을 위해 인기 있는 argon2_elixir 라이브러리를 선택했지만, mix deps.get을 실행하고 컴파일을 시도할 때 다음 오류가 발생했습니다:

<div class="content-ad"></div>

```js
➜  project-x git:(add-auth) ✗ mix deps.compile argon2_elixir --force
==> argon2_elixir
mkdir -p /Users/domino/Workspace/project-x/_build/dev/lib/argon2_elixir/priv
clang -g -O3 -pthread -Wall -Wno-format-truncation -I"/Users/domino/.asdf/installs/erlang/27.0/erts-15.0/include" -Iargon2/include -Iargon2/src -Ic_src -shared -fPIC -fvisibility=hidden -Wl,-soname,libargon2.so.0 argon2/src/argon2.c argon2/src/core.c argon2/src/blake2/blake2b.c argon2/src/thread.c argon2/src/encoding.c argon2/src/ref.c c_src/argon2_nif.c -o /Users/domino/Workspace/project-x/_build/dev/lib/argon2_elixir/priv/argon2_nif.so
warning: unknown warning option '-Wno-format-truncation' [-Wunknown-warning-option]
1 warning generated.
ld: unknown option: -soname
clang: error: linker command failed with exit code 1 (use -v to see invocation)
make: *** [/Users/domino/Workspace/project-x/_build/dev/lib/argon2_elixir/priv/argon2_nif.so] Error 1
could not compile dependency :argon2_elixir, "mix compile" failed. Errors may have been logged above. You can recompile this dependency with "mix deps.compile argon2_elixir --force
could not compile dependency :argon2_elixir, "mix compile" failed. Errors may have been logged above. You can recompile this dependency with "mix deps.compile argon2_elixir --force", update it with "mix deps.update argon2_elixir" or clean it with "mix deps.clean argon2_elixir"
```

이 문제는 macOS Sequoia 15 Beta 운영 체제를 실행하는 M3 기기에서 발생했습니다. 다음 사양을 가지고 있습니다:

```js
➜  project-x git:(add-auth) ✗ sw_vers
ProductName:            macOS
ProductVersion:         15.0
BuildVersion:           24A5298h

➜  project-x git:(add-auth) ✗ uname -a
Darwin Domino-MacBook 24.0.0 Darwin Kernel Version 24.0.0: Sat Jul 13 00:54:33 PDT 2024; root:xnu-11215.0.165.0.4~50/RELEASE_ARM64_T6030 arm64

➜  project-x git:(add-auth) ✗ gcc --version
Apple clang version 15.0.0 (clang-1500.3.9.4)
Target: arm64-apple-darwin24.0.0
Thread model: posix
InstalledDir: /Applications/Xcode.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/bin

➜  project-x git:(add-auth) ✗ make --version
GNU Make 3.81
Copyright (C) 2006  Free Software Foundation, Inc.
This is free software; see the source for copying conditions.
There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A
PARTICULAR PURPOSE.
```

이 정보는 문제가 최신 Apple Silicon 하드웨어와 매우 최신 macOS 버전에서 발생하며, 특정 빌드 도구 및 컴파일 플래그와의 호환성에 영향을 줄 수 있다는 점을 강조합니다.

<div class="content-ad"></div>

## 심층 탐구: 에러 이해하기

에러 메시지에서 두 가지 주요 문제가 발견되었습니다:

- 알 수 없는 경고 옵션 -Wno-format-truncation
- 알 수 없는 링커 옵션 -soname

이러한 에러는 macOS 시스템에서 적절하게 사용되지 않은 플랫폼 특정 컴파일레이션 플래그를 가리켰습니다.

<div class="content-ad"></div>

## Cross-Compilation 조사

Makefile에는 교차 컴파일을 확인하는 코드가 포함되어 있어 빌드 프로세스가 복잡해졌습니다:

```js
ifneq ($(CROSSCOMPILE),)
# Cross-compilation settings
else
# Native compilation settings
endif
```

이 확인은 서로 다른 컴파일 시나리오를 처리하기 위해 의도되었으나 macOS의 로컬 개발 환경에서 문제를 일으키고 있었습니다.

<div class="content-ad"></div>

## 문제 해결 과정

## 문제를 일으키는 경고 플래그 제거

먼저 Makefile에서 -Wno-format-truncation 플래그를 제거했습니다. 이는 경고일 뿐 심각하지 않았기 때문입니다.

```js
CFLAGS ?= -g -O3
CFLAGS += -pthread -Wall
# Removed: -Wno-format-truncation
CFLAGS += -I"$(ERTS_INCLUDE_DIR)"
CFLAGS += -I$(SRC_INC) -I$(SRC_DIR) -Ic_src
```

<div class="content-ad"></div>

## 링커 문제 해결

약간의 조사를 통해 -soname 옵션이 Linux에 특화되어 있고 macOS에서는 지원되지 않는다는 결론을 얻었습니다.

먼저, 제 CROSSCOMPILE 플래그를 확인했습니다:

```js
➜  project-x git:(add-auth) ✗ echo $CROSSCOMPILE
true
```

<div class="content-ad"></div>

그리고 그 문제가 그것일지 확인하기 위해 Makefile을 플랫폼별 플래그를 사용하도록 수정했습니다. 이 문제에 대한 3가지 대안을 찾아보았어요:

- CROSSCOMPILE을 사용하지 않도록 설정: /deps/argon2_elixir/Makefile에서 컴파일러를 명시적으로 설정했습니다:

```js
...
unexport CROSSCOMPILE

ifneq ($(CROSSCOMPILE),)
 LIB_CFLAGS := -shared -fPIC -fvisibility=hidden
 SO_LDFLAGS := -Wl,-soname,libargon2.so.0
else
...
```

2. argon_2_elixir의 컴파일 옵션을 업데이트: /deps/argon2_elixir/mix.exs에서 elixir_make 및 구성 옵션에 대해 더 알아보세요.

<div class="content-ad"></div>

```js
def project do
   [
     # ...other configs...
     # option 1
     make_env: %{"CROSSCOMPILE" => nil},
     # option 2
     make_args: ["CROSSCOMPILE="],
   ]
end
```

3. argon2_elixir를 컴파일할 때에는 이 플래그만 사용하실 수 있습니다: 비어있는 값을 사용하여 값을 재정의하실 수 있습니다:

```shell
CROSSCOMPILE= mix deps.compile argon2_elixir --force
```

# 배운 점

<div class="content-ad"></div>

- 플랫폼별 컴파일: 네이티브 코드를 컴파일하는 라이브러리를 사용할 때는 항상 대상 플랫폼을 고려해야 합니다.
- 빌드 시스템 이해: Makefile과 컴파일 플래그에 대한 기본적인 이해는 이러한 문제의 문제 해결에 중요합니다.
- 개발 대 배포 환경: 로컬 개발을 위한 솔루션은 프로덕션 환경에서 필요한 것과 다를 수 있습니다.
- 크로스 컴파일 복잡성: 크로스 컴파일 설정은 복잡성을 증가시킬 수 있으며 로컬 개발에 항상 필요하지는 않을 수 있습니다.
- 최신 정보 유지: 최신 OS 버전을 사용하는 것은 때로는 구 버전 빌드 도구나 라이브러리와의 호환성 문제로 이어질 수 있습니다.

# 결론

간단한 의존성 설치로 시작된 것이 컴파일 프로세스, 링커 플래그, 그리고 크로스 플랫폼 개발에 대한 심층적인 탐구로 이어졌습니다. 도전적이었지만 이 경험은 엘릭서 프로젝트에서 네이티브 코드 컴파일의 복잡성에 대한 소중한 통찰력을 제공했습니다. 비슷한 문제에 직면한 다른 개발자들을 위해 기억해야 할 사항:

- 플랫폼별 문제에 대한 단서를 위해 에러 메시지를 주의 깊게 읽으세요.
- 의존성 소스 코드와 빌드 스크립트를 자세히 살펴보는 것을 주저하지 마세요.
- 크로스 컴파일과 플랫폼별 플래그의 영향을 고려하세요.
- 로컬 개발 요구와 배포 요구 사이를 구분하세요.
- 프리 릴리스나 매우 최신의 OS 버전을 사용하는 것이 예상치 못한 호환성 문제에 이를 수 있음을 인지하세요.

<div class="content-ad"></div>

이러한 경험을 공유함으로써 우리는 일렀로자 열매 레코시를 개선할 수 있습니다.

# 빠른 패치, 영구적인 해결책이 아닙니다

맥 macOS에서 바로 컴파일 문제를 해결한 이 변경 사항은 단기적인 패치라는 점을 강조해야 합니다. 더 효과적인 해결책은 Makefile을 업데이트하여 서로 다른 플랫폼을 더 우아하게 처리하는 것일 것입니다.

하지만, NIF 컴파일에 대한 전문 지식이 없기 때문에 이러한 빠른 수정은 로컬 개발에 목적을 제공했습니다. 아무튼, 더 많은 개발자들이 최신 하드웨어와 소프트웨어 환경을 채택함에 따라 더 넓은 커뮤니티에 이로운 방법일 것입니다.

<div class="content-ad"></div>

오늘은 여기까지입니다.


Posts