В этой части я дойду до момента, когда пришла смс-ка «Не звони и не пиши мне больше!!!!»
Первая часть тут, вторая тут.
4,5 года назад я имел неосторожность начать писать свою криптовалюту на совсем неподходящем для этого дела языке — на PHP. В итоге, конечно, написал (я упрямый), но получился костыль на костыле и то, что оно вообще работало было просто какой-то магией.
Сразу хочу предупредить, программер я самоучка-недоучка и пишу код, мягко сказать, неидеально.
Началось всё с того, что я расстался с девушкой, по имени Катя и в этот же день (4 апреля 2015-го) решил изучить Go и переписать свою криптовалюту. Писать про Катю не под спойлерами не могу, т.к. хабр всё же для IT-шных статей, а не для любовных рассказов и суровые айтишники, которым интересна тема Go, могут просто не обращать внимание на спойлеры «про Катю».
Итог 8 месяцев: приложение работает на Win (64/32), OSX(64/32), Linux(64/32), FreeBSD(64/32), Android, IOS (будет круто, если кто-то закинет в App Store).
Общего кода ~73к строк, кода под разные ОС где-то несколько сотен строчек.
40к — обработка/генерация блоков/тр-ий, 17.5к — контроллеры для интерфейса, 15.5к — шаблоны
Поддерживаются PostgreSQL, SQLite, MySQL.
Тех, кто будет тестировать мое творение, предупреждаю — могут быть баги, и если у Вас есть время, черкните о них, пожалуйста, на darwin@dcoin.club или в личку на хабре. Пожелания и советы тоже приветствуются.
В первых двух частях я рассказал про то, как в dcoin функционирует веб-сервер и про html/template.
В этой статье я расскажу про базы данных, плавное завершение приложения, шифрование и парсинг блоков
Утром почему-то я снова почувствовал к ней влюбленность. Накормил завтраком и упаковал суп в контейнер, чтобы Катя на работе поела.
Базы данных
В dcoin я сделал поддержку sqlite, postgres, mysql. Для обычных десктопных приложений по умолчанию выбрана sqlite, т.к. не нужно ничего ставить дополнительно. Тем, кто будет поднимать свой dcoin-пул лучше выбирать между postgres и mysql.
За работу с SQL базами данных в golang отвечает пакет database/sql. К нему нужно подключать драйвер БД sqlite, postgresql, mysql.
Вначале я использовал только sqlite, затем решил подключить postgresql и mysql. Оказалось не очень сложно. Изменить пришлось только параметры для подключения к БД в sql.Open() и учесть различия в синтаксисе Sql-запросов
Тут моя реализация подключения к БД.
Обертки для работы с БД я не использовал, т.к. голые sql-запросы мне было удобнее переносить из старой версии Dcoin, по этой же причине в коде есть довольно убогие конструкции с преобразованием типов данных, полученных из БД.
Пара грабель, на которые я наступил:
1. Если забыть после db.Query(«sql») вызвать rows.Close(), то будет куча незакрытых коннектов.
2. defer нельзя вызывать до обработки ошибки, т.к. если будет ошибка, то row будет nil, а вызов rows.Close() приведет к панике. Вот так делать нельзя:
rows, err := db.Query("SELECT * FROM table")
defer rows.Close()
if err != nil {
return err
}
Вот так верно:
rows, err := db.Query("SELECT * FROM table")
if err != nil {
return err
}
defer rows.Close()
Json
type minersDataType struct {
hosts string `json:"hosts"`
}
func main() {
result_ := minersDataType{hosts: "pool.dcoin.club"}
result, _ := json.Marshal(result_)
}
result будет содержать "{}"
Если заменить hosts на Hosts, то всё будет работать и в result появится {«hosts»:«111111»}
type minersDataType struct {
Hosts string `json:"hosts"`
}
func main() {
result_ := minersDataType{Hosts: "pool.dcoin.club"}
result, _ := json.Marshal(result_)
}
Я с этим долго тупил, поэтому делаюсь инфой, чтобы кто-то не наступил на те же грабли
Сигналы
Если в процессе парсинга блоков выйти из программы, то данные могут быть занесены не полностью и произойдет рассинхронизация. Например, транзакция по начислению средств обработается, а по списанию — нет. Поэтому важно плавно завершить работу, если поступил сигнал о закрытии приложения
SigChan = make(chan os.Signal, 1)
C.waitSig() // про это напишу ниже
go func() {
signal.Notify(SigChan, os.Interrupt, os.Kill, syscall.SIGTERM)
// ждем, пока придет сигнал
<-SigChan
// сообщаем демонам, что надо срочно завершать работу
for i := 0; i < countDaemons; i++ {
daemons.DaemonCh <- true
answer := <-daemons.AnswerDaemonCh
}
// демоны завершили работу, теперь можно закрыть соединение с БД
DB.Close()
}()
C.waitSig() — это нужно для windows, т.к. сигналы в windows Go не видит.
/*
#include <stdio.h>
#include <signal.h>
extern void go_callback_int();
static inline void SigBreak_Handler(int n_signal){
go_callback_int();
}
static inline void waitSig() {
#if (WIN32 || WIN64)
signal(SIGBREAK, &SigBreak_Handler);
signal(SIGINT, &SigBreak_Handler);
#endif
}
*/
import (
"C"
)
//export go_callback_int
func go_callback_int() {
SigChan <- syscall.Signal(1)
}
Если приходит SIGBREAK или SIGINT, то вызывается сишный SigBreak_Handler, который вызывает go_callback_int, который шлет в канал SigChan инфу, что был сигнал о завершении.
В Dcoin обработка сигналов реализована тут
Шифрование
Мне понадобилось зашифровать при помощи AES ключ в Go, а расшифровать в JS. Мучился где-то 2 дня. Оказывается IV надо передавать вместе с самим зашифрованным текстом. У меня эта функция находится тут
func Encrypt(password, text []byte) ([]byte, error) {
iv := []byte(RandSeq(aes.BlockSize))
c, err := aes.NewCipher(password)
if err != nil {
return nil, ErrInfo(err)
}
plaintext := PKCS5Padding([]byte(text), c.BlockSize())
cfbdec := cipher.NewCBCEncrypter(c, iv)
EncPrivateKeyBin := make([]byte, len(plaintext))
cfbdec.CryptBlocks(EncPrivateKeyBin, plaintext)
EncPrivateKeyBin = append(iv, EncPrivateKeyBin...)
return EncPrivateKeyBin, nil
}
и расшифровка в JS:
ivAndText = atob(text);
iv = ivAndText.substr(0, 16);
encText = ivAndText.substr(16);
cipherParams = CryptoJS.lib.CipherParams.create({
ciphertext: CryptoJS.enc.Base64.parse(btoa(encText))
});
password = CryptoJS.enc.Latin1.parse(hex_md5(password));
var decrypted = CryptoJS.AES.decrypt(cipherParams, password, {mode: CryptoJS.mode.CBC, iv: CryptoJS.enc.Utf8.parse(iv), padding: CryptoJS.pad.Iso10126 });
var decryptedText = hex2a(decrypted.toString());
Расшифровку я делаю в worker-е, иначе из-за синхронности ненадолго вешается браузер.
Парсинг блоков
Непосредственно за разбор блоков и занесение данных в таблицы отвечает пакет dcparser
Рассмотрим например, транзакцию регистрации нового юзерского ключа, по сути нового Dcoin-пользователя — new_user.go
NewUserInit отвечает за заполнение переменных, которые содержат данные этой транзакции. Тут их всего две — public_key и sign
NewUserFront отвечает за проверку данных. В частности, проверяет, является пользователь, который сгенерировал эту транзакцию майнером. Проверяет, нет ли превышения лимитов и пр.
NewUser заносит данные в БД
NewUserRollbackFront откатывает изменения, которые были занесены методом NewUserFront
NewUserRollback откатывает данные, которые были занесены методом NewUser
Аналогичные 4 метода есть для каждого из 70-и типов транзакций.
На минуточку представьте как парсятся > 270 000 блоков. 70 методов заносят данные в 180 таблиц и 1100 разных колонок. А затем то, что меня завораживает больше всего — откат всех данных по одному блоку в обратном порядке через Rollback и RollbackFront. Такой полный откат делается для тестирования корректности работы dcparser. Если где-то как-то неверно занеслись данные, то это сразу станет видно.
Заключение
В следующих статьях я расскажу про то, как я немного изменил gomobile, добавив уведомления и работу в фоне для IOS и Android приложений.
Комментарии (69)
Singerofthefall
15.01.2016 11:59+28Через неделю от Кати пришла смс-ка.
Ну вот, на самом интересном месте…
EagleMoor
15.01.2016 12:00+12Мне кажется что всех программистов это бесит больше всего. Когда что-то (кто-то) ломается и обратного кейса ты не видишь и продебажить не получается. Нам бы хоть причину знать, а тут последний пинг «не звони мне больше» и еще один «а вдруг она перезапустилась уже» =)
Девушки, люди, будте адекватными. Если посылаете, то хоть причину скажите. А то некоторые в while (true) ожидание сваливаются =)
aml
15.01.2016 12:11+4Девушки иногда возвращают ошибку корректно, но поскольку парни её обычно обрабатывают так:
for { if err := girl.attempt(); err != nil { log.Printf("attempt failed: %v, retrying", err) continue } break }
то желание так делать у них быстро пропадает.
vorphalack
15.01.2016 12:25+15(голосом Винни-Пуха) Девушка это очень странный предмет, скандал уже есть — а причин еще нет.
кстати, автор часом не изобрел Love-Hate Driven Programming?
Visions
16.01.2016 01:28Возможно ему даже повезло, что после масла ничего не случилось, т.к. похоже она «завирусована» по самый биос :))
Думаю автор конечно заготовил для этого «виртуальное окружение», а возможно и развернул его… но после масла и поцелуев все-таки подхватил короткоживущий троян в свою ОС ((
poxu
15.01.2016 12:01+70По моему уже кто-то говорил, но тем не менее. Автор, перестань класть отрывки про Катю в спойлер. Оборачивай в спойлер отрывки про Go!
EagleMoor
15.01.2016 12:50+3Ради эксперимента можно вообще не оборачивать ни чего и даже мини заголовки не писать, что бы люди наконец-то начали читать статью =)
Juzujka
15.01.2016 13:16+2Интересно ещё узнать, что думала Катя.
А не мешали ли ей pet projects?
Есть мол. чел., у него есть работа и личная жизнь.
В личной жизни есть отношения с девушкой, друзья, хобби (pet project)…
И если этот pet project занимает тот ресурс, который девушка считает своим, то отношения с ней будут не лучшими.
Так вот, если у человека есть pet project, который отнимает несколько часов в день, то как ему относиться к отношениям с девушкой?
Скорее всего, девушку не устроит, что нескольько часов в день после работы уходит на pet project, а не на неё.
Или найти такую девушку, которая сама будет гореть его pet project, помогать, подгонять… Наверное, таких дефицит
Или у неё есть свой pet project и она сама туда время сливает. Но это странно для девушки, они по-другому устроены.
Или она трудоголичка.
Или ей всё равно до мол.чел.
Или умудриться объяснить ей, что это как бы так важно и для неё тоже… Но только без обмана! Это действительно нужно в её жизни при том, что ей время на отношения не хватает?
Или ещё что-нибудьJustRoo
15.01.2016 18:19+7Воу-воу-воу, а мнение pet-project'a о какой-то внезапно появившейся девушке, отнимающей столь ценное время, которое могло бы быть с пользой потрачено на взаимное развитие, тебя вообще не интересует? Или то, что она одного с тобой биологического вида, автоматически означает, что она лучше кода? Чёртовы органические шовинисты!
0xd34df00d
17.01.2016 21:04Отчасти поэтому забил на попытки выстраивать отношения, решил выстраивать pet project'ы. Брат жив.
c01nd01r
15.01.2016 13:20+3Да автор ставит брейкпоины похлеще всех этих сериалов.
>«Не звони и не пиши мне больше!!!!»
>Через неделю от Кати пришла смс-ка.
Не знаю, что там было в смс, но я б ее послал.
BelBES
15.01.2016 13:43-3Так для девушек код возврата
Не звони и не пиши мне больше!!!!
Это вообще практически синоним
the program was successful
(=c01nd01r
15.01.2016 14:06Я понимаю, что бывают «эксепшены», но емае… Автор в любви признался, позаботился о ее желудке, домой приехал повидаться. Стоит под дверью, а ему тут такая смс.
Нельзя к себе такое отношение допускать.poxu
15.01.2016 14:17Ну а посмотрите с точки зрения девушки — его никто не звал, его никто не ждал, а он под дверью стоит. Кто его знает с какой целью. Кто его знает, что у этого программиста в голове. Нуегонахрен!
ximaera
15.01.2016 15:26+3Ещё и с подругами через VK перезнакомился (в прошлом посте). Многовато напора для трёх свиданий-то.
Хотя, потеряв голову, какой только глупости не сделаешь.
mekegi
15.01.2016 15:37+1У Фейнмана в книгах «Вы конечно шутите мистер Фейнман» и «Какое тебе дело до того что думают другие» есть отличный алгоритм обращения с девушками, и там же еще немного рассуждений на тему «почему девчонкам не нравятся сопливые неуверенные в себе мальчишки»
RedApe
15.01.2016 23:09С одной стороны алгоритм есть, а с другой — сам Фейнман особо им и не пользовался. К тому же Фейнман описывает не всех, а некоторое-подмножество-девушек, которое взаимодействует с некоторым-подмножеством-юношей. Хотя, конечно, описание позволяет по-другому взглянуть на общение с Катями.
DrPass
15.01.2016 14:51+9Помню, в 2004-м году, когда Катя (уж не знаю, эта же самая или они все одинаковые) съела мне моск по поводу моей работы, я стал программистом. Катю, впрочем, бросил одновременно со старой работой.
RZimin
15.01.2016 16:02+3Жаль нет возможности title для спойлера делать жирным, а то аж пролистал случайно.
IaIojek
15.01.2016 17:50+2Хороший подход к написанию статьи. Прямо жизнь программиста в миниатюре — кодинг параллельно личной жизни. Но меня эта история тронула ещё и тем, что в ней я заметил несколько пересечения со своей. Я тоже встречался с девушкой по имени Катя. Длилось это 4.5 года. Когда у нас только начался разлад в середине этого срока, в попытках хоть как-то отвлечься, я начал писать свой js движок. После расставания в апреле 2015-го я так же подумал, что у меня теперь много свободного времени и почти полностью переработал его. Только помимо этого я ещё сменил город и место работы, почти как DrPass
Visions
15.01.2016 19:12+7Раз тут обсуждают в первую очередь Катю и Ваши с ней взаимоотношения;)) Прочитав про нее и комменты, странно было не увидеть рассмотрения довольно очевидной возможной гипотезы, а именно:
Так часто поступают девушки имеющие, если сказать мягко — несколько «инрижек» параллельно… это не очень распространенный кейс, но довольно типичный… в такой ситуации они именно так себя и ведут с парнем, который среди остальных задействованных в интриге — с низким приоритетом!
Возможно это будет не приятно осознавать, но пока ее не бросит тот (или те) кто для нее с большим приоритетом, то с тем у кого приоритет низкий — она так и будет себя вести… а потом, если не будет других кандидатов — она станет вдруг более «отзывчивой», но скорее всего только до того момента, пока на ее горизонте не появится другой :(
По ключевым моментам в рамках такой концепции:
— в кровати не было «продолжения» потому, что для некоторых девушек «такой флирт» это не измена, т.к. небыло самого главного для нее… т.е. «типо она не изменила» тому другому… а сделала это потому что он (другой) ее чем -то обидел в тот момент…
— резкая реакция на неожиданный приезд и признания — это яркое чувство угрозы ее потенциальным отношениям с другим парнем
— рассказы ее подруги — это обычная дружеская «солидарность» и согласованное желание не «полить» в случае отсутствия конкуренции за одного мужчину…
Может все конечно и не так, но пока все к одному…
PapaBubaDiop
15.01.2016 19:15+2Программисты любят, когда в кучу string'и и стринги. Потому что, как правило, в теме.
erlyvideo
16.01.2016 00:44+1Чувак, просто забей на Катю. Она просто не хочет быть с тобой.
Ну т.е. это нормально, чувства там, эмоции, но блин, найдешь бабу получше.
Alexufo
16.01.2016 01:21+8Если пользоваться терминами Юнга, то Катя это «анима» автора статьи, а «анима» это такая же часть человеческого мироощущения как нога или рука. Поэтому советы «забей, найдешь получше» крайне вредны и только заставляют автора переписывать с php на что-то еще.
Человек чувствует, что ему предлагают ампутировать какую-то часть его. Причем священную. Вопрос нужно ставить совсем по другому, начать с того что Катя не может обладать теми образами что ее наделяют, а следовательно — рассмотреть образ кати внутри мироощущения автора статьи шире и убедить его в том что та красота которую он видет конечно каким то образом совпадает с реальной Катей, но по факту настоящую красоту он чувсвует в себе. И она никуда никогда не уйдет, а останется с ним.
Человек предпочел отвлечся от бесконечного внутреннего диалога с Катей интеллектуальными задачками, что является необычайно важным, поскольку в пассивно диванное время мы без веры в аниму нихрена делать не хотим, так как чувствуем ее не всегда так сильно.erlyvideo
16.01.2016 10:41есть проще рецепт: Катя скоро уйдет от того джависта, к которому она ушла от автора. Тут надо её поймать на одну ночь, закрыть гештальт и вернуться на PHP.
utrack
16.01.2016 14:45Автор (и все остальные), раз уж ты играешь с json и sql одновременно — недавно словил хитрую граблю по этому поводу.
Если в структуре есть любой тип, наследующий []byte, например json.RawMessage — то пакет sql это не увидит и будет обращаться с ним в пуле объектов как обычно, из-за чего данные в нём иногда будут ломаться (т.к. границы слайса не обнуляются).
Фикс — использовать только []byte или sqlx + sqlx.JSONText (который может быть потенциально опасен).erlyvideo
16.01.2016 14:58можете пояснить подетальнее в чём проблема?
utrack
16.01.2016 16:36+1Всё дело в пуле байт, хранимом sql для снижения нагрузки на GC и алгоритме, применяемом db.Scan():
If an argument has type *[]byte, Scan saves in that argument a copy of the corresponding data. The copy is owned by the caller and can be modified and held indefinitely. The copy can be avoided by using an argument of type *RawBytes instead; see the documentation for RawBytes for restrictions on its use.
If an argument has type *interface{}, Scan copies the value provided by the underlying driver without conversion. If the value is of type []byte, a copy is made and the caller owns the result.
Дело в том, что при передаче в Scan() что-нибудь вроде *json.RawMessage он не видит его как *[]byte, и в итоге поинтер указывает (насколько я понял) на копию слайса, который в свою очередь указывает на массив, который одновременно принадлежит пулу самой *sql.DB.
Тут небольшое отступление на всякий пожарный: в Го то, что обычно все называют массивом — это слайс, который является чем-то вроде «окна» в массив любой длины (len(slice) <= len(array)). При этом копия слайса всё ещё отображает исходный массив.
В итоге получается, что в первом вызове Scan() данные опускаются в пустой слайс, который наполняется, помещается в пул и его копия возвращается вам; а при втором вызове sql берёт тот самый грязный слайс из пула и заполняет его новыми данными. Если len(datanew) < len(dataold), то перезаписывается только часть слайса, но возвращается он целиком.
В итоге, если в БД есть две строки: «12345» и «678», которые вы сосканите друг за другом, то вы получите сперва «12345», а потом «67845». Притом после второго скана первый массив(слайс!) будет хранить тоже «67845».
vitamin
16.01.2016 16:16-3Автор, прочитай учебник Новосёлова и прекрати страдать уже. Ванильные сопли, смешно читать, ей богу.
DrPass
17.01.2016 15:16+2Вам смешно — не читайте. А мы вот переживаем вместе с автором!
vitamin
17.01.2016 15:37+1Так я ж не предлагаю ему не писать. Просто сейчас он эту войну проигрывает. А если воспользуется моим советом, то этот квест с Катей перестанет быть нудным. :) Всем только интересней читать станет.
marenkov
21.01.2016 17:24Сам больше склоняюсь к версии о многопоточности Кати и низком приоритете автора в очереди (как это ни прискорбно).
Остальныеостальной 1% отдам версии о том, что она принадлежит к тому типу девушек, которых отталкивает хорошее отношение, потому все ее предыдущие парни плохо к ней относились — она сама таких выбирала.
SerCe
Про Катю то допишете, это же еще не конец?
c-darwin
Да, про Катю тоже напишу.
ChapayHabr